Le son garage, bluesy et néo-psychédélique de Caballo est né durant l'hiver 2004. Fruit de la rencontre artistique d'Angela Gugliotta et de José Henríquez, des musiciens qui explorent le point de jonction entre le bruit et plusieurs genres musicaux, à l'instar de My Bloody Valentine, The Jesus and Mary Chain ou Sonic Youth, Caballo déconstruit le bruit par les mots.
Henríquez était séduit par le son pur et bruyant de certains groupes qui partageaient la scène du légendaire CBGB's, où il s'était produit avec Culto Oculto à la fin des années 90, et il a alors commencé à expérimenter les sons de son côté, jusqu'à ce qu'Angela Gugliotta et lui décident de tenter l'aventure ensemble. C'est ainsi qu'est né Caballo.
"Une fois, tu as rêvé que tu étais libre, mais à ton réveil, tu te trouvais dans un champ clôturé. Caballo. Tu voulais courir mais tu ne le pouvais pas. Tu voulais sauter, t'échapper d'ici. Il est temps de hennir et de réveiller le propriétaire de la maison de l'autre côté de la clôture. Il est temps que l'odeur de tes déjections atteigne les narines de ton geôlier et trouble son repos.", déclare le manifeste de Caballo, une déclaration d'intention claire qui témoigne du ton de leurs paroles et de leur musique.
Leur première chanson composée, "Fuck You", a donné son nom au premier album de Caballo, sorti en 2005. Fort de son son bruyant et sensuel, le groupe a récolté des critiques élogieuses de la part de supports tels que EP3 Magazine. Face à ces retours positifs de la part des critiques, Henríquez et Gugliotta ont fait appel au batteur Robert Gibiaqui pour l'inviter à jouer lors de leurs concerts. Après plusieurs prestations sur la scène rock madrilène, Caballo a été invité à se produire dans l'un des festivals de musique les plus importants : le Sziget Festival, à Budapest.
À l'automne 2005, après avoir joué au festival de musique internationale Periferias, Caballo a commencé à travailler sur un nouvel album.
