Né et élevé à Atlanta, en Géorgie, Alterman a déménagé à New York à l'automne 2007 pour y étudier la musique à l'Université de New York, où il a obtenu une licence et une maîtrise en musique. Durant cette période, il a eu l'opportunité d'étudier auprès de grands noms tels que Don Friedman, Joe Lovano et John Scofield.
Il s'est produit dans des salles du monde entier, notamment le Blue Note Jazz Club à Milan, le Blues Alley à Washington, DC, et le Preservation Hall à New Orleans ; il a dirigé des formations dans des salles new-yorkaises telles que le Blue Note Jazz Club, l'Iridium, le Kitano, le 21 Club, Le Cirque et le Dizzy's Club Coca-Cola du Jazz at Lincoln Center, entre autres. Il s'est également produit récemment lors de la "Marian McPartland Piano Jazz All-Star Celebration" au Dizzy's Club Coca-Cola, ainsi qu'aux concerts "Highlights in Jazz" présentés par Jack Kleinsinger, dans le cadre des "Next Generation All-Stars," où il a joué aux côtés du grand saxophoniste ténor Houston Person.
De plus, lui et son trio se sont produits à plusieurs reprises au Blue Note Jazz Club en tant que première partie de grands artistes tels que Les McCann, Ramsey Lewis, Philip Bailey (d'Earth, Wind & Fire), John Pizzarelli et Hiromi, entre autres.
Le dernier enregistrement d'Alterman, Give Me The Simple Life, a récolté de nombreux éloges critiques et a atteint la 4e place des classements radio JazzWeek.
Hot House Jazz a décrit Joe Alterman comme "un enfant prodige du piano dont le style rappelle les accents élégamment swinguants d'artistes tels qu'Erroll Garner et Red Garland, délaissant la veine rebattue du hard bop prisée par les jeunes joueurs d'aujourd'hui au profit d'une technique vintage plus ronde. Alterman déploie un toucher pianistique lyrique et un sens intuitif du swing qui procurent une joie merveilleusement unique à l'écoute.