Le groupe a été formé par les guitaristes Arthur "Ace" Enders (né le 19 avril et ayant grandi à Bass River, dans le New Jersey, avant de s'installer à Hammonton, dans le New Jersey) et Jim Sacco, accompagnés du bassiste Sergio Anello et du batteur Jeff Kummer à Hammonton, dans le New Jersey, en février 2001.
Ensemble, ils ont enregistré une maquette de 5 titres dans le sous-sol d'Enders et l'ont envoyée, accompagnée d'une cassette vidéo mal montée, à un seul label : Drive-Thru Records.
Quelques mois ont passé pendant lesquels Sacco et Anello ont dû céder leur place à des remplaçants plus qualifiés, Steve Nakovich (guitare) et Mike Klemash (basse), jusqu'à ce que le groupe entre en contact avec Richard Reines de Drive-Thru, qui par chance visitait leur ville natale et accepta de rencontrer le groupe pour leur donner des conseils.
Stomaqué par ce qu'il venait d'entendre, Reines est retourné en Californie pour discuter d'une signature éventuelle avec la cofondatrice de Drive-Thru, Stefanie Reines. Quelques semaines et un nouveau changement de line-up plus tard (Joe Marro a remplacé Nakovich), Drive-Thru a signé The Early November et les a programmés, malgré leur expérience de scène quasi inexistante, au Skate and Surf Fest de 2002 ainsi que sur certaines dates du Warped Tour.
Klemash et Marro ont quitté le groupe avant l'enregistrement de leur premier EP, For All of This. Anello a réintégré le groupe à la basse, tandis qu'un second guitariste temporaire a été trouvé en la personne de John Dubitsky. Le CD est sorti sur Drive-Thru Records au début du mois de novembre 2002. Enders a enregistré The Acoustic EP de son côté, comprenant des versions acoustiques de la plupart des chansons de leur premier EP, qui est sorti à peine deux mois plus tard. Parallèlement, le guitariste Marro avait réintégré le groupe en échange de Dubitsky.
Tout au long de l'année 2003, le groupe a continué à tourner et à écrire des chansons en prévision de leur premier album studio complet, The Room's Too Cold, qui est sorti à l'automne de cette même année.