Joseph Arthur scrive canzoni da quando aveva tredici anni. Ha cominciato strimpellando una tastiera elettronica tra le pareti di casa, poi ha preso in mano il basso e si è unito alla sua prima band: si chiamavano Frankie Starr And The Chill Factor e un paio di volte hanno aperto persino per Stevie Ray Vaughan. La sua prima passione è stata per Jimi Hendrix, poi la sorella gli ha fatto ascoltare tutti i dischi di Bob Dylan. E ben presto si è reso conto che non avrebbe mai potuto accontentarsi della vita ad Akron, Ohio, consumata a prendere acidi, dare calci a palline da tennis in fiamme e ascoltare i Bauhaus con gli amici in una città fantasma. Così, finite le superiori, Joseph ha colto subito l’occasione per andarsene di casa e si è trasferito ad Atlanta al seguito di un gruppo funk-rock di nome Ten Zen Men, ben presto rimpiazzato dalla robusta formazione grunge dei Bellybutton.