Durante l'infanzia si avviò allo studio del pianoforte e della tromba per poi passare, all'età di 14 anni, allo studio del contrabbasso[1]. Dopo le superiori studiò composizione alla Yale University e successivamente si trasferì a New York dove iniziò a suonare nel trio di Jimmy Giuffre assieme a Paul Bley[1]. In quello stesso periodo iniziò una lunga collaborazione con il vibrafonista Gary Burton[1]. Nel 1964 entrò a far parte del quartetto di Art Farmer ed iniziò a scrivere della musica[1]. Agli inizi degli anni settanta, dopo molti incoraggiamenti da parte di Roy Haynes (il batterista preferito di Swallow), abbandonò definitivamente il contrabbasso per il basso elettrico, del quale preferisce la variante a 5 corde con l'accordatura "E-A-D-G-C". Swallow fu, assieme a Bob Cranshaw, uno dei primi contrabbassisti a passare al basso elettrico[1]. Dal 1974 al 1976 insegnò al Berklee College of Music[1]. Nel 1978 divenne un membro costante ed essenziale della band di Carla Bley. Dagli inizi degli anni ottanta iniziò una lunga collaborazione con John Scofield[1]. Swallow è stato numerose volte vincitore dei sondaggi della rivista americana Down Beat per quel che concerne la categoria "basso elettrico"[1]. Inoltre le sue composizioni sono state suonate da molti musicisti, tra cui Jim Hall, Bill Evans, Chick Corea, Stan Getz e Gary Burton. Steve Swallow è conosciuto per il suo uso del plettro nel basso elettrico[2].