Nato a Los Angeles, Oliveri ha iniziato la sua carriera nel 1987 con John Garcia, Brant Bjork, Josh Homme e Chris Cockrell sotto il nome della band Katzenjammer. All'inizio del 1989, dopo la partenza di Oliveri per suonare in altre band, la band cambiò il suo nome in Sons of Kyuss, abbreviandolo successivamente in Kyuss. Successivamente si unì alla band, suonando negli album Wretch and Blues for the Red Sun. Oliveri avrebbe lasciato nuovamente Kyuss all'inizio del 1992, poco dopo la morte di suo padre in un incidente d'auto. Dopo la sua partenza dai Kyuss si unì ai The Dwarves come bassista di nuovo sotto il soprannome di Rex Everything. Tuttavia è forse meglio conosciuto come membro dei Queens of the Stone Age dal 1998 al 2004. Oliveri è anche un artista solista e collabora spesso agli album e ai tour dei suoi amici, tra cui Winnebago Deal, Mark Lanegan Band, Masters of Reality, Turbonegro. , Moistboyz alias Dickie Moist e l'O.T.C. e The Knives. In passato è stato coinvolto in The Desert Sessions Vol. 4 e vol. 6. Oliveri è noto per suonare a torso nudo e talvolta nudo ai concerti. La cosa più memorabile è che è stato arrestato in Brasile, dopo essersi esibito nudo sul palco del festival Rock in Rio a Rio de Janeiro.[3] È anche la metà del duo acustico The Uncontrollable, con il frontman dei The Dwarves Blag Dahlia