La Def Jam venne fondata da Russell Simmons e Rick Rubin nel dormitorio di Rubin alla "New York University"^[2]. Le prime pubblicazioni dalla DFR furono I Need A Beat di LL Cool J e Rock Hard dei Beastie Boys, entrambi nel 1984. La vendita dei singoli andò bene e questo portò ad un programma di distribuzione con la Columbia/CBS Records l'anno seguente. Il primo vero e proprio album pubblicato dalla DFR fu Radio di LL Cool J nel dicembre del 1985. Un anno dopo la Def Jam fondò un'altra etichetta, la OBR Records, esclusivamente per artisti R&B.

L'etichetta si dedicò anche, in piccola parte, alla produzione di dischi heavy metal, come i successi Reign in Blood e South of Heaven degli Slayer.

Lyor Cohen divenne presidente della società nel 1988, dopo aver vinto un braccio di ferro con Rubin. Quest'ultimo lasciò la Def Jam per fondare la Def American nello stesso anno. Intanto la CBS Records fu venduta al gigante dell'elettronica Sony e, nel 1991, fu ribattezzata Sony Music Entertainment.

Nonostante le distribuzioni di LL Cool J, Beastie Boys, Public Enemy e EPMD avessero riscosso molto successo, la Def Jam si trovò in gravi problemi finanziari nei primi anni novanta e si stava preparando al fallimento. La salvezza arrivò nel 1994, quando la PolyGram ne acquistò il 50% dalla Sony. Successivamente l'etichetta entrò in pieno possesso della PolyGram. Dopo la svolta, la Def Jam pubblicò l'album di Warren G Regulate...G Funk Era, che vinse tre dischi di platino, e da cui ne fu estratto il singolo Regulate, considerato un classico dell'hip-hop degli anni novanta, diventando anche il singolo più venduto della Def Jam.^[3]

La Def Jam rimase specializzata nella musica black, con il suo veterano LL Cool J tra i principali artisti. L'etichetta fece debuttare Foxy Brown nel 1997 con l'album Ill Na Na (disco di platino). Nello stesso anno diede vita alla collaborazione con la Roc-A-Fella Records, raggiungendo i massimi livelli con Jay-Z.

La PolyGram acquistò un ulteriore 10% della Def Jam nel 1996. Nel 1998 la stessa PolyGram fu comprata dalla Seagrams e introdotta nella Universal Music Group, diventando la più grande casa discografica del mondo. Dopo l'acquisto della PolyGram, la UMG prese possesso anche della rimanente percentuale della Def Jam. Poco dopo si unì alla Island Records a formare la Island Def Jam Music Group. Nonostante la formazione della IDJMG le due società continuarono a lavorare autonomamente. La Def Jam fondò un'etichetta R&B, la "Def Soul", che pubblicò album di Dru Hill, Kelly Price, Musiq, Montell Jordan, Case, 112, Patti LaBelle e gli Isley Brothers.

Oggi, le società Inc. Records, Slip-N-Slide Records e Disturbing Tha Peace Records sono tra le etichette indipendenti distribuite dalla Def Jam. La Roc-A-Fella Records fu venduta alla compagnia da Damon Dash nel 2004. Intanto, il cofondatore della Roc-A-Fella Jay-Z, fu nominato presidente e direttore generale della Def Jam dal presidente della Island Def Jam L.A. Reid.