Caffey fu scelto nel settimo giro del Draft NFL 1963 dai Philadelphia Eagles[1] venendo inserito, dopo la sua prima stagione, nella stagione ideale dei rookie. Caffey la stagione successiva fu acquisito dai Green Bay Packers dove divenne il linebacker titolare. Con un tempo di 10 secondi netti nelle 100 yard era uno dei giocatori più veloci della sua epoca. Nella squadra diretta da Vince Lombardi vinse il campionato NFL nel 1965, il Super Bowl I[2], dove guidò la squadra con 7 tackle, e il Super Bowl II[3]. Caffey fu inserito nella formazione ideale della stagione All-Pro nel 1966 e nello stesso anno venne convocato per il Pro Bowl.
Nel 2006, il gruppo di linebacker dei Green Bay Packers composto da Ray Nitschke, Dave Robinson e Caffey fu nominato uno dei migliori dieci della storia della NFL. Caffey in seguito passò ai Dallas Cowboys con cui vinse un altro Super Bowl (il VI) agli ordini di Tom Landry. Concluse la sua carriera l'anno successivo coi San Diego Chargers.
Stati Uniti
