La prima esperienza di Gruden come allenatore nella NFL fu di assistente dell'attacco nei Buccaneers allenati dal fratello Jon, che vinsero il Super Bowl XXXVII nel 2002. In seguito allenò gli Orlando Predators e i Florida Tuskers nella Arena Football League dove aveva militato come allenatore, vincendo due Arena Bowl, che si sommarono ai quattro già vinti come quarterback dei Tampa Bay Storm.
Dal 2011 al 2013, Gruden fu il coordinatore offensivo dei Cincinnati Bengals, con i quali raggiunse i playoff per tre anni consecutivi, un traguardo mai raggiunto dalla franchigia dell'Ohio. Il 9 gennaio 2014, Jay fu annunciato come nuovo capo-allenatore dei Washington Redskins[1]. La sua prima stagione si concluse con un record di 4-12, all'ultimo posto della division, cambiando tre diversi quarterback titolari.