Jimmy fu allenatore e giocatore della defunta franchigia dei Providence Steam Roller che vinse il titolo di campione della lega nel 1928, con i compagni che lo votarono unanimemente miglior giocatore della squadra.[1][2] Dal 1932 al 1939 fu capo-allenatore della squadra di football dei Washington University Bears, guidandoli ai titoli della Missouri Valley Conference nel 1934, 1935 e 1939. Nella NFL fu capo-allenatore dei Chicago Cardinals dal 1940 al 1942 e di nuovo dal 1946 al 1948. Guidò la squadra alla vittoria del campionato NFL nel 1947, al 2024 l'ultimo titolo della storia della franchigia, battendo in finale i Philadelphia Eagles, e ai titoli della Western Division nel 1947 e 1948. Il 7 gennaio 1949, tre settimane dopo la sconfitta nella rivincita in finale con gli Eagles, Conzelman rassegnò le sue dimissioni per dedicarsi alla carriera di pubblicitario. La dirigenza dei Cardinals disse che la notizia giunse "come un fulmine a ciel sereno."[3][4] Fu anche un dirigente dei St. Louis Browns nella Major League Baseball dal 1943 al 1945.
Conzelman fu inserito nella Pro Football Hall of Fame nel 1964[5], nella seconda annata di giocatori inseriti. Morì il 5 agosto 1970 di cancro ai polmoni. Nell'agosto 2006 fu uno dei primi otto membri introdotti nel Ring of Honor degli Arizona Cardinals.[6]