Paye al college giocò a football con i Michigan Wolverines dal 2017 al 2020. Nell'ultima stagione disputò solamente quattro partite a causa della pandemia di COVID-19.
Paye fu scelto come 21º assoluto nel Draft NFL 2021 dagli Indianapolis Colts.[1] Debuttò come professionista partendo come titolare nella gara del primo turno contro i Seattle Seahawks mettendo a segno 3 tackle e recuperando un fumble. A fine stagione inserito nella formazione ideale dei rookie dalla Pro Football Writers Association dopo avere fatto registrare 28 placcaggi e 4 sack in 15 presenze, tutte come titolare.[2]