Cresciuto nel settore giovanile del Sunderland, ha esordito in prima squadra il 10 novembre 2020, nella partita di Football League Trophy persa per 2-1 contro il Fleetwood Town.[2][3] Il 17 giugno 2021 firma un biennale con i Black Cats[4], venendo poi ceduto a titolo temporaneo al Notts County nel mese di settembre.[5][6] Il prestito, inizialmente mensile, viene rinnovato fino al gennaio del 2022[7][8][9], quando Patterson fa definitivamente ritorno al Sunderland[10], con cui si impone ben presto come titolare nel ruolo. Dopo aver conquistato la promozione in Championship[11], il 24 giugno 2022 prolunga con i biancorossi fino al 2026.[12] Il 22 settembre 2023 rinnova fino al 2028.[13]