Nel corso della sua carriera professionistica, che iniziò nel 1974, anno in cui esordì tra le file del Malmö FF (squadra in cui giocò in tre periodi differenti, il primo tra il 1974 e il 1976, il secondo tra il 1977 e il 1978 e il terzo tra il 1979 e il 1982, in cui giocò anche la partita di Coppa Intercontinentale), Sjöberg militò anche in Bundesliga (nel Karlsruhe), in Arabia Saudita e nella NASL. Conta inoltre 45 presenze e 17 goal (tra cui uno segnato contro il Brasile durante la fase finale dei Mondiali del 1978) nella nazionale, tra il 1974 e il 1981.
Ritiratosi dal calcio giocato nel 1985, dopo aver disputato due stagioni con la squadra della sua città natale, Sjöberg ebbe una breve parentesi come allenatore nello Young Boys tra il 1997 e il 1998, condividendo la panchina assieme al suo ex compagno di squadra Roland Andersson.