Nonostante decine di presenze nell'Under-21 tedesca e il mondiale 1999 giocato con l'Under-20, l'Amburgo lo fa scendere nei terreni di gioco della Bundesliga solamente 13 volte. Yilmaz trascorre la maggior parte delle stagioni giocando e segnando con la squadra riserve dell'Amburgo, fino al 2003, quando si trasferisce in Turchia, al Manisaspor. Rimasto svincolato nel 2007, ritorna a giocare nei dilettanti in Germania, chiudendo la carriera nel luglio del 2011.