Il 28 aprile 1888 sposò Isabelle-Blanche Singer, figlia del milionario Isaac Singer. Dal matrimonio nacquero tre figli che furono allevati prevalentemente dalla loro zia materna Winnaretta Singer, a causa del suicidio di Isabelle-Blanche, avvenuto nel 1896.
Affiliato allo Yacht Club de France, Decazes partecipò ai giochi della II Olimpiade di Parigi nel 1900 a bordo di Quand Même, con cui vinse una medaglia d'argento nella gara della classe da dieci a venti tonnellate.