La sua carriera iniziò già prima della seconda guerra mondiale quando correva in gare disputate in singolo ma senza ottenere risultati di particolare rilievo, i suoi maggiori successi sono invece legati alle gare dei sidecar.
La prima apparizione in campo internazionale di cui si ha notizia è quella al Tourist Trophy dell'Isola di Man del 1937 in sella a una Vincent.[1] Parteciperà successivamente a varie edizioni della corsa cogliendo anche un discreto ottavo posto allo Junior TT del 1948[2]. Nello stesso anno anche una vittoria in Belgio, sulla pista di Floreffe su una Velocette350.
Con la nascita del Motomondiale, nel 1949, passa con convinzione ai sidecar, salendo su motociclette tradizionali solo per competizioni minori. Nel campionato del mondo dedicato alle motocarrozzette, è stato il dominatore incontrastato delle prime stagioni di gare trovando opposizione soprattutto nel pilota italianoErcole Frigerio (per tre volte giunto alle sue spalle). Durante tutta la sua carriera nel Motomondiale è sempre stato fedele alla Norton.
Dopo aver ottenuto quattro titoli iridati tra il 1949 e il 1953 in coppia con passeggeri diversi (i britannici Denis Jenkinson e Stan Dibben oltre che l'italiano Lorenzo Dobelli), annunciò il suo ritiro nel 1955 (anno in cui fu campione britannico sidecar in coppia con Eric Bliss[3]), facendo però ancora un paio di apparizioni in occasione del Tourist Trophy, nelle edizioni del 1958 dove corse con una motocarrozzetta di serie giungendo al decimo posto, e del 1960; in quest'ultima occasione incorse in un grave incidente in cui il suo passeggero Stan Dibben rischiò la morte.
Oliver è entrato nella storia del motociclismo anche per aver introdotto la posizione di guida "semi-inginocchiata", che col tempo si è evoluta in "completamente inginocchiata", sul suo sidecar Norton-Watsonian iridato nel 1953[4].
Ritiratosi dal motociclismo, Oliver passò all'automobilismo, correndo con una Lotus Elan[5].