Con Jochen Rindt che ha firmato per la Lotus per il 1969, Oliver è passato alla BRM. Doveva subire due anni deludenti nella squadra Bourne, che avrebbero effettivamente ucciso la sua carriera al Gran Premio. In due anni, avrebbe raccolto solo quattro finiture, con i suoi unici punti ottenuti al sesto posto nel Gran Premio del Messico del 1969 e al quinto posto nel Gran Premio d'Austria del 1970
- No, no. Tuttavia, nel 1970, ha guidato gran parte della Race of Champions tenendo fuori Stewart ed è stato un forte terzo per la maggior parte del GP olandese e britannico. Il cattivo risultato nel GP d'Austria, che il team boss Louis Stanley pensava avrebbe dovuto vincere, ha visto la migliore macchina andare a Pedro Rodríguez da allora in poi, ma Oliver ha ancora guidato alcuni giri nella gara italiana di slipstream. Stanley descrisse Oliver come "buono, ma non così buono come pensava". La maggior parte delle sue altre gare ha visto il BRM crollare. La maggior parte degli esperti e dello sponsor Yardley sono rimasti sorpresi e delusi dopo che Oliver è stato licenziato dalla BRM. Jackie Stewart ha giudicato Oliver un ottimo pilota di GP e Can-Am.