Viết tiếp cho đoạn này - Với Jochen Rindt ký hợp đồng với Lotus năm 1969, Oliver chuyển sang BRM. Anh đã phải chịu đựng hai năm thất vọng tại đội Bourne, điều này sẽ giết chết sự nghiệp Grand Prix của anh. Trong hai năm, anh sẽ tập hợp chỉ có bốn lần kết thúc, với số điểm duy nhất của anh là vị trí thứ sáu trong giải Grand Prix Mexico năm 1969, và thứ năm trong giải Grand Prix Áo năm 1970.
. Tuy nhiên, vào năm 1970, anh dẫn đầu phần lớn cuộc đua của các nhà vô địch giữ Stewart và là người thứ ba mạnh mẽ cho hầu hết các GP Hà Lan và Anh. Kết quả tồi tệ trong GP Áo mà ông chủ đội, Louis Stanley nghĩ rằng anh ấy nên giành chiến thắng, đã thấy chiếc xe tốt nhất đi đến Pedro Rodríguez từ đó, nhưng Oliver vẫn dẫn đầu một số vòng ở cuộc đua Italia. Stanley mô tả Oliver, là 'tốt, nhưng không tốt như anh nghĩ'. Phần lớn các cuộc đua khác của ông đã chứng kiến BRM bị hỏng. Hầu hết các chuyên gia và nhà tài trợ, Yardley, đã ngạc nhiên và thất vọng sau khi Oliver bị sa thải bởi BRM. Jackie Stewart, đánh giá Oliver là một tay đua GP và Can-Am rất giỏi.