Trong một chuyến lưu diễn tại Hoa Kỳ vào tháng 2 năm 1971 với nghệ sĩ bàn phím mới Christine McVie đã gia nhập ban nhạc, Spencer đã thất vọng với cuộc sống của mình trong Fleetwood Mac, và đã đề cập trong một số cuộc phỏng vấn một sự cố khi ban nhạc đang nghe bản thu âm của một buổi hòa nhạc cũ. Khi anh ta nghe mình hát, anh ta nói, "Nghe kinh khủng. Nghe có vẻ như là một thứ rác rưởi". Theo một tài khoản của Mick Fleetwood, Spencer dường như gặp khó khăn khi hồi phục sau một chuyến đi mescaline mà anh đã trải qua rất sớm trong chuyến lưu diễn ở Mỹ. Ngay trước chuyến đi của ban nhạc từ San Francisco đến Los Angeles, LA đã trải qua một trận động đất lớn
. Trong một trạng thái tinh thần mong manh và đầy những linh cảm tiêu cực mạnh mẽ, Spencer rất lo ngại về việc phải đi đến LA. Anh ta đã không thành công khi cầu xin Fleetwood hủy bỏ phần này của chuyến lưu diễn. Ngay sau khi đến Los Angeles vào ngày 15 tháng 2 năm 1971, ngày diễn của nhóm được lên lịch biểu diễn tại Whisky A Go Go, Spencer rời phòng khách sạn mà anh chia sẻ với Fleetwood để đến thăm một cửa hàng sách trên Hollywood Boulevard. Anh ta không trở lại, buộc phải hủy bỏ buổi hòa nhạc tối hôm đó trong khi ban nhạc và các thành viên của đoàn tùy tùng của họ đi tìm anh ta. Vài ngày sau, anh ta được phát hiện đã gia nhập giáo phái tôn giáo Children of God, và anh ta tuyên bố rằng anh ta không còn muốn liên quan đến Fleetwood Mac nữa. Bất chấp lời kêu gọi từ người quản lý ban nhạc, Clifford Davis, để hoàn thành nghĩa vụ của mình đối với Fleetwood Mac, Spencer không thể bị thuyết phục trở lại ban nhạc và họ phải vật lộn mà không có anh ta, đầu tiên triệu hồi Peter Green ra khỏi hưu trí như một biện pháp khẩn cấp, và sau đó tuyển dụng tay guitar mới Bob Welch.