1980년대에 들어서면서 발이나 어깨에 그늘이 보이기 시작하였지만 나가시마 기요유키와 야마사키 류조가 활약한 적도 있어 1983년부터 좌익수로 변경되었다. 같은 해 4월 30일 한신 타이거스전(한신 고시엔 구장)에서는 사이클링 안타를 기록했다. 1984년부터 타격 코치를 겸임했고 그 해에는 타이틀을 놓쳤지만 좋은 성적을 남기면서 팀의 일본 시리즈 우승에 기여했다. 오 사다하루(현역 마지막 연도인 1980년 당시)를 제치고 현재의 야구계에서 최고 금액이 되는 연봉 8,500만 엔으로 계약했다. 1985년에는 역대 두 번째로 개인 통산 500홈런, 200도루를 동시에 달성했다(이 기록을 가진 선수는 하리모토 이사오, 야마모토, 기누가사 등 3명 뿐이다).

1986년에 팀은 리그 우승을 제패하면서 자신은 현역에서 은퇴하겠다는 의사를 밝혔다(당시 나이는 40세). 그 해 팀은 전체 130경기에서 129경기째에 리그 우승을 결정했고 일본 시리즈에서도 8차전까지 갔기 때문에 일본 시리즈 8차전은 사실상 은퇴 경기가 되었다. 경기에서는 패하여 세이부 라이온스에게 우승을 양보했지만 히로시마의 코칭 스태프와 선수들로부터 작별의 헹가래를 받았다. 다음날의 은퇴 회견에서는 눈물을 흘리며 “야마모토 고지는 행복한 남자입니다”라고 말했다.

이름이 알려진 대선수라도 프로 데뷔 초에나 현역 마지막 연도에서는 경기 출전이 적거나 부진한 성적을 남기기도 하였지만 야마모토는 1년차부터 은퇴할 때까지 거의 모든 경기에 출전하면서 성적도 극단적으로 떨어지는 경우는 없었는데 현역 생활에 있어서의 마지막 시즌인 1986년에는 타율 2할 7푼 6리와 27개의 홈런을 기록했다. 그러나 고질적인 허리 통증의 악화로 끝내 야마모토를 은퇴로 몰아넣은 것으로 여겨진다.

대졸 출신으로서의 통산 536홈런은 일본 프로 야구에서의 최다 기록이고 7차례에 걸친 타점·홈런왕 타이틀은 모두 30세 이후에, 통산 홈런의 7할을 30대 이후에 때려내는 등 전형적인 대기만성형 스타일의 선수였다. 히로시마 구단 측은 야마모토의 활약을 인정하면서 등번호 8번은 구단 창단 이후 최초의 영구 결번으로 제정되었다.
히로시마를 누르고 우승을 차지한 팀은 어디인가?
세이부 라이온스