Ba năm sau, năm 1159, Yoshitomo và Fujiwara no Nobuyori bắt giam Go-Shirakawa và giết người phụ trách của ông, học giả Fujiwara no Michinori, trong cuộc nổi loạn Heiji. Cuối cùng, Taira no Kiyomori, ủng hộ Go-Shirakawa, đánh bại Yoshitomo. Trong khi trốn thoát khỏi Kyoto, Yoshitomo bị buộc phải giết con trai Tomonaga. Sau đó, Yoshitomo bị phản bội và bị giết trong bồn tắm của mình. Ba người con trai của ông, Yoritomo, Minamoto no Yoshitsune và Minamoto no Noriyori, sau đó đã được Kiyomori tha thứ và lưu vong. Tuy nhiên, Aihira Yoshi và Nobuyori đã bị hành quyết. Ngôi mộ của ông ở tỉnh Aichi được bao quanh bởi những thanh kiếm bằng gỗ (bokuto), như những lời cuối cùng của ông "Nếu tôi chỉ có một huyền thoại bokuto... " Đề cập đến câu hỏi
Thanh kiếm gỗ