Com a família toda executada, Yoritomo aos 13 anos foi banido de Kyoto e enviado à zona rural. Aos 30 anos, se casou com a filha de um poderoso e começou a levantar armas contra os aliados daquela família inimiga (os Taira). Quando os amigos da família Minamoto viram que o descendente ainda estava vivo e na ativa, o apoiaram. E assim fundou-se Kamakura, como um refúgio entre as colinas e o mar. Daqui, Yoritomo e seus aliados foram gradualmente ganhando terreno, e pouco a pouco conquistaram o poder, eliminando toda a família rival.
Diz-se que Yoritomo era um samurai excepcional, e que levava tão à risca os códigos de honra que mandou matar até o primo e o meio-irmão quando estes saíram da linha. Quando venceu, o imperador o nomeou Comandante Supremo, e portanto xogum. Mas seis anos depois, em 1198, caiu do cavalo e morreu (essas coisas da vida, hein?). Mas até 1333 o poder continuou centrado em Kamakura.