Господство Фудзивара привело к тому, что в правительстве преобладали люди, неспособные к управлению. Из-за этого власть была не способна поддерживать в стране порядок, и многие землевладельцы для защиты своей территории нанимали самураев. Стало неуклонно расти влияние военных.
В 1068 году новый император Госандзё взял управление страной в свои руки, и это стало концом власти клана Фудзивара, так как подчинить его своей власти они не смогли. Даже после того как Госандзё в 1086 году отрекся от престола, он, став монахом, даже из монастыря продолжал править страной. Это было начало эпохи «императоров-иноков» - инсэй, которые имели политическое влияние до того момента, когда в 1156 году во главе Японии стал Тайра Киёмори.
На протяжении XII века наиболее заметными были два очень влиятельных военных клана: Тайра (Хэйкэ) и Минамото (Гэндзи). В период правления клана Фудзивара Тайра занимали много государственных постов. А клан Минамото в Девятилетней (1050 - 1059) и в Трехлетней (1083 - 1087) войне завоевал для Японии часть земель северной части острова Хонсю.
В 1159 году после восстания Хэйдзи битвы за власть между этими кланами прекратились. В 1168 году страну возглавил Тайра Киёмори, и оставался у власти до 1178 года, подчинив себе императора.
После смерти Киёмори борьба за власть между кланами Тайра и Минамото вспыхнула с новой силой, началась война Гэмпэй (1180 - 1185). Победу одержал клан Минамото, и Японию возглавил Минамото Ёритомо.