養和元年（１１８１）閏２月４日、清盛が死去すると平氏は勢力をなくす。木曽で挙兵した源義仲（木曽義仲）が途中でどんどん兵を集めて大軍になり義仲討伐に向かった平家軍を打ち破って、木曾義仲が上洛するというので、 宗盛と重衡が協議し、「法皇を奉じ海西にい退く」ことに決したが、それを知った法皇は、法住寺殿を脱出、鞍馬経由で比叡山に逃げた。 平氏は安徳天皇と三種の神器を奉じて都落ちする。
寿永２年（１１８３）７月２５日、前内大臣平宗盛、大納言時忠、中納言教盛、新中納言知盛、経盛、清宗、重衡、維盛、資盛、通盛。 殿上人では有盛、師盛、忠房、忠度、教経、業盛などここ２，３年、東国での何度もの戦でわずかに生き残ったものが、 平家の家々に放火し、４、５万軒の家々を焼き払い、福原も焼き都落ちした。
この時、宗盛や知盛は、平氏の棟梁となれなかった維盛とその弟資盛（新三位中将）たち 重盛一族・小松家が京都を離れたくなかったことに疑いの目を向けた。
また、平清盛の異母弟で六波羅の池殿（平頼盛）は宗盛に命じられて1万の軍を率いて大津で木曽義仲を待替え打つために布陣していた。
そこへ平家の都落ちという報を受けて自分たちだけが置いてけ堀を食ったのを知った。頼盛はすぐ宗盛に使者を遣わせて宗盛に真意を問いただした。
が、宗盛はしどろもどろな返答で「こりゃだめだ」と判断した頼盛は軍を引き返して京に戻って後白河法皇をたよった。そして八条院（以仁王の母）に頼るように言った。
八条院は以仁王の息子を逮捕に来た頼盛に恨みがあるはずだが、頼盛と兵を引き受けた。よっぽど心の広いお方だったようです。
その後、母池禅尼が源頼朝を助けたことがあり、頼朝は京の範頼と兵に頼盛とその兵には決して手は出さないように命じた。頼盛とその家人の宗清に頼朝から鎌倉に招待があった。
宗清は平治の乱の時に尾張で頼朝を殺さずに捕まえて清盛に引き渡している。他の源氏一族は捕まればみな殺されているが、頼朝だけは宗清に捕らえられた結果が運よく一命を取り留めた。が、宗清は心苦しいと辞退した。頼盛は 鎌倉に入り、頼朝の庇護を受けている。
頼朝は宗清が来なかったので残念に思い「宗清のために土産も用意していたのに」と残念がった。頼盛は後に京に帰り1186年に病死している。
頼盛の息子たちは鎌倉幕府に仕えて子孫はその後鎌倉幕府が滅びるまで幕府に忠誠を尽くしている。
都落ちした平氏は、８月２６日九州に逃れ、大宰府の原田種直に宿舎に入った。しかし、知行国主藤原頼輔は、子の国守の頼経に、 後白河院の意思で、追い出すように迫った。頼経は緒方惟義に伝え、大宰府を追われ、 遠賀川河口の山鹿兵藤次秀遠の城に入ったがそこも追われ、１０月２１日、豊前柳ヶ浦（宇佐市）から海にでた。
さいわい知盛の国長門の代官紀伊刑部太夫道資の大船で、田口成良（重能・成能）の招きで讃岐国屋島に入った。 田口成良は、屋島に板屋の内裏や御所を作った。
義仲は屋島の平氏を討とうとして京都不在中、後白河上皇は源頼朝の上洛を促した。 それを知った義仲は、京に引き返した。寿永２年（１１８３）１１月、木曽義仲、後白河院を五条内裏に軟禁する。（法住寺合戦）
後白河院・頼朝を敵に回し、孤立した義仲は、寿永２年（１１８３）秋頃より、木曽義仲と接触し、翌年正月１０日ころには「義仲は後白河院を平氏に預けて、北陸に去り、 正月１３日に平氏が京に入る」ことになっていた。義仲は自分は逃げて源氏と平氏を戦わせようとした。 しかし１３日、上洛する頼朝の軍勢が少数だという誤った情報が義仲にもたらされ、義仲は北陸行きを取りやめた。平氏も上洛しなかった。
木曽義仲は、源頼朝の命をうけた範頼軍と義経軍に宇治川の戦いで敗れ、 粟津で戦死。寿永３年（１１８４）１月範頼、義経は、義仲を討ち、京に入る。
この頼朝と義仲の戦いは、平氏に立ち直る機会を与えた。平氏は京都奪還の計画を企て、寿永３年（１１８４）1月、讃岐国屋島から摂津国福原へ進出した。 そして平教経は備中・淡路・備後・摂津・紀伊・備前の源氏の残党を駆逐し、瀬戸内海を完全に握った。京に残った平氏の関係者は、福原まで 攻め上ってきたので、都に帰るであろうと喜んだ。
義仲を討った源氏は、二手に分かれ、大手の範頼は山陽道を絡めての義経は、山陰道から丹波路へと進んだ。一の谷の合戦の始まりである。
