後白河院が鳥羽殿に幽閉されたまま、治承四年（一一八〇）正月一日を迎えた記事を巻第四は冒頭におき、二月には「入道相国、よろづ思ふさまなるが致すところ」と批判する高倉天皇の退位と、新帝即位によって平家は「時よくなりぬとてひしめきあ」う譲位の次第が語られる。巻第一「東宮立」の章で、高倉帝の即位にあたって、その母建春門院が清盛の妻時子の姉妹平滋子であり、「此君の位につかせ給ひぬるは、いよいよ平家の栄花とぞみえし」と述べて、平家一門の権勢も頂点を極めたかにみえたのだが、その十二年後の新帝（安徳）即位は、清盛の娘徳子（建礼門院）が生母であり、清盛は外祖父となって、まさに「時よくなりぬ」という事態ではあったが、すでに制圧はしたものの、貴族の反平家の動きもあって、不穏な動静を孕む情況となっていた。

　三月上旬、高倉上皇は、清盛の心を和げ、父後白河院の幽閉が解かれることを祈念するため厳島に詣でることになるが、延暦寺衆徒の抗議にあって、しばらく延引し、清盛のとりなしによって実現することになった。途上、許されて鳥羽殿で後白河院と対面し、涙ながらの物語があったと記すがこの御幸に供奉した源通親の「厳島御幸記」や、当時の貴族の日記などにはみえず、記載しない異本もある。厳島の社々を巡拝して、帰路につかれたが、途上、備後国しきの泊などで、「伊勢物語」の一場面を思わせるような、歌を詠みあう宴などもあって、帰京された。「厳島御幸」「還御」の二章で語られるところである。

　つづいて「源氏揃」で状況は大きく転換する。これまで、平家と貴族、寺社の三つ巴の抗争は京とその周辺でくりひろげられてきたが、ここで視野が一挙に拡大されて、東国の情勢が源頼政の後白河院第二皇子以仁王に平家打倒の挙兵を勧める提言で示される。皇位を継ぐべき地位にありながら、平家との血縁がない為に疎外されていた以仁王に、平家追討の令旨を発することを要請して、挙兵に馳せ参じる諸国の源氏を、京周辺から東国一帯の国々とそこに雌伏している武人の名をあげて、決断を促すのである。躊躇していた以仁王も、当時すぐれた人相見として評判のあった小納言伊長が、帝位に即く相があるとみたので、決断して行動にふみきり、令旨を発して、保元の乱に敗れて斬られた源為義の十男で、当時熊野の新宮に居住していた義盛が八条院に仕え行家と名を改めて使者となり、平治の乱後流罪となっていた源頼朝をはじめ東国の源氏に伝えることになる。

　以仁王のこの動きが、熊野別当湛増の知るところとなり、新宮を攻めて敗れたが、平家へ情報を伝えると、清盛は直ちに逮捕の武士をさしむけた。この間、後白河院は、幽閉を解かれて、八条烏丸の美福門院の御所に入られた。

　後白河院の幽閉が解かれ、以仁王が反平家の行動に起つ前に、鳥羽殿で、たくさんのいたちが走り騒ぐという異変が起った。院自ら占って、陰陽頭安倍泰親に判断を求めると、三日のうちの御悦と御歎であるという。その後に起る事態の予兆であったことが「鼬之沙汰」の章で語られる。

　頼政の使者が、平家の追捕使が向う情報を宮の御所に伝えると、高倉帝に仕える侍長谷部信連は機敏に行動して、頼政の指示する三井寺へと宮を向わせ、御所に残って平家の追捕使を相手に活躍する。この一件を語る章段が｢信連｣である。

　信連は宮を女房装束に変えて送り出したが、途中、大きな溝を軽々ととび越えて道行く人に怪しまれる、といった場面があったり、あまりにも火急のことで、宮秘蔵の笛を忘れて出たのをみつけた信連が後を追って届けたとき、宮は「われ死なば、此笛をば御棺にいれよ」と告げるが、わが運命を予感しての遺言のようなことばであった。そのまま供をせよという宮の要望に、信連は「其夜はにげたりなんどいはれん事、弓矢とる身はかりにも名こそ惜しう候へ」と述べて、追捕の役人たちを打破ってから参上すると答えて御所に帰り、十数人の追捕使を相手に勇戦する。頼政の猶子兼綱が以仁王逮捕の勢の筆頭にあげられているのは、平家がまだ頼政がかかわっていることを知らなかったのであるが、兼綱は門前離れた場所に待機するだけであった。さんざん斬りまくった果、捕えられた信連は、清盛の前できびしく追及されるが、臆することなく対応し、平家の武士たちからも賞讃され、流刑にとどめられた。源氏の世となってから、能登国（『吾妻鏡』では安芸国）に所領を給ったという。信連の活躍はこの一章だけであるが、物語の世界に欠かすことのできない人物である。

　つづく「競」の章では、高倉宮が三井寺に入られた記述のあと、頼政がいま、なぜ平家に叛くことになったかという経緯が説話的に語られている。頼政の嫡子仲綱の愛馬を、宗盛が権威づくで乞い取った上、出し惜しんだことを憎んで屈辱を与えたことを憤って機会をねらったというのである。この一件に対しては、のちに頼政の侍渡辺の競による報復がみごとに語られている。

　頼政ら一族が館に火をかけ、三井寺へと向った後、遅れて留まっていた競は、宗盛の呼びかけに応じて奉仕することを答え、誠意を以て仕える様をみせて巧みに宗盛の秘蔵の馬をせしめ、三井寺へかけつけた。その後この馬の尾髪を切り、宗盛の名の焼印を押して六波羅へ追い返した。宗盛は激怒して、三井寺を攻めたときには、競を生け捕りにし、鋸で頭を切ろうと喚いたという。

　「競」の章段には、間に馬をめぐる重盛と仲綱のエピソードが挿入されている。宮中で重盛が足元を這う蛇を静かにとらえ、仲綱に渡すと、仲綱は郎等競を呼んで処理させた。このときの仲綱の対応を賞して、重盛はすぐれた馬を与えた。重盛と対比して、宗盛の愚行を批判する一節である。

　三井寺では、高倉宮を迎えて、大衆らが集会し、反平家の行動をよびかける書状を山門（延暦寺）、南都（興福寺）へ送ることになる。「山門牒状」「南都牒状」の二章で、まず延暦寺への協力のよびかけに対しては両寺が「鳥の左右の翅」「車の二つの輪」と対に書いたことに反発するとともに、常に対立抗争を重ねてきたうえ、清盛の大衆懐柔策もあって返信を拒んでしまった。

　興福寺への要請に対しては、藤原氏の氏寺でもあり、清盛による藤原氏への圧迫を憤っていた折でもあったので、直ちに協力を約諾する返事を送った。この「返牒」の執筆者は、後に巻第七で明らかにされる最乗房信救で「返牒」の文中に「清盛は平氏の糟糠、武家の塵芥」と書いたので清盛は激怒し、捕えて処刑せよと命じたのを聞いて興福寺を脱出、北国に下り、木曽義仲に従った大夫房覚明である。

　大衆は、さらに作戦をめぐって論議をつづける。「永僉議」の章である。そのなかに平家に味方する僧もいて、時間を延ばすために、ながながと論じつづけたりしたが、乗円房の阿闍梨慶秀という老僧が進みでて、六波羅への夜襲を提言し、さらに円満院大輔源覚の直ちに行動せよとの呼びかけによって、大手搦手にわかれて出発した。「大衆揃」の章である。時間が経過して、夜も明けてきたので、夜襲はかなわず、興福寺の勢も遅れているので、老僧たちとは別れて、高倉宮は南都に向われることになった。つづく「橋合戦」の章、宮と頼政勢は、宇治、平等院で休息するが平家方追討軍が迫り、橋板をとりはずした宇治橋をはさんで激しい戦闘がくりひろげられる。とりわけ、三井寺の同衆筒井の浄妙明秀の橋の行桁に進み出ての奮戦ぶりが活写される。平家勢は宇治川渡河を企てるが、五月雨の季節、水量が増して容易ではない。そのとき進み出た下野国の住人足利又太郎忠綱が先頭にたって、馬の扱いを的確に指示しながら「挙に軍勢を率いて渡河し攻めこんでいく。平家勢は陸続とこれにつづき、平等院へと進撃したので、頼政は高倉宮を先に奈良へと送り出し、激しく防戦する。「宮御最期」の章である。「平家物語」では、高倉宮、頼政らの軍勢は、「千人、追撃する平家勢は二万八千騎とあるが、兼実の日記「玉葉」は宮方は五十余騎、平家は三百余騎を記しており、いちじるしい誇張がみられる。しかし、激戦であったことは当時京にも伝わり、兼実はとくに頼政の次男源大夫判官兼綱の勇戦ぶりを伝聞し「兼綱ノ矢前ニ廻ル者無シ。宛ラ八幡太郎ノ如シト云々」と記している。

　衆寡敵せず、頼政勢の多くは討死し、自害し、頼政も辞世の歌を残して自刃した。

　奈良に向った高倉宮も追撃する平家勢の矢で命を落した。御供の三井寺の大衆たちは命の限り防戦して打死したが、宮のめのと子、六条大夫宗信は池に飛び入り、うき草で顔をおおって難を避け、京に帰って人々の指弾を受けた。

　物語は、高倉宮の反平家の挙兵は頼政の勧めによるものと語っているが、動機は宮の方にあり、八条院のかかわりで頼政が加担したものを推測する史家の説がある。

　この決起を契機として、平治の乱後伊豆に流罪の身となっていた頼朝の挙兵へと展開することになるのである。

　高倉宮亡きあとの御子の宮たちの消息を語る「若宮出家」、高倉宮の相をみた相小納言にかかわらせて、昔の通乗という相人の話や、皇位をめぐって争うことはなかった皇子たちについて語る「通乗之沙汰」の章についで、「?」、は頼政生前の武勇を語る挿話である。近衛天皇の御代、天皇は夜毎に怪現象に悩まされていたが、選ばれて頼政が退治に向い、この怪物を仕留めた。同じような話が、二条天皇在位のときのこととしてもう一話付加されている。

　巻四最後の章は「三井寺炎上」。三井寺が高倉宮を擁して反平家の行動に出たことへの反撃として、平家が三井寺を攻め、焼き払った。治承四年五月二十七日のこととしているが、史実は巻第五末の「奈良炎上」で語られる興福寺・東大寺炎上の少し前、十二月十一日のことであり、これを高倉宮、頼政勢鎮圧に続けての作戦としたものである。藤原忠親の日記『山槐記』の五月二十七日条に三井寺方面に火災があったことは記しているが、平家の攻撃によって焼かれたことは「玉葉」とともに十二月のこととしている。

　このような「天下の乱、国土のさわぎ」が平家の世も末になった先ぶれであるとする人々の声をしるして、巻第四を結んでいる。