こうした攻防が続いている中、大坂方の石川康勝が守る櫓で失火があった。石川康勝は、真田丸に配属されていたという史料(『落穂集』)もあり、この失火が真田丸付近であった可能性も考えられる。この失火の原因は石川勢の者が火縄を誤って二斗(一斗は約一八リットル)入りの弾薬箱に落としてしまうという事故であった。この火事で石川康勝自身も負傷し、退却することとなった。
徳川方はこの火災を、大坂城に籠城し徳川方に内通していた南条元忠が起こしたものであると勘違いし攻め込んだ。しかし、南条元忠の内通はすでに大坂方に露見しており、家臣ともどもすでに成敗されていた。内通であると油断していた徳川方に対し、大坂方は鉄砲による攻撃を浴びせ、大きな損害を与えた。
この戦いの状況を見た信繁は、嫡男真田大助と援軍の伊木七郎右衛門に五〇〇人の兵を率いさせ、徳川方に一撃を与えて引き揚げさせた。
撤退を命じた家康
真田丸の攻防は、昼過ぎまで続き徳川方は損害を増加させた。こうした状況は、家康にも伝わり、激怒した家康は撤退を命じた。しかし、真田丸からの攻撃で身動きが取れず後退時に背後から撃たれることを恐れたことや、面子に関わるという理由から撤退はなかなか進まなかった。そのため徳川方の撤退命令は三度にわたったとされている。午後三時頃になって井伊勢が撤退を始めたことから、松平勢も続いた。大坂方も弾薬の消費量を考慮して攻撃を控えたため戦闘は終結した。
その夜、家康は前田・井伊・松平などの重臣を呼び事情聴取している。松平家の本多富正・本多成重が自分たちの不手際であること、若者が逸ったことが原因であると詫びた。家康は不機嫌であったが罪には問わなかった。
徳川方の被害は、松平勢は四八〇騎、前田勢は三〇〇騎の死者を出したとされ、これらの被害以外にも雑兵の戦死者は数知れないと伝えられている。井伊勢は名のある者で討死が三五人、負傷者が九一人いたとされる。
また、この徳川方の敗北は、京都・奈良などにも伝わっている。これらの記録にも徳川方に大きな被害が出たと書かれていることから、早い段階から多くの人々に徳川方の敗北が伝わっていたといえる。