渡殿は、紫式部が道長の邸宅土御門殿(つちみかどどの)滞在中に局を与えられていた場所である。その戸を、真夜中に叩く音。それも何度も、忍びやかに、しかし性急に。男だと、紫式部はすぐに気づいた。だが怖くて逢瀬を拒んだというのである。そして翌日の和歌のやりとり。昨夜の冷たい仕打ちを詰りつつも、まだ未練たっぷりの男の和歌に、紫式部は切り返す。あなたを部屋に入れないで良かったと。
戸を叩いた人物が誰だったかを、『紫式部日記』は明かしていない。もちろん、彼女自身はわかっていたに違いない。翌朝の和歌はどのようにして届いたのか。そのこと一つだけでも、推測は成り立つ。だから当然、意図して書かなかったのだ。だが、前の「梅の実」のやりとりから続けて考えれば一目瞭然だ――。そう思った読者たちは、これを道長と紫式部のラブ・アフェアと断定した。その約二百年後の鎌倉時代(十三世紀前半)、藤原定家が撰者を務めた勅撰集である『新勅撰和歌集』は、この二つの和歌を「恋」の部に載せ、「夜もすがら」の作者は「法成寺入道前摂政太政大臣」つまり道長、返歌の「ただならじ」は「紫式部」とはっきり示している。現代にまで及ぶ「御堂関白道長妾云々」疑惑は、こうして始まったのだった。