道長自身は女郎花を折って式部に与えたこともあった。その道長が寛弘六年の夏の夜に、式部の局の戸を叩く出来事もあった。この件に関しては『紫式部日記』によれば、以下のように記されている。中宮彰子が敦良親王懐妊中の道長の土御門殿での出来事とされる。「すきものと名にし立てれば……」(貴女は浮気者という噂が高いから誰もが口説くことでしょうね)との道長側からの式部への歌に、彼女は「人にはまだ折られぬものを……」(私はまだ誰からも口説かれたことはありません。誰が浮気者と言いふれているのでしょうか)と返歌したことが見える。そしてその夜のこと渡殿局の戸を叩く人がいて、その音を聞いたが、恐ろしいので応答せずに夜を明かした。その翌朝に道長から「夜もすがら水鶏よりけになくなくぞ……」(私は一晩中水鶏のように泣きながら、戸口を叩き続けても閉じたまま夜を明かしました)。これに対し式部は「ただならじとばかりたたく……」(ただごとではない様子の戸の叩き方に水鶏と同じくさほどの気持ちではないのに戸を開けたなら、煩わしい思いをしたことでしょう)。こんな歌の応酬があった。
この件は想像をかきたてられはするが、真偽は不明。『尊卑分脈』には「道長の妾」との表記があり、右に見た『紫式部日記』の記事などが下敷きになった推測なのかもしれない。それとは別に想像を逞しくすれば、土御門殿での道長からの式部への「すきもの……」云々の投げかけに、浮気者ではないことを返歌で示した彼女に、その真意を確かめるための“男心”が道長の夜の訪れに繋がったのかもしれない。それが両人の関係への関心を倍加させることとなった。当時、道長は分別盛りの四十四歳、男盛りでもあることからすれば、不惑前夜の式部とのロマンスも考えられなくはない。同年の冬には敦良親王(のちの後朱雀天皇)も誕生、順風の時期でもあった。
この時期、道長は『源氏物語』の草稿にもかなりの興味を持っていたようで、中宮彰子出産後の祝のためとされるが、清書用の『源氏物語』の草稿本が未完成のまま、道長に持ち去られるという珍事もあった。それだけ彼女は注目され始めていた。