逆に、細川忠興（小倉藩の初代藩主）など他家の当主と積極的に交流していたことが黒田家から問題視されたとの説もある。この場合は、嫉妬ではなく、黒田家に又兵衛を惜しむ気持ちが強かったと言えるだろう。慶長十一年（1606）、又兵衛は一族を伴い、黒田家を出奔。又兵衛は、小倉の細川忠興を頼ることに。

　又兵衛出奔を知った黒田長政は、又兵衛を引き渡せと、細川家に要求。細川家がこれを受け入れなかったことから、両家は一触即発の状態となる。これを危惧した徳川家康は、細川忠興に「又兵衛を他国に行かせる」ことを命令。細川家の迷惑になることを嫌った又兵衛は、同家を退去する。又兵衛は、播磨の池田輝政を頼るが、輝政の死後（慶長十八年＝1613）、池田家を去る。その後、又兵衛の他家への仕官はなかなか成就しなかった。黒田家から「奉公構」（旧主からの赦しがないと将来の仕官が禁止）の刑罰が科されていたからであった。黒田家への帰参の話もあったが、又兵衛はついに黒田家に戻ることはなかった。大坂の陣が起こると、又兵衛は大坂方からの誘いを受け、大坂城に入る。勇将の又兵衛は「大坂城五武将」の一人に数えられている。牢人であった又兵衛は、大坂の陣で手柄を立て、一国一城の主となることを望んだのであろう。

※週刊朝日ムック『歴史道Vol.30　関ヶ原合戦と大坂の陣』から