あの時代は

人口が(諸説あるけど)せいぜい500～1000万人
そのうちマトモに古今集とか引用しながら教養のある手紙を書けるのが推計2000人くらい
ましてや漢籍をある程度読みこなせる女なんてほぼ居ない

公卿と漢詩の話ができるレベルの女が仮に50人くらいとして
貴子、定子、清少納言、紫式部で 4/50

全員学者の娘
この階級は父や夫について地方に下ってる女も多かっただろうから都に住んでない女も居る

と考えると
ぶっちゃけ世界が狭すぎるから
『交流があった筈がない！』とは言い切れないんだよなあ