直親が信濃から帰って来るとき娘一人を伴っていたというのは伝承であって史実ではないはず
直親一人で戻ってきた説と妻子を連れて来た説と色々ある
この時期に高瀬姫がどこに居たか、同時代史料に記載が無い限り特定できないだろう