疑心暗鬼云々いうなら
まず秀頼が実子かどうか疑うべきだったのでは