ドラマでは明かされないまま裏設定はいろいろあるとおもう
あいまいに片付けてたけど

源次郎が大介に囲碁を教わってたが、あれは知らない振りをしていたのは間違いないし

源次郎が茶々やたかとヤッたのか、ヤラないかはおそらくヤッてたんだよ

そして、きりと秀次も確実にヤッてる