公家は不入斗の権利を持っているので、武家政権に税務調査をされない。
岩倉は村上源氏であり、江戸時代に公家になった家なので、
何かの有職故実の家元でもないし、後宮に入って天皇の母となるような家でもない。

洛中の屋敷から締め出され、郊外に住んでるんだから、税務調査免除の特権を使い賭博場やって当然。