陣屋の前を通行の時も、陣屋の人は別に手出しもせす、只岡部の村外れの処へ、藩士が両人来て、此の御同勢の中に、当領分の百姓があるから、何卒意見して戻して呉れといふことを、同行の人に頼むだ、処が其人の答には、御頼みの趣は申伝へますが、今此処で急に渋沢両人に村方へ帰られては、一同が困ります、到底出来得ぬ事と思ひますといつて、別れた位のことであつた

ttps://eiichi.shibusawa.or.jp/denkishiryo/digital/main/index.php?cmd=read&page=DK010021k_text&word=%E5%B2%A1%E9%83%A8%E3%81%AE%E6%9D%91%E5%A4%96%E3%82%8C
猪飼さんではないけど一応雨夜譚に記載はあるエピソード