平氏撤退に関しては以下のような逸話が有名である。その夜、武田信義の部隊が平家の後背を衝かんと富士川の浅瀬に馬を乗り入れる。
それに富士沼の水鳥が反応し、大群が一斉に飛び立った。『吾妻鏡』には「その羽音はひとえに軍勢の如く」とある。これに驚いた平家方は大混乱に陥った。
『平家物語』や『源平盛衰記』はその狼狽振りを詳しく描いており、兵たちは弓矢、甲冑、諸道具を忘れて逃げまどい、他人の馬にまたがる者、杭につないだままの馬に乗ってぐるぐる回る者、集められていた遊女たちは哀れにも馬に踏み潰されたとの記載がある。