緒方直人の時は側近中の側近で、いつもそばにいたのに