アクセス先のサーバーで以下のようにパーミッションを変更したら解決しました。 最初は.sshフォルダもパーミッション変更が必要な事に気が付かず少し時間かかってしまいました。 chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys