Пасяліўшыся ў Маскве, Панін пачаў рэзка выяўляць сваё незадавальненне, што дайшло да імператрыцы, якая, лічачы яго «першым ворагам», «сабе персанальным абражальнікам» і «дзёрзкім пустасловам», загадала заснаваць за ім нагляд.