Видимо, императрицу вполне устраивало существование этих двух мужчин рядом с собой. Незабываемый фильм «Покровские ворота»… Конечно, нельзя сравнивать великую императрицу со скромной героиней Маргаритой Павловной, но напор, уверенность в своей правоте, сознание, что ты делаешь доброе дело, и у той, и у другой вполне соизмеримы. Вот отзыв о Завадовском современника: «Глубокомыслие и важность ясно изображались на его лице. С первого взгляда можно было подумать, что он горд, но сия гордая и холодная наружность была только следствием углублённой в свои мысли и нерассеянной души его; надобно было только осмелиться вывести его из сего углублённого положения, и он начинал мало-помалу входить в разговор, который от часу становится живее и занимательнее».

Этот отзыв относится к более позднему времени, когда Завадовский давно утратил пост фаворита, но, очевидно, и в тридцать пять лет душа его была «нерассеянна» и жил он «углублённый в свои мысли».

С.П. Жихарев, который встречался с П.В. Завадовским в марте 1807 года (Петру Васильевичу уже 68 лет), свидетельствовал, что это был «муж века Екатерины Великой. Он очень величав наружностью; в движениях его много истинного достоинства; говорит протяженно и как будто бы взвешивая каждое слово, но зато выражается правильно и разговор его исполнен здравомыслия. Сказывают, что смолоду он был красавец: может быть; но теперь, кроме живых, умных глаз, других остатков красоты незаметно».

В конце концов, Потёмкин сдался, ему невыносимо было присутствие соперника и лицемерие Екатерины. Он уехал в Новороссию, а двор вздохнул с облегчением. У Потёмкина было очень много врагов, ему не могли простить и фавор его, и скромное происхождение, и строптивый нрав, и бесцеремонность, и огромную власть, которую он уже имел и в Военной коллегии, и в Сенате, и в дворцовых покоях, и в армии.

Но и без Потёмкина жизнь Завадовского была несладкой. Он пишет своему другу Воронцову: «Познал я двор и людей с худой стороны, но не изменюсь нравом ни для чего, ибо ничем не прельщаюсь». Скучно было ему играть в царедворца, эта скука «весь мой весёлый нрав подавляет», — пишет он в одном из писем. Понятное дело, при дворе велись интриги, нашлись люди, которые с помощью Завадовского решили навсегда свергнуть «с престола» Потёмкина. В помощники для этого дела решено было призвать братьев Орловых. К чести Григория Орлова, скажем, что он в этой интриге участия не принимал. Да и вся интрига состояла, скорее, не из действий, а из мечтаний и подковёрных бесед.

Пикуль в своём романе «Фаворит» отзывается о Завадовском крайне нелестно. Он смотрит на него не авторским взором, а глазами своего героя. Вернувшись в Петербург, Потёмкин «сразу же вытряхнул из дворцовых покоев Завадовского, который как воришка забрался в чужие комнаты». Оставим на совести Пикуля эту фразу. Если кто-то и «вытряхнул» Завадовского из дворца, то это сама Екатерина, но, конечно, не без помощи Потёмкина. Измученный, по-прежнему влюблённый бывший статс-секретарь уехал зализывать душевные раны в своё имение Ляличи. Екатерина была верна себе. Отслуживший фаворит получил в дар 80000 рублей единовременно, 5000 рублей пенсии, 1800 крестьян в Малороссии и 2000 в Польше. Ну и сервиз серебряный, как положено.

Собственно, на этом и можно было бы кончить рассказ о Завадовском-фаворите, но нельзя не рассказать о нём как о государственном деятеле. Через три месяца Екатерина позвала его в Петербург. Может, её совесть мучила, но, скорее всего, она хотела использовать деловые качества отставного фаворита, только пока не знала как. Завадовский приехал. От дворцовых покоев веяло холодом, он надеялся совсем на другую встречу. Проболтавшись в столице несколько месяцев, отдавая время игре в карты и посещению друзей, он всё бросил и опять вернулся в Ляличи. Оттуда он пишет Бакунину: «Живу скучно и по-премногому неприятно, от убытка чувственности, мне природной, познакомился с меланхолией и подвергнул здоровье разным мучительным припадкам». Почему-то почти все любовники Екатерины рано или поздно начинают «страдать меланхолией», так было и с Понятовским, и с Орловым, и с Потёмкиным, и, наконец, с Завадовским. Словно царица была, как говорят наши экстрасенсы, вампиром, который пьёт чужую энергию.

Через год Екатерина призвала Завадовского на службу и буквально завалила его работой. Ему поручили управление Санкт-петербургским дворянским банком, он председатель в комиссии по строительству Исаакиевского собора, курирует строительство в подмосковном Царицыне, заседает в Сенате, и, наконец, а это главное, Екатерина пытается использовать его в деле народного просвещения. Екатерина была одержима идеей воспитания «нового человека». Век Просвещения учил, что все беды человечества связаны с невежеством. Вот будут все грамотными, и наступит на земле золотой век. Она и сама писала труды по вопросам воспитания, а Завадовский стал первым чтецом их и критиком.

В 1782 году была создана Комиссия об учреждении училищ. Руководить комиссией был назначен Завадовский. Он весь отдался работе — народ надо было «выводить из мрака невежества». Был разработан «План к установлению народных училищ в Российской империи», по которому в столицах и губернских городах учреждались четырёхклассные народные училища, а в уездных — двухклассные малые народные училища. Школы предназначались для всех сословий и содержались за счёт государства. Екатерина очень положительно оценивала его работу. Завадовский получает чин тайного советника, становится сенатором.

В 1783 году в Петербурге было открыто Главное народное училище по подготовке учителей. В 1786 году на базе этого училища появилась Учительская семинария — искали новые методы и формы преподавания. Следствием этой работы было открытие 25 народных училищ в губернских городах. За эту службу Завадовский был награждён императрицей орденом Святого Владимира I степени, а также получил 8000 душ крестьян в Малороссии. Тогда же был основан дворянский благородный пансион для мальчиков, это уже не частное, а государственное учреждение.

Кроме того, Завадовский был назначен управляющим медико-хирургической школой и как организатор очень преуспел в этом направлении. Медицинская школа была преобразована в академию, велось грамотное обучение медиков.

Знаком высшего доверия императрицы к Завадскому было и то, что она поручила ему опекунство над графом Бобринским, сыном её и Григория Орлова.

Между тем Завадовский купил себе дом на Миллионной улице и решил обзавестись семьёй. Невесту он нашёл в доме Кирилла Григорьевича Разумовского, с которым все эти годы поддерживал самые тесные отношения. Невеста — Вера Николаевна Апраксина — была прелестная девица, но у неё был значительный недостаток, подмоченная репутация. То есть сама-то невеста была чиста, но вот маменька, Софья Осиповна, была фигурой скандальной и опасной, её знал весь Петербург и очень не одобряла сама императрица. Софья Осиповна, по мужу Апраксина, приходилась К. Разумовскому племянницей. После смерти жены Кирилла Григорьевича она переехала к нему в его дом и прожила там почти тридцать лет. Она перессорила старика Разумовского с детьми, после его смерти распорядилась богатством в свою пользу. Но это всё потом, да и не это главное, мало ли какие склоки бывают в семьях из-за денег? Петербургское общество было уверено, что дочь Софьи Осиповны — Вера Николаевна — хоть и носила фамилию Апраксина, на самом деле была дочерью Разумовского, то есть была внебрачным ребёнком.