Императрице очень не нравился выбор Завадовского, и тот, бедный, вынужден был оправдываться перед «блюстительницей морали». «Беру овечку из паршивого стада, — писал он Екатерине, — но на дух свой надеюсь твёрдо, что проказа ко мне никак не пристанет, наподобие как вынутое из грязи и очищенное от оной золото ничьих рук не марает».

Свадьба состоялась 30 апреля 1787 года. Невесте было двадцать, жениху почти пятьдесят. Екатерина сменила гнев на милость и назначила Веру Николаевну своей фрейлиной. Завадовский был влюблён в свою молодую жену. Брак был, помимо всего, выгодным, потому что приобщал новоиспечённого мужа к высшей аристократии страны.

Можно сказать, что они жили долго, но не скажешь, что счастливо. Первые шесть лет прошли вполне благополучно, а потом у них стали умирать дети. Умирали они в младенчестве. Родилось всего десять детей (немыслимое количество по нашим временам), осталось всего пятеро, а потом трое. Завадовский писал другу своему С.Р. Воронцову: «Я познал, какова радость, какова печаль от детей: пятерых погрёб, одна дочь шести месяцев остаётся, которая не одобрение, а более трепет сердцу наводит. Толику я несчастный отец! Хоть живу, но как громом поражённый; сам не чувствую своей жизни». В свете сплетничали, что оставшиеся в живых два сына и дочь Татьяна родились не от Завадовского, а от князя И.И. Барятинского. Что тут скажешь? На чужой роток не накинешь платок.

Смерть детей отразилась на здоровье Завадовского, да и возраст давал о себе знать. Очередной фаворит императрицы Платон Зубов его откровенно ненавидел, поскольку Завадовский имел, по его мнению, слишком большое влияние на императрицу. Двор всегда созвучен фавориту, вокруг Завадовского велись бесконечные интриги. Словом, он помышлял об отставке, но Екатерина и слышать об этом не хотела. Кому ещё она может доверить народное образование? Дабы удержать своего любимца подле себя, она награждает Завадовского орденом Святого Александра Невского, жалует титул графа Священной Римской империи, заодно этот титул получают и его братья — Яков и Илья Завадовские.

Екатерина скончалась, на трон вступил её сын Павел. Он вполне благосклонно отнёсся к ближайшему соратнику покойной матери. В день своей коронации 5 апреля 1797 года он пожаловал П.В. Завадовскому графское достоинство Российской империи, наградил его орденами Святого Андрея Первозванного и Анны I степени, а также назначил руководителем Государственного ассигнационного банка. Завадовский продолжал заседать в Сенате, но и, как прочие екатерининские деятели, скоро дождался отставки. Секретарь банка каким-то обманным путём получил на руки 7000 рублей. Правда, Завадовскому уже давно было не до банка, руководство им было чисто формальным. Император вспылил, а дальше всё понятно.

Наконец-то Пётр Васильевич мог уехать в свои Ляличи! К этому времени любимая усадьба приобрела совсем новый вид. Барский дом, построенный знаменитым Кваренги, был великолепен. По желанию Екатерины он внешне напоминал Ассигнационный банк. С этим зданием произошла анекдотическая истории. За опальным вельможей по приказанию Павла был учинён негласный надзор — следить, как живёт, кого принимает. Писать было особенно нечего, хозяин жил тихо и скромно, и услужливый надзиратель сообщил в столицу, что дворец Завадовского выше, чем вновь отстроенный Михайловский (Инженерный) замок. По счастью, Петра Васильевича предупредили, что из-за этой нелепицы у него могут быть большие неприятности. Тогда он сделал перед дворцом насыпь, закрыл нижний подвальный этаж. И ведь приехали, обмерили, но отбыли ни с чем. Дом Завадовского был «на целый аршин» ниже Михайловского замка.

Александр I с воцарением тут же призвал Завадовского на службу и в 1802 году, при замене коллегий на министерства, назначил его министром народного просвещения. Этот пост Завадовский занимал десять лет, и сделано за эти десять лет было больше, чем за всё минувшее столетие. Были открыты Казанский и Харьковский университеты, сотни новых учебных заведений, лицеи, губернские гимназии и Главный педагогический институт.

Завадовский умер 10 января 1812 года в возрасте 73 лет, жена пережила его на 33 года. Надгробную речь произнёс митрополит Филарет. Он окончил её такими словами: «Сколько за сими знаменитыми подвигами сына Отечества скрывается скромных добродетелей человека, на которые, будучи ближе к сердцу, ручаются за чистоту деяний блистательных. Кротость и чадолюбие в семействе, твёрдость в дружбе, для которой он забывал себя, снисходительность в домочадстве, умеренность во власти, справедливость без строгости, милость без пристрастия».

И ещё, говорят, он играл на арфе. А почему бы не играть на арфе интеллигентному человеку?

Вернёмся в 1777 год. Что ещё было в 1777 году? У императрицы родился внук Александр, будущий император. В этом же году Петербург пережил страшное наводнение. Потёмкин приехал в Петербург посмотреть, как обстоят дела во дворце, не упали ли до нуля его акции. Екатерина приняла его очень благосклонно. Завадовский ей уже поднаскучил своей меланхолией. Но Потёмкин не задержался в столице надолго. Прежней любви было не вернуть, это он хорошо понимал. Надо было сохранить доверие, дружбу, то есть стать Екатерине «третьим плечом», как поётся в одной популярной советской песне. Понимал он также, что если и будет где-то чувствовать себя полноправным хозяином, то это будут южные земли России, его любимая Новороссия. Там он уже развернул активную деятельность. Новые земли надо было освоить, то есть заселить колонистами. Но где взять людей? Потёмкин выдвинул смелую идею — пригреть всех беглых крестьян и дать им в Новороссийской губернии вольную. План этот хотя бы частично, но удался. Он даже предложил императрице принять на поселение английских каторжан, которых Великобритания большими партиями отправляла в Австралию. По счастью, от этой идеи С.Р. Воронцов отговорил Екатерину, только английских каторжан нам не хватало. На новые поселения принимали армян, греков. Надо было строить города, возводить леса, разбивать сады и виноградники. Нужны были школы, больницы, типографии. Потёмкин загорелся разведением шелководства. И главнейшей его задачей было строительство кораблей и оборонительных сооружений.

Поэтому он никак не мог задерживаться в столице надолго. Главное, удалить из дворца Завадовского, в котором он видел опасного соперника не только на ложе государыни, но и в делах политических, слишком уж тот был деловит, и связей у него было много, и вообще, мало ли что взбредёт в голову Екатерине? Мало было удалить Завадовского из дворца, а на его место надо было самому найти замену. В любовниках государыни должен ходить свой человек.

Последнее Потёмкину удалось, ему всё удавалось. На место фаворита он определил своего адъютанта, гусара, серба по национальности. Семён Гаврилович Зорич был настолько хорош собой, что задачей было только показать его государыне, а в дальнейшем Потёмкин не сомневался. Через малый срок Зорич получил чин флигель-адъютанта императрицы, а Потёмкин со спокойным сердцем уехал в свою Новороссию.

Н.И. Павленко пишет: «…в Новороссию ехал не отверженный фаворит и не опальный придворный, а вельможа, облечённый доверием императрицы, которого по пути следования встречали и провожали едва ли не с царскими почестями. […] Екатерина, отправляя вельможу в дальний путь, не ошиблась в нём, когда считала его верным, а Потёмкин не ошибся в императрице, когда рассчитывал обрести в ней покровительницу, горячо поддерживающую все его начинания и сохранявшую при этом дружбу и привязанность, но уже не как к фавориту, а как к соратнику».