В начале 1828 года они вернулись в Одессу, Елизавета Ксаверьена продолжала избегать Раевского. Раевский стал вести себя недопустимо и позволять себе поступки, явно неприличные.

В июне 1828 года разразился громкий скандал. В это время Воронцовы принимали в Одессе императора Николая I с женой. Гости жили в роскошном дворце Воронцовых на Приморском бульваре. В один из дней Елизавета Ксаверьевна направлялась к императрице Александре Федоровне со своей дачи. По пути карету Воронцовой остановил Александр Раевский, держа в руке хлыст, и стал говорить ей дерзости, а потом крикнул ей: «Заботьтесь хорошенько о наших детях… (или)… о нашей дочери».

Трехлетную Софью Раевский считал своим ребенком. Скандал получился невероятный. Граф Воронцов снова вышел из себя и под влиянием гнева решился на шаг, совершенно неслыханный; он, генерал-губернатор Новороссии – в качестве частного лица – подал одесскому полицмейстеру жалобу на Раевского, не дающего прохода его жене. Но Воронцов скоро опомнился. Сообразив, что официальная жалоба может сделать его смешным, он прибегнул к другому средству, через три недели из Петербурга было получено высочайшее повеление о немедленной высылке Раевского в Полтаву за разговоры против правительства. Так Раевский навсегда расстался с Воронцовой.

История с Раевским еще долго обсуждалась в московском и петербургском свете. В декабре 1828 года А. Я. Булгаков писал брату: «Жена моя вчера была у Щербининой, которая сказывала, что Воронцов убит известной тебе историей графини, что он все хранит в себе ради отца и старухи Браницкой, но что счастие его семейственное потеряно. Меня это чрезмерно огорчает… Я не хочу еще верить этому… Кто более Воронцова достоин быть счастливым?… Но эта заноза для души чувствительной, какова Воронцова, ужасна!»

По свидетельству современников, даже в 60 лет Елизавета Ксаверьевна могла кружить голову мужчинам: «Небольшого роста, с чертами несколько крупными и неправильными, княгиня Елизавета Ксаверьевна была тем не менее одной из привлекательнейших женщин своего времени. Все ее существо было проникнуто такою мягкою, очаровательною, женственною грацией, такой приветливостью, таким неукоснительным щегольством, что легко себе объяснить, как такие люди, как Пушкин, и многие, многие другие, без памяти влюблялись в княгиню Воронцову».

Да, в семейной жизни Воронцовых не всегда все шло гладко. Граф Михаил Семенович Воронцов тоже не был верным супругом и имел любовную связь с лучшей подругой жены и хозяйкой крымского имения Мисхор Ольгой Станиславовной Нарышкиной, урожденной Потоцкой (1802–1861).

В свете считали, что Воронцов устроил в 1824 году брак Ольги Потоцкой со своим кузеном Львом Нарышкиным для прикрытия собственного романа с ней. Еще до брака у Ольги Потоцкой был роман с П. Д. Киселевым, женатым на ее старшей сестре Софье. Простить измены Софья так и не смогла, хотя всю жизнь продолжала любить мужа, но жила с ним раздельно.

Граф Воронцов не только брал на себя многие расходы по содержанию Мисхора, но и оплачивал карточные долги Нарышкина. В 1829 году у Нарышкиных родился долгожданный ребенок, девочка, которую назвали Софьей.

Злые языки утверждали, что она дочь Михаила Воронцова. Действительно, Софья Львовна Нарышкина имела куда большее сходство с Воронцовым, чем его собственные дети. Портреты Ольги Станиславовны и ее дочери всегда хранились среди сугубо личных вещей Воронцова и даже стояли на рабочем столе парадного кабинета Алупкинского дворца.

В 1834 году А. Пушкин записал в своем дневнике о том, что услышал от приехавшего из Одессы чиновника Я. Д. Бологовского: «Болховской сказывал мне, что Воронцову вымыли голову по письму Котляревского (героя). Он очень зло отзывается об одесской жизни, о графе Воронцове, о его соблазнительной связи с О. Нарышкиной etc. etc. – Хвалит очень графиню Воронцову».

Частная жизнь всегда интересует обывателей больше, чем что-либо другое, а частная жизнь людей публичных – тем более. Но не стоит забывать, что ничто человеческое никому не чуждо. И остаются в памяти истории дела, поступки, воинская доблесть и гражданский долг.

Вступив в должность губернатора, Михаил Воронцов начинает скупать в Крыму обширные угодья, особенно на южном берегу. К 1823 году ему принадлежали поместья в Мартьяне, Ай-Даниле, Гурзуфе. В 1824 году Воронцов приобретает Алупку и решает сделать ее своей летней резиденцией. Дворец в Алупке, настоящий замок в романтическом стиле, о его красоте и роскоши убранства, об окружавшем его великолепном парке с восторгом вспоминали все, кому доводилось здесь побывать.

Елизавета Ксаверьевна взяла на себя все заботы по художественному оформлению дворца и парка. Обладавшая тонким художественным вкусом, воспитанная на лоне одного из прекраснейших парков Европы, она старалась вникать в мельчайшие детали создаваемых в Алупке пейзажей. Она принимала живейшее участие в художественной жизни и Одессы тоже, в созданном в 1865 году Одесском Обществе изящных искусств, объединившем в себе художников и музыкантов.

В 1837 году, во время поездки по югу России, в Алупке останавливались Николай I, Александра Федоровна и их старшая дочь княжна Мария. Во время импровизированного спектакля, который устраивали в честь гостей, графиня Воронцова, играя на фортепиано, заменяла собой целый оркестр.

Жизнь Воронцовых во дворце на берегу моря, по словам Вигеля, можно было сравнить с житьем «владетельного немецкого герцога». Двери их дворца были широко открыты для местного общества, и на роскошные балы и приемы допускались не только представители аристократии и чиновничества, но и иностранные негоцианты и банкиры. Своею неизменною приветливостью, роскошью нарядов и драгоценностей Елизавета Ксаверьевна затмевала бывших светских «цариц» Одессы, графинь Гурьеву и Ланжерон, и была для них «острым ножом в сердце».

Среди окружения четы Воронцовых было много художников. Воронцовы покровительствовали театральному декоратору А. Наннини, архитектору Г. Торичелли, художникам Н. Черенцову, К. Боссоли, И. Айвазовскому, Г. Лапченко, К. Гальперну. На собственный счет их обучали, посылали за границу, поощряли заказами и рекомендациями другим лицам.

Воронцовы использовали каждый выезд за пределы России, чтобы приобрести новые картины, книги, археологические редкости.

Осенью 1826 года Воронцов, вместе с Рибопьером, принял участие в съезде уполномоченных представителей в Аккермане для урегулирования отношений между Россией и Оттоманской Портой.

За успешное проведение этих переговоров с благоприятными для России условиями он был награжден алмазными знаками ордена Св. Александра Невского.

Турция, однако, не пошла на требуемые союзниками уступки, и весной 1828 года Россия объявила Турции войну. Николай I приказывает находящимся в Бессарабии русским войскам вступить в турецкие владения, и 16 августа 1828 года Воронцов из Одессы отправляется в район военных действий под Варну. 29 сентября русские войска заняли все бастионы крепости, которую до этого никто не мог взять. За эту операцию М. С. Воронцов был награжден осыпанной бриллиантами золотой шпагой с надписью: «За взятие Варны». В кампанию 1829 года, благодаря содействию Воронцова, войска, действовавшие в Турции, безостановочно получали необходимые запасы. Чума, занесенная из Турции, не проникла вглубь Российской империи во многом благодаря энергичным и вовремя предпринятым мерам Воронцова.