Чарторыйский не мог не заметить очарования Елизаветы Алексеевны. Они виделись ежедневно, и скоро слухи прочно связали их имена. «Каждый день, казалось, влек за собой новые опасности, — вспоминала графиня Головина, — и я очень страдала из-за всего того, чему подвергалась великая княгиня. Помещаясь над ней, я видела, как она входила и выходила, так же, как и великого князя, постоянно приводившего к ужину князя Чарторыйского».

И вот, когда спустя шесть лет после свадьбы, 18 мая 1799 года, великая княжна родила дочь, злые языки стали называть Чарторыйского ее отцом. Малышку назвали Марией, в честь бабушки — Марии Федоровны. Варвара Голицына вспоминала: «Император, по-видимому, был очень доволен рождением внучки, о чем ему было доложено в ту самую минуту, когда курьер из армии как раз привез неприятельские знамена и известие о победе, одержанной Суворовым в Италии. Государю приятно было сопоставить оба эти случая, и он, шутя, объявил себя покровителем новорожденной, появление на свет которой никого не радует, потому что она не мальчик». Державин откликнулся на ее рождение такими стихами:

Малышка еще ничего не понимает, а вокруг нее уже плетутся интриги. Вот что рассказывает Варвара Голицына: «Князь Чарторыйский, оставаясь близким другом Александра Павловича, дал повод к клевете, при помощи которой старались испортить репутацию великой княгини Елисаветы. Ее свекровь, постоянно завидуя своей невестке, не упускала случая ей навредить. Граф Толстой, играя роль самого усердного и верного слуги около их императорских высочеств, в то же время был первым поверенным императрицы, ее шпионом и низким прислужником. До этого времени государь обходился с Елисаветой очень хорошо. После ее родов он часто и подробно расспрашивал о маленькой великой княжне и высказывал желание иметь внука.

В Павловске императрица приказала Елисавете прислать ей ребенка, хотя девочке было всего три месяца, а от дома великого князя до дворца было довольно далеко. Пришлось повиноваться, и потом, когда девочку привезли обратно, великая княгиня узнала от дам, сопровождавших ребенка, что Мария Феодоровна носила его к государю. Нисколько не подозревая грозы, собравшейся над ее головой, Елисавета была благодарна государыне, считая это просто желанием приучить государя к внучке. Она жестоко ошибалась и скоро убедилась в этом, но виновникам ее несчастья удалось скрыть от нее часть истины и обратить ее возмущение против тех, кто менее всего этого заслуживал.

Граф Ростопчин и Кушелев находились рядом с кабинетом государя, когда мимо них прошла императрица с маленькой великой княжной на руках. Она сказала им:

— Не правда ли, какой прелестный ребенок? — и прошла в кабинет государя. Через четверть часа она оттуда вышла довольно скорым шагом, а затем Кутайсов, от имени государя, позвал Ростопчина в кабинет, говоря ему по-русски:

— Господи, и зачем только эта несчастная женщина ходит расстраивать его своими сплетнями!

Ростопчин вошел к государю и застал его в состоянии полного бешенства.

— Идите, сударь, и немедленно напишите приказ о ссылке Чарторыйского в Сибирский полк. Жена сейчас раскрыла мне глаза на мнимого ребенка моего сына. Толстой знает об этом, так же как и она.

Ростопчин отказался повиноваться и возразил его величеству, что переданное ему было ужасной клеветой и что ссылка князя Чарторыйского опозорит великую княгиню, столь же невинную, как и добродетельную, но ему не удалось поколебать решения императора. Тогда Ростопчин, видя, что невозможно его разуверить, ограничился заявлением, что никогда не согласится написать подобный несправедливый приказ, и ушел из кабинета. Государь прислал ему записку, где излагал обстоятельства, оправдывавшие отданное им приказание. Ростопчин вновь отказался повиноваться, и гнев государя наконец успокоился. Графу удалось получить согласие его величества на то, что Чарторыйский будет удален без шума и его назначат посланником к королю Сардинии.

На другой же день утром великий князь Александр узнал от князя Чарторыйского, что тот получил приказание уехать из Павловска и поскорее отправиться в Италию в качестве посланника от России к королю Сардинии, которого революционная смута и война вынудили покинуть свое государство и блуждать по разным областям Италии, где еще было спокойно. Великий князь был поражен. Это назначение слишком походило на ссылку, чтобы можно было ошибиться, и ни он, ни князь Чарторыйский в этом нисколько не сомневались.

Великий князь поспешил к жене и сообщил ей о своем горе. Оба терялись в догадках, что могло бы так внезапно вызвать это событие. После обеда их императорские высочества простились с князем.

Скоро до них дошли слухи, что некоторые лица пытались объяснить это удаление причиной, оскорбительной для великой княгини. Елисавета была глубоко возмущена этим, и, когда она вечером входила к государю, на ее лице еще были заметны следы этого чувства.

Войдя в комнату, где обыкновенно дожидались его великие княгини, Павел, не говоря ни слова, схватил Елисавету за руку, повернул лицом к свету и уставился на нее самым оскорбительным образом. Начиная с этого дня он не разговаривал с ней в течение трех месяцев».

Охлаждение императора к Елизавете хотя и очень тревожило ее, но одновременно давало ей возможность уединения. Голицына отмечает: «Великая княгиня Елисавета жила только для своего ребенка: огорчения, ею перенесенные, заставляли считать особым преимуществом то уединение, в котором она жила. Она видалась только с лицами, оставленными при Александре, и с несколькими фрейлинами».

Но когда великому князю Михаилу Павловичу привили оспу, всех детей, не получивших прививки, приказано было удалить из дворца, как это было заведено еще при Екатерине. Великой княгине было объявлено, что она должна на время расстаться с дочерью, которую на шесть недель перевезут на жительство в Мраморный дворец. «Великой княгине казалось невозможным подчиниться этому решению. Отнять у нее дитя, значило отнять все ее счастье, — рассказывает Варвара Голицына. — В присутствии графини Пален она высказала свое горе, и та, будучи сама матерью и к тому же нежной матерью многочисленного семейства, приняла в ней, по-видимому, живейшее участие.

— Почему бы вам, — говорила она великой княгине, — не переселиться самой с вашей дочкой?

Я объявила бы на вашем месте, что никто не смеет разлучить меня с нею и испросила у императора позволение тоже переехать в Мраморный дворец.

Великая княгиня, зная непреклонность императрицы относительно этикета и никогда не рассчитывая на снисхождение к своим желаниям, не решалась обращаться с просьбой, неслыханной в летописях двора. Однако, ободренная графиней Пален и ощущая ее поддержку, все же рискнула. Сперва ее просьбу действительно сочли за сумасбродство. Императрица долго не соглашалась, но в конце концов уступила доводам и настоятельным просьбам графини Пален, говорившей с нею с большей смелостью, чем могла это сделать великая княгиня, и обещала переговорить о том с императором, «который, вероятно, — сказала она, — откажет мне в моем безрассудстве». Однако император охотно согласился на эту просьбу. Графиня Пален торжествовала и радовалась счастью великой княгини, которая с этой минуты привязалась к ней и сохранила неизгладимое воспоминание об оказанной ей услуге».