При дворе Марфа подружилась с цесаревной Елизаветой и часто одалживала ей значительные суммы. Положение будущей императрицы при Анне Иоанновне было финансово нелегким, можно даже сказать прямо – тяжелым, поэтому и о возврате денег можно было даже и не помышлять. Зато цесаревна относилась к Воронцовым, как к близким друзьям, часто бывала в их доме и даже стала крестной матерью их старшей дочери Марии в 1738 году. В следующем году Роман Воронцов получил звание прапорщика, а супруга порадовала его рождением дочери Елизаветы.

За верную службу и получил Роман Воронцов свое первое придворное звание камер-юнкера. По иронии судьбы, когда Воронцов присутствовал вместе с другими придворными на церемонии бракосочетания великих князя и княжны Петра Федоровича и Екатерины Алексеевны, умерла от тифа в 26 лет его жена, оставив сиротами пятерых детей. Овдовев и «получив» двух дочерей и троих сыновей, о которых нужно было заботиться, одевать, кормить, учить, наконец, Роман Илларионович не проявил себя рьяным отцом. И это еще одно историческое недоразумение.

Так, часто встречается во многих исследованиях, что рано овдовевший Роман Воронцов мало заботился о своих детях и вел относительно веселую жизнь. Возможно, такое мнение возникло под влиянием «Записок» его дочери, княгини Е. Р. Дашковой, писавшей: «Мой отец, граф Роман, младший брат канцлера, в молодости любил жизненные удовольствия, а стало быть, мало занимался своими детьми…» (Дашкова Е. Р. Записки. Письма сестер М. и К. Вильмот из России. М., 1987. С. 38.). Оценки историков часто субъективны, не надо забывать, что воспитание и образование дочерей в то время вообще не считалось обязательным, мужскому воспитанию уделялось времени и заботы значительно больше.

Роман Илларионович приложил немало сил для воспитания и образования своих детей, о чем впоследствии вспоминали и они сами. Сохранившиеся письма Романа Илларионовича к детям свидетельствуют о том, как трогательно заботился отец о сохранении доброго имени и чести детей, как тщательно наставлял их в разных жизненных вопросах. Поучая Александра, обучавшегося во Франции, Роман Илларионович советовал ему: «Ты молод, и меня всякой тем стращает, чтоб не испортился твой нрав. Я пишу тебе больше, как друг… В знании надлежит дойти до такой степени, чтобы не посрамить себя, когда тебе в компании случиться вступить в рассуждение о каком-нибудь деле… Все, что случится достопамятного, записывай, чтобы вояж твой служил тебе в пользу…» Такое теплое отеческое напутствие вряд ли можно отнести к разряду равнодушного отношения.

В других письмах Роман Илларионович писал: «Помни, мой друг, что ты поехал учиться, а не щеголять, и что мотовством доброго имени не наживешь и не удивишь… Мне хочется, чтобы ты в будущем году осенью поехал в Испанию и Португалию, а там духовные в великой чести, и все говорят по латыни, то можешь у них через то любовь иметь, когда говорить можешь по латыни… Мне крайне хочется, чтобы ты объехал Голландию и рассмотрел всех животных, кои в воде и на земле жительствуют… Приобретенное в них знание немало будет способствовать в будущем твоей должности. Вообще знать всех жителей сего, нами обитаемого шара, сколько полезно, тебе самому известно…»

Также заботливо относился Роман Илларионович и к младшему сыну Семену и к его супруге Екатерине Алексеевне. Известно, что когда Р. И. Воронцов скончался, Екатерина Алексеевна плакала о нем, как о родном отце.

Существует некоторая путаница при указании губерний, подчиненных графу Р. И. Воронцову. Согласно документам, в 1778 году он был назначен первым в истории Владимирским генерал-губернатором, а затем, с образованием Владимирского наместничества стал наместником Владимирским, Тамбовским и Пензенским. В 1782 году к Владимирскому было присоединено Костромское наместничество, так что последний год жизни Роман Илларионович пребывал в должности еще и Костромского наместника. Именно Владимирским и Костромским наместником граф Р. И. Воронцов указан в тексте надгробия над его могилой в Дмитриевском соборе Владимира.

Итак, двух старших дочерей, Марию и Елизавету сначала воспитывал дядя, потом императрица Елизавета определила ко двору: старшую Марию, симпатичную скромницу, сделала своей фрейлиной, а некрасивую и перенесшую оспу Елизавету сделала фрейлиной великой княжны Екатерины Алексеевны. Сыновей забрал к себе дед-Воронцов, а младшую – Екатерину (будущую любимицу (ли?) Екатерины и президента Академии наук) дядюшка Михаил Воронцов воспитывал вместе со своей единственной дочерью.

Уже упоминалось, что в исторической мемуаристике часто поднимался вопрос, хорошим ли отцом был Роман Илларионович Воронцов? Да, известно, что детей его учили иностранным языкам, географии и танцам, они посещали французскую оперу. Он хотел сделать из них государственных деятелей, полезных Отечеству. Разумеется, это касалось прежде всего сыновей. Старшего сына своего, Александра, он в 1758 году отправил на учебу в аристократическую школу в Версале. Там обучались дети самых родовитых французских сановников. Второй сын Романа Илларионовича, Семен, должен был в дальнейшем заняться управлением отцовскими имениями (от Подмосковья до Тобольска и Астрахани). Дружеские отношения императрицы с семьей Романа Воронцова сохранились на всем протяжении ее царствования. Она даже стала крестной матерью внучки Романа Илларионовича, которая родилась у его дочери Марии.

У Романа Воронцова были и еще дети, родившиеся в период его вдовства от англичанки Елизаветы Брокет. Эти «дети любви» получили фамилию Ронцовы, т. е. часть своей фамилии, что было вполне распространенной практикой для незаконнорожденных детей. То же было и с родом Трубецких, например. Государственный деятель той эпохи И. И. Бецкой, внебрачный сын генерал-фельдмаршала князя Ивана Юрьевича Трубецкого, сокращенную фамилию которого впоследствии получил. Нередко дети, рожденные вне брака, были любимыми, получали превосходное воспитание и образование. Поэтому образ несчастного сиротки-бастарда, всеми гонимого, особенно законными наследниками, столь любимый писателями, не всегда соответствует действительности. Вот и у Воронцова эти дети «пользовались особенною нежностью своего родителя, так что на них уходило его состояние».

Замечательный русский писатель Александр Иванович Герцен – плод любви богатого помещика Ивана Алексеевича Яковлева, ведущего свой род от Андрея Кобылы, как и Романовы, и 16-летней красавицы-немки, дочери мелкого чиновника. Брак не был оформлен, и Герцен носил фамилию, придуманную отцом: Герцен – «сын сердца» (от нем. Herz).

Дворянские привилегии, разработанные придворной комиссией под руководством Романа Воронцова при императрице Елизавете, тогда не получили поддержку в Сенате. Но Воронцовы не отказались от борьбы за свою программу. Уже догадываясь о скорой кончине императрицы, Роман Воронцов сознательно затягивал доработку Положений о дворянстве, так как надеялся, что их одобрит преемник Елизаветы. Он рассчитывал на то расположение, которым одаривал его дочь великий князь, а впоследствии император Петр III. И действительно, с восшествием на престол Петра, Воронцовы получают все новые почести и награды.

Можно встретить мнение исследователей, что императору Петру Федоровичу просто не дали развернуться на арене российской политики могущественные противники из клана Екатерины. Действительно, краткое правление императора было наполнено событиями противоречивыми и интригующими. Первыми шагами императора всероссийского Петра III были ликвидация Тайной канцелярии и издание Манифеста о вольности дворянской, что, по свидетельству современников, было прямым следствием влияния Романа Воронцова и его дочери Елизаветы. Эти указы прогрессивным дворянством были встречены с восторгом и благодарностью и сильно укрепили позиции в общем-то нелюбимого обществом «голштинца». Все это серьезно беспокоило Екатерину II и ее «группу поддержки», которые рассчитывали, что смещение непопулярного императора произойдет легко и быстро. На руку екатерининской партии сыграл тот факт, что у Петра III не было собственной программы реформ. Его политические и экономические преобразования были столь же хаотичны и непоследовательны, как и все остальные действия.