Несмотря на роскошь, детство Дашковой было одиноким и несчастливым. Она была лишена заботы, нежности и внимания любящих родителей, а воспитание являло собой сочетание потворства и пренебрежения. Дядя был втянут в государственные дела и борьбу за влияние, а вся жизнь тети — светской львицы — проходила в мелких политических и придворных интригах. Они были постоянно заняты своим собственным положением в обществе. Ее отец Роман Воронцов не играл существенной роли в поддержке и воспитании дочери и мало интересовался ее благополучием. Хотя «не было ничего необычного в том, что, по крайней мере в первые годы жизни, дети росли без непосредственного надзора родителей»[34], отец Дашковой не понимал, насколько она нуждалась в руководстве и как его отсутствие могло сказаться на ее развитии. Она никогда не жила вместе с отцом и никогда не была с ним в доверительных отношениях, а он был слишком увлечен светской и политической жизнью столицы. Озабоченный собственными делами и удовольствиями, он не обращал внимания на ее чувствительность и ум. Дашкова пыталась разумно объяснить такое его отношение: «Мой отец… в молодости любил жизненные удовольствия, а стало быть, мало занимался своими детьми».(14/38). Брат Александр в автобиографии поддержал утверждение Дашковой, что после смерти их матери отец был еще молодым человеком, ведшим веселую жизнь при дворе и в высшем свете. Другие были более прямолинейны и говорили, что Роман Воронцов имел знакомства со многими женщинами, которых предпочитал своим дочерям, и что любовницы растрачивали его деньги. Екатерина II прямо заявила, что он «не любил княгиню Дашкову»[35].

Роман Воронцов был генералом, сенатором, а затем стал наместником Владимирской, Тамбовской, Пензенской и Костромской губерний. Биографы часто называют годом его рождения 1707-й, но Дашкова права, когда пишет, что он был младшим братом Михаила и родился в 1717 году[36]. Будучи крупным землевладельцем, он значительно расширил свои имения в результате женитьбы на Марфе Сурминой. Масон и волевой политик, он считал себя просвещенным и образованным человеком. В течение восьми лет Роман Воронцов участвовал в написании новых законов и проведении многих необходимых реформ. В 1760 году он убедил Сенат учредить комитет по разработке нового кодекса законов под председательством трех избранных дворян и трех избранных купцов, но проект застопорился в связи со смертью Елизаветы. Затем, 29 октября 1760 года, он был назначен председателем законодательного комитета, работа которого в 1762 году, в правление Петра III, привела к отмене обязательной государственной службы для дворян. Таким образом, он принял участие в написании «Манифеста о вольности дворянской», который стал важным шагом к модернизации России.

Он был также членом Вольного экономического общества, состоявшего из дворян, поддерживавших изучение агрономии и ремесел. В задачи общества входили изучение и распространение научных знаний, с этой целью оно издавало «Труды». Во втором и пятом их выпусках Роман Воронцов опубликовал статьи «О заведении запасного хлеба» и «О способах к исправлению сельского домостроительства». В последней отмечается необходимость ограничения власти управляющих поместьями — тема, которая была позже развита его дочерью, также ставшей в 1783 году членом общества. Хотя отец не отвечал на эмоциональные и психологические нужды дочери, хотя они часто были в противоположных политических лагерях, но когда речь шла о поместном землевладении, Дашкова разделяла взгляды отца. Во многих смыслах она продолжила его работу в своих публикациях на экономические темы. В 1775 году Екатерина II предала гласности первую часть «Учреждений для управления губерний Всероссийской империи». В результате изменений в административном делении империи обязанности Романа Воронцова как наместника расширились и включили в себя управление дополнительными губерниями. Интересно, что его сын Александр был глубоко вовлечен в формулирование и написание этих реформ, а Дашкова изготавливала карты, отражавшие нововведения. Наконец, Роман Воронцов стал членом Российской академии, основателем и президентом которой была его дочь Дашкова.

Как отмечал французский посланник барон де Бретёй, «Роман Воронцов был амбициозным и тщеславным и стремился стать канцлером»[37]. Историки также не были благосклонны к памяти отца Дашковой. Вслед за Михаилом Щербатовым они обвиняли его в коррупции, повторяя анекдот о том, что Екатерина подарила ему на именины большой кошелек, высмеяв тем самым его нечестность и взяточничество[38]. Поскольку доказательств этим упрекам не найдено, исследования последнего времени пересматривают жизнь Романа Илларионовича, оспаривая справедливость привязавшегося к нему прозвища «Роман — большой карман»[39]. Екатерина, которая не любила могущественный клан Воронцовых и боялась его, писала, что «граф Роман Воронцов, отец двух девиц, находившихся при дворе… кстати сказать, был противен великому князю (будущему Петру III. — А. В.-Д.) так же, как и своим пятерым детям»[40]. В течение многих лет Дашкова постоянно посылала отцу письма, подписываясь «покорная и послушная дочь» и выражая искреннее недоумение его молчанием. Она умоляла: «…не подала ли я невинно Вам причину на меня гневаться; если оное так, прошу, милостивый государь мой батюшка, мне не знаемую мною вину отпустить»[41]. Ее отец отвечал редко. Он завел вторую семью со своей английской любовницей Элизабет Брокетт, которая родила ему четырех детей — Анну, Марию, Александру и Ивана, получивших фамилию Ронцовы[42].

Другие родственники Дашковой также практически отсутствовали в ее жизни, и она редко виделась с ними. Мария и Елизавета, ее сестры, были фрейлинами при дворе: старшая, Мария, служила императрице, а Елизавета — великой княгине Екатерине. Поскольку Екатерина и Елизавета стали смертельными врагами в борьбе за российский трон и сердце императора, следующее описание сестры, оставленное Екатериной II, едва ли объективно и очень нелестно: