Вскоре граф лишился восьмилетней дочери Елены.

Второй его сын, граф Григорий Владимирович Орлов (3.09.1777-23.06.1826), тайный советник, сенатор, известный литератор, коллекционер и библиофил, в 1808 г. основал на петербургском Елагином острове на собственные средства Орловский практически-теоретический лесной институт – впоследствии Санкт-Петербургский Лесной Институт. Он женился 30 января 1800 г. на графине Анне Ивановне Салтыковой, однако их единственная дочь скончалась в детстве. «С самым старым, известным русским православным погребением в Бельгии мы встречаемся на кладбище Эвер в Брюсселе, – пишет священник П.В. Недосекин. – Оно датировано 1804 годом. Это могила младенца из семьи графа Орлова, потерявшего свою дочь во время пребывания в Малой Голландии, и которую отпевал православный русский священник».

Смерть графа Григория, оставившего лишь побочного сына Григория, не оставила надежд на законное продолжение графского рода Орловых.

Старшая из дочерей графа Владимира, Екатерина (7.11.1770-31.10.1849), крестница Екатерины II и фрейлина ее двора в 1788–1796 гг., увлекалась живописью. Она обвенчалась 25 января 1799 г. с бригадиром Дмитрием Александровичем Новосильцовым (1758-16.11.1835), однако супруги не сошлись характерами. Деспотичная Екатерина и вспыльчивый Дмитрий не смогли ужиться под одной кровлей. В 180о г., сразу после рождения сына Владимира, они разъехались. Граф В.Г. Орлов отдал внука на воспитание в колледж иезуитов, возлагал на него большие надежды.

Все предвещало В.Д. Новосильцову блестящую будущность – происхождение, богатство, служба в лейб-гвардии, карьера флигель-адъютанта императора Александра I, а впоследствии, возможно, наследование титула и фамилии графов Орловых. На свою беду, он познакомился с шестнадцатилетней Катей Черновой, дочерью генерала Пахома Кондратьевича Чернова и жены его Аграфены Григорьевны. Поместье Черновых располагалось под Петербургом близ села Рожествена, и туда зачастил Новосильцов. В августе 1824 г. там состоялся сговор и домашнее обручение его с красавицей Катей. Поручик Новосильцов обращался с нею как с нареченной невестой, возил в кабриолете по ближайшим окрестностям, и на январь 1825 г. была назначена свадьба. Однако мать флигель-адъютанта решительно воспротивилась этому браку. «Могу ли я согласиться, чтобы мой сын, Новосильцов, женился на какой-нибудь Черновой, да еще вдобавок на Пахомовне, никогда этому не бывать, – заявила Екатерина Владимировна. – Не хочу иметь невесткой Чернову Пахомовну – экой срам!»

Под предлогом болезни отца Новосильцова вызвали в Москву, где ему пришлось подчиниться материнской воле. Узнав о позиции Орловых, семейство Черновых было в негодовании. В ноябре 1824 г. брат Кати Сергей писал другому брату Константину, подпоручику лейб-гвардии Семеновского полка и члену тайного Северного общества будущих декабристов: «Желательно, чтобы Новосильцов был наш зять; но ежели сего нельзя, то надо сделать, чтоб он умер холостым». В декабре Константин и Сергей Черновы приехали к Новосильцову требовать от него выполнения данного обещания и дали ему полгода на размышления. Отец дал согласие на брак, но мать категорически возражала.

Владимир медлил с окончательным решением, и отец Черновых будто бы приказал своим четырем сыновьям драться на дуэли с Новосильцовым по очереди. Если же они все погибнут, заявил суровый генерал, он сам вызовет обидчика на поединок. По другим, более правдоподобным предположениям, к дуэли Константина подталкивал его троюродный брат, Кондратий Рылеев. 8 сентября 1825 г. Константин Чернов вызвал Новосильцова на дуэль, которая должна была состояться в Москве. Московской полиции удалось предотвратить поединок, и тогда противники укатили в Петербург.

Дуэль была назначена на утро 10 сентября на следующих условиях: стреляться на восьми шагах с расходом по пяти; раненый, если он сохранил заряд, может стрелять; сохранивший последний выстрел имеет право подойти к барьеру и позвать к барьеру противника. Чернов выбрал одним из своих секундантов Кондратия Рылеева.

В 6 часов утра противники сошлись в парке Лесного института в окраинах Петербурга. Секунданты привезли три ящика шампанского, все еще надеясь на мирный исход дуэли, но поединок завершился иначе. Пистолеты противников грянули одновременно; Чернов и Новосильцов упали. Чернова, раненного в голову, Рылеев отвез на его квартиру в казармы Семеновского полка. Новосильцову пуля попала в бок, и его перенесли в соседнюю корчму, покрытую соломой, где не было даже кровати. Раненого пришлось уложить на бильярдный стол – Новосильцов был нетранспортабелен.

Умирающие противники послали друг другу слова прощения. Они оказались духовно чище своих родителей и друзей, толкнувших офицеров на смертельный поединок. Через четыре дня, 14 сентября 1825 г. Новосильцова не стало. Спустя восемь дней после этого скончался и жестоко страдавший Чернов. На похоронах его на Смоленском кладбище, где могила его близ церкви сохранилась по сию пору, участвовало несколько сот человек: общественное мнение было на стороне Чернова, защищавшего честь сестры. Рылеев того и добивался. Он написал прочувствованные, но графоманские стихи «На смерть Чернова». Так двое молодых людей пали жертвами родительского высокомерия и жестоких амбиций завтрашнего декабриста. Несчастная девушка, Катя Чернова, хоть и бесприданницей, спустя несколько лет вышла замуж за офицера Лемана; этот брак оказался счастливым и многодетным.

Прах Новосильцова перевезли в Москву и похоронили в соборе Новоспасского монастыря. Безутешная мать соорудила над могилой сына великолепное надгробие с эпитафией, в которой полагала «единственное утешение только в молитве о нем и в надежде, на непоколебимой вере основанной, обрести его в жизни безмятежной, а земной для себя покой – здесь же». «Лишившаяся единственного детища, Новосильцова вся предалась Богу и делам милосердия и, надев черное платье и чепец, до самой кончины траура не снимала». На месте дуэли и смерти сына в Петербурге Екатерина Владимировна выстроила церковь Святого Владимира Равноапостольного (Новосильцовскую) на Сампсониевском проспекте и основала Орлово-Новосильцовское благотворительное заведение «для престарелых и увечных мужчин всех сословий».

«Государь-граф» тяжело переживал гибель внука, но старался не подавать виду. Спустя год Владимир Григорьевич получил известие о скоропостижной смерти сына Григория, с которым род графов Орловых в законном продолжении мужского поколения пресекся. Зять графа П.Л. Давыдов, опасаясь сразу сообщить тестю страшную новость, видимо колебался при встрече с ним. «Что же, умер?» – спросил его Орлов. «Когда на этот вопрос последовало роковое подтверждение, он живо отвернулся, стиснув за спиною кулаки, и ушел в свой кабинет».

Более удачно сложилась семейная жизнь другой дочери графа, Софии.

Графиня София Владимировна Орлова (6.11.1774-7.01.1844) – крестница Екатерины II и фрейлина ее двора, 9 января 1790 г. она вышла замуж за графа Никиту Петровича Панина, известного государственного деятеля, с которым нажила десять детей. Она наследовала особняк в Москве на Б. Никитской улице, имения Марфино Московской губернии и Поречье Ярославской губернии.

Младшая дочь «государя-графа», графиня Наталия Владимировна Орлова (4.06.1782-12/24.09.1819), венчалась 15 июля 1803 г. с Петром Львовичем Давыдовым, впоследствии тайным советником. У них было три дочери и сын Владимир – будущий граф Орлов-Давыдов.