Первым браком был женат на Ольге Константиновне Дитерихс, вторым – на Екатерине Васильевне Горяиновой. Вторая жена Андрея Львовича ради него оставила своего мужа, губернатора, и шестерых детей. Толстой решительно не одобрял образа жизни сына, но говорил о нем: «Я не хочу его любить, но я люблю потому, что он подлинный и не хочет казаться другим».

Андрей Львович скончался 24 февраля 1916 года в Петрограде от общего заражения крови.

Его дети: Дочь – Софья Андреевна Толстая, родилась 12 апреля 1900 года в Ясной Поляне, умерла 29 июня 1957 года в Малаховке под Москвой. Погребена на Кочаковском кладбище.

Первым браком замужем с 1921 года за Сергеем Михайловичем Сухотиным.

Вторым браком с 1925 года за Сергеем Александровичем Есениным.

Третьим браком с 1948 года за Александром Дмитриевичем Тимротом.

С.А. Толстая-Есенина с 1928 года неразрывно связана с деятельностью музеев Толстого. В 1941–1957 годах – директор толстовских музеев. Провела большую работу по восстановлению Ясной Поляны после гитлеровской оккупации.

Сын – Илья Андреевич Толстой, родился 3 февраля 1903 года в сельце Таптыково Тульского уезда Тульской губернии, умер 28 октября 1970 г. в Нью-Йорке. Погребен на кладбище Ново-Дивеевского монастыря. Спринг Валли, Нью-Йорк.

Первым браком женат с 1920 года на Зое Дмитриевне Платоновой. Вторым браком – на Вере Ильиничне Сидорковой. Географ. Основатель первого в мире дельфинариума, полковник армии США, посланник президента Рузвельта на Тибет.

Дочь – Мария Андреевна Толстая, родилась 17 февраля 1908 года в сельце Таптыково Тульского уезда Тульской губернии. Первым браком замужем за Александром Ваулиным. Вторым – за Владимиром Федоровичем Мансветовым.