После амнистии Анненковы перебрались в Нижний Новгород. Здесь они прожили душа в душу еще почти двадцать лет. Иван Александрович служил чиновником по особым поручениям при губернаторе, был членом комитета по улучшению быта помещичьих крестьян, участвовал в подготовке реформ, работал в земстве, избирался в мировые судьи. Пять сроков подряд нижегородское дворянство избирало Ивана Александровича Анненкова своим предводителем.

Прасковья Егоровна тоже занималась общественной деятельностью, она была избрана попечительницей нижегородского женского Мариинского училища; писала воспоминания, вернее, так и не освоив письменного русского, диктовала их своей старшей дочери Ольге. Ее воспоминания были опубликованы впервые в 1888 году, затем неоднократно переиздавались.

Но главным в ее жизни всегда оставался Анненков. С годами его характер портился, он становился раздражительным, а Прасковья Егоровна, постаревшая, располневшая, все так же снисходительно относилась к нему, веселостью и мягкостью смиряя его тяжелый нрав. «Последние годы жизни Анненкова прошли уже в состоянии полного нарушения умственной деятельности. Прасковье Егоровне пришлось оберегать покой и ухаживать за человеком, пораженным тяжелым психическим недугом. Надо отдать ей справедливость: переносила она все эти тяготы с удивительным мужеством и твердостью…» — из воспоминаний внучки Анненковых М.В. Брызгаловой. До последних дней своих она ухаживала за ним, как за ребенком, и до самой смерти не снимала с руки браслета, отлитого Николаем Бестужевым из кандалов ее мужа.

Умерла Прасковья Егоровна утром 4 сентября 1876 года. Иван Александрович очень тяжело переживал смерть жены. «После смерти бабушки дед впал в болезненное состояние и последнее время своей жизни страдал черной меланхолией», — вспоминает Брызгалова. Скончался он через год и четыре месяца после ее смерти, 27 января 1878 года, и был похоронен в нижегородском Крестовоздвиженском женском монастыре, рядом со своей женой.

Михаил Федорович Орлов родился в 1788 году. Он был одним из пяти внебрачных сыновей графа Федора Григорьевича Орлова. После смерти отца указом Екатерины II детей узаконили, дали им дворянство и герб Орловых.

Михаил воспитывался в частном пансионе аббата Николя, в 1801 году был зачислен «студентом» в Коллегию иностранных дел, в военную службу перешел в 1805 году с зачислением в Кавалергардский полк эстандарт-юнкером.

К началу Отечественной войны 1812 года Орлов состоял поручиком в Кавалергардском полку. Сопровождал генерал-адъютанта Александра Балашова в Вильно к Наполеону вскоре после начала войны, за что 2 июля 1812 года был назначен флигель-адъютантом императора Александра I.

В 1817 году Орлов был назначен начальником штаба 4-го пехотного корпуса, командиром которого был Н.Н. Раевский. В 1817 году Орлов познакомился с Александром Пушкиным, был членом литературного общества «Арзамас».

Орлов — один из основателей преддекабристской организации «Орден русских рыцарей», он разрабатывал широкую программу либеральных реформ: конституция, отмена крепостничества, суд присяжных, свобода печати. Он руководил Кишиневской управой тайного общества.

В 1820 году генерал-майор Орлов стал командиром 16-й пехотной дивизии. За ним был учрежден секретный надзор, а затем под предлогом ослабления дисциплины в дивизии его лишили должности.

В мае 1821 года Орлов женился на Екатерине Николаевне Раевской, старшей дочери генерала Николая Николаевича Раевского, героя Отечественной войны, и Софьи Алексеевны, внучки Ломоносова.

Екатерина родилась во время службы ее отца «под стенами Дербента». Она получила прекрасное домашнее образование. Девушка умела покорять людей твердостью и прямотой своего характера, за что друзья в шутку прозвали ее «Марфой Посадницей». По характеру она точно подходила своему мужу.

После восстания декабристов Орлова арестовали и посадили в Петропавловскую крепость. Благодаря заступничеству своего брата — генерал-адъютанта А.Ф. Орлова — Михаил Орлов не понес тяжелого наказания, а был лишь отставлен от службы и должен был жить в своей деревне — селе Милятино Калужской губернии под надзором полиции.

Екатерина Николаевна разделила с мужем его ссылку. В конце 1826 года она приезжала в Москву, чтобы попрощаться с сестрой Марией, уезжавшей в Сибирь к мужу-декабристу С.Г. Волконскому. В своих «Записках» Волконская так вспоминает об этом: «Сестра Орлова приехала в Москву проститься со мной… видя, что я уезжаю без шубы, испугалась за меня и, сняв со своих плеч салоп на меху, надела его на меня. Кроме того, она снабдила меня книгами, шерстями для рукоделья и рисунками».

В милятинском заточении Михаил Федорович старался не предаваться безделью. Он вникал в дела стекольного завода, доставшегося ему по наследству. Завод Орлова на I Мануфактурной выставке 1829 года представил стекло «цветное золоченое и богатой грани хрусталь». Деятельный Орлов через князя П.А. Вяземского передает письмо и посылку с расписным стеклом министру финансов Е.Ф. Канкрину. В письме испрашивает у министерства заказ и разрешения построить в Москве фабрику расписного стекла. Фабрика цветного стекла, из-за отсутствия заказов приносящая только убытки, не исправила положения, Орлов испытывал постоянные денежные затруднения.

Николай Николаевич Раевский, посетивший Орловых в их имении так писал сыну: «Катенька счастлива в своем семействе, муж ея человек без ценной, нам истинный родной, дети премилые, но дела его не в цветущем положении, деревня, в которой он, как заключенный, прескучная, грустная пустыня. Но они здоровы и Орлова характер в веселости не изменяется».

В 1831 году ему разрешено было жить в Москве. Орловы поселились на Малой Дмитровке, а потом жили на Пречистенке. В этот период жизни в их доме бывали А.И. Герцен, И.С. Тургенев, Я.П. Полонский.

Михаил Орлов умер в 1842 году в 53-летнем возрасте.

В письмах современников сохранились сожаления о кончине Михаила Орлова и мужестве его супруги: «В четверг 19-го Орлов скончался. Нельзя пересказать, как разбирала душу жена его. Она не отходила от него ни днем, ни ночью, не плакала и даже со всеми говорила, но просто видно было всякому, что ее на земле нет», — из письма Aвдотьи Петровны Елагиной.

После кончины супруга Екатерина Николаевна много путешествовала, то уезжая за границу, то возвращаясь, жила то в Москве, то в Петербурге, то в Царском Селе. Она была фрейлиной. Много времени посвятила систематизации бумаг и описанию архива прадеда, Михаила Васильевича Ломоносова. До глубокой старости сохраняла остроту ума, ясность души и приветливость нрава. Продолжала интересоваться литературой. Скончалась в 1885 году в Царском Селе, похоронена в Новодевичьем монастыре, рядом с мужем.

Анна Васильевна Розен (1797–1883 годы) была дочерью первого директора Царскосельского лицея В.Ф. Малиновского.

Анна, выросшая в интеллигентной семье, получила хорошее образование, любила чтение, свободно говорила и читала по-английски и по-французски, восхищалась русскими писателями Карамзиным и Жуковским.