В мае 1827 года Елизавета Нарышкина прибыла в Читинский острог, где прожила до 1830 года. Женам осужденных разрешалось жить в отдельном домике со свиданиями два раза в неделю в арестантской палате. Но Елизавете Петровне, как не имеющей потомства, дозволили поселиться в каземате вместе с мужем. Нарышкина, страдавшая с детства астмой, вскоре все-таки заболела и перебралась в небольшой домик недалеко от читинского острога. 30 июня 1830 года супруги взяли на воспитание семимесячную девочку Ульяну.

В годы каторги Елизавета Петровна помогала товарищам мужа, писала за них письма, поддерживала неимущих декабристов, в том числе Н.И. Лорера, И.В. Киреева, И.Ф. Шимкова и других.

По указу 8 ноября 1832 года Нарышкин был обращен на поселение в город Курган, куда прибыл с женой 14 марта 1833 года. Приехав в Курган, Нарышкины с помощью богатых родственников, приславших денег, купили большой дом, стоявший недалеко от Троицкой церкви. Очень скоро дом Нарышкина в Кургане стал своеобразным клубом ссыльных декабристов. Раз в неделю, обычно по пятницам, ссыльные собирались у Михаила Михайловича и Елизаветы Петровны. Здесь они обменивались новостями, полученными из России и от декабристов, живших в других городах Сибири. В этом доме читались стихи, устраивались музыкальные вечера. Михаил Михайлович занимался садоводством, получал от богатых родственников посылки с черенками, отыскивал в округе редкие сорта деревьев и кустарников. На отведенной декабристам земле он устроил небольшой конный завод, выписывая из Европейской России племенные экземпляры лучших пород. По словам декабриста Лорера, Нарышкины были истинными благодетелями целого края. Они помогали бедным, лечили больных, давали деньги на лекарства.

В 1837 году Михаила Нарышкина переводят рядовым на Кавказ. Он выехал из Кургана 21 августа 1837 года. Елизавета Петровна проводила мужа до Казани, а сама с Анисьей и Ульяной отправилась на Псковщину, для того чтобы повидаться с родными. Уже через год она приехала в станицу Прочный Окоп Кавказской области, где служил супруг. В 1844 году Нарышкин был уволен от службы с обязательством безвыездно жить в селе Высоком Тульского уезда. От всех ограничений он был освобожден только по манифесту об амнистии 26 августа 1856 года. В 1859 году он ездил в Париж и на юг Франции. Умер Михаил Нарышкин в Москве в 1863 году. Похоронили его на Донском кладбище.

Декабрист Оболенский написал в некрологе: «…Он вступил в супружество с графиней Елизаветой Петровной Коновницыной и в ней нашел ту полноту сочувствия, которая в жизни выражается полной гармонией — и стремлений, и цели жизненной, и надежд, и желаний. В этом сердечном союзе протекли многие и многие годы. И Кавказ с его грозными твердынями, и Сибирь с ее пустынями, везде они были вместе, и везде их сердечная жизнь, восполняющая недостатки одного полнотою другого, выражалась в любви чистой, отражаемой во всем строе жизни».

После смерти мужа Елизавета Петровна Нарышкина поселилась в имении у своей тетушки Марии Ивановны Лорер. Скончалась она в 1867 году и была похоронена в Донском монастыре вместе с мужем и приемной дочерью.

Василий Львович Давыдов родился в 1793 году. Он происходил из знаменитой русской дворянской семьи. Отец, Лев Денисович Давыдов, был генерал-майором, мать, Екатерина Николаевна Самойлова, была племянницей князя Потемкина. Его младшим единоутробным братом был Николай Николаевич Раевский, герой Отечественной войны, отец Марии Волконской. Алексей Петрович Ермолов, генерал от инфантерии, Главнокомандующий на первом этапе Кавказской войны, и Денис Васильевич Давыдов, генерал-лейтенант, русский поэт, герой Отечественной войны 1812 года, были его двоюродными братьями.

Василий с 10 до 12 лет воспитывался в пансионе, затем получал домашнее образование.

В возрасте 14 лет Василий поступил на службу юнкером в лейб-гвардейский гусарский полк. Он участвовал в Отечественной войне 1812 года, был дважды ранен. В 1812 году он был адъютантом князя Багратиона. За участие в Бородинском сражении Давыдов награжден орденом Святого Владимира IV степени с бантом, за отличие в сражении под Малоярославцем награжден золотой шпагой за храбрость, участвовал в заграничных походах.

В 1819 году он был уволен для лечения, с 1819 года постоянно жил в имении матери, в селе Каменка Чигиринского уезда Киевской губернии. Ему принадлежало 2926 душ крепостных.

Александра Ивановна Потапова — дочь губернского секретаря — в 1819 году стала его гражданской женой. Родились дети: Мария, Михаил (1820 год), Екатерина (1822 год), Елизавета (1823 год), Петр (1825 год).

Василий Давыдов в 1822 году уволен в отставку полковником.

С 1820 года Давыдов был членом Союза благоденствия, затем — Южного общества. Вместе с С.Г. Волконским они возглавляли Каменскую управу Южного общества, участвовал в съездах руководителей Южного общества, осуществлял связь Южного общества с Северным обществом.

В мае 1825 году Александра Ивановна стала законной супругой Василия Львовича. Счастье было недолгим. Его арестовали в Киеве 14 января 1826 года и доставили в Петербург 20 января 1826 года, поместили в Петропавловскую крепость. Он был приговорен к пожизненной каторге, потом в конечном итоге срок каторги сократили до 13 лет с последующим поселением в городе Красноярске.

В сентябре 1826 года братья Василия Н.Н. Раевский и П.Л. Давыдов ходатайствовали о получении фамилии Давыдовых первым четырем детям. В феврале 1828 года по высочайшему повелению дети были узаконены и получили фамилию Давыдовых. Михаил воспитывался в Одессе, Мария в Москве. Остальные дети воспитывались в имении Каменка у П.Л. Давыдова, родного брата Василия.

В 1828 году Александра Ивановна уехала к мужу в Сибирь. В Сибири родились дети: Василий (1829 год), Александра (1831 год), Иван (1834 год), Лев (1837 год), Софья (1840 год), Вера (1843 год), Алексей (1847 год).

Василий Львович так писал о своей жене: «Без нее меня уже не было бы на свете. Ее безграничная любовь, ее беспримерная преданность, ее заботы обо мне, ее доброта, кротость, безропотность, с которою она несет свою полную лишений и трудов жизнь, дали мне силу все перетерпеть и не раз забывать ужас моего положения».

Семья Давыдовых прибыла в Красноярск в сентябре 1839 года. Сначала они снимали дом, но потом построили свой. В доме Давыдовых появился первый в Красноярске клавесин, образовался литературный кружок. Политическим ссыльным было запрещено создавать школы, поэтому Давыдовы у себя в доме создали домашний класс для своих семерых детей, рожденных в Сибири. Класс не имел официального статуса, и его могли посещать все желающие. От местных жителей Давыдов получил прозвища «Властитель дум», «Короб просвещения». Программа домашней школы Давыдова позже стала основой для программы обучения Красноярской мужской гимназии.

По просьбе Давыдова было спроектировано здание Благородного собрания для Красноярска. Оно было построено в 1854–1856 годах. Декабристы, сосланные в Красноярск, собирались в доме у Давыдовых, а позднее, вероятно, в Благородном собрании. 27 сентября 1842 года генерал-губернатор Восточной Сибири в своем циркуляре требовал от Енисейского губернатора запретить публичные собрания «государственных преступников».