В апреле 1829 года И. С. Жиркевич назначен помощником командира Тульского оружейного завода по хозяйственной части. С этой должности вышел в отставку в декабре 1833 года, в чине генерал-майора.

24 ноября 1834 года вновь поступил на гражданскую службу по ведомству министерства внутренних дел с чином действительного статского советника.

5 марта 1835 года назначен симбирским гражданским губернатором. Не получив ни одного взыскания по службе, через год был от этой должности отставлен и 27 июня 1836 года получил новое назначение: витебским губернатором «с переименованием в генерал-майоры».

По причине разногласий с генерал-губернатором Витебской губернии П. Н. Дьяковым, через два года подал в отставку и получил ее (24 октября 1838 г.). После этого поселился в Полоцке с семьей – женой, сыном Владимиром и двумя дочерьми (одна из них в замужестве – Глушкова, другая – Ган). Скончался там же от холеры 3 июля 1848 года. Погребен 5 июля под Полоцком на «Красном кладбище».

Воспоминания о жизни своей Иван Степанович начал писать лишь после того, как окончательно оставил государственную службу, отдав ей более 30 лет жизни (первая запись датирована 14 января 1841 г.) и закончил за несколько месяцев до кончины – в 1848 году. Записи он вел не регулярно, от случая к случаю и не всегда придерживаясь хронологической последовательности событий. Повествование доведено до 1838 года, до времени отставки с поста Витебского губернатора.

Первые страницы рукописи посвящены детским и юношеским годам автора, проведенным в Кадетском корпусе. Удивительно, что из его памяти (кстати говоря, совсем не безупречной), не стерлись детские воспоминания о товарищах по классам и преподавателях, яркие впечатления о посещении корпуса императором Павлом Петровичем, цесаревичем Александром Павловичем и великим князем Константином Павловичем. Повествование о событиях наполеоновских войн, в которых И. С. Жиркевичу пришлось участвовать в качестве офицера гвардейской артиллерии (с 1806 по 1815 гг.), насыщенное подробностями, представляет особый интерес как источник по истории отдельных сражений и повседневной жизни российского офицерства той великой эпохи.

В воспоминаниях И. С. Жиркевича читатель найдет много уникальных подробностей из жизни российского чиновничества и дворянства 1820-х – 1840-х годов, организации службы в центральных, губернских и уездных учреждениях; подробностях частного быта провинциальных городов Российской империи: Орла, Тулы, Симбирска, Витебска. Немало интересных деталей, не сохранившихся в официальных архивных документах, можно узнать из «Записок» Жиркевича об организации производства на Тульском оружейном заводе, о реализации в Симбирской губернии правительственной программы по переводу нескольких сот тысяч казенных крестьян в удельное ведомство, о трудном процессе присоединения униат Витебской губернии к Православной церкви и сложных взаимоотношениях гражданских и церковных властей в отношении этого вопроса.

По службе в армии, а затем на гражданском поприще, И. С. Жиркевичу приходилось встречаться со многими известными деятелями первой половины XIX столетия. Надо сказать, что автор «Записок» не пытался скрывать свою небеспристрастность в отношениях к сослуживцам, сотрудникам, начальникам и просто знакомым. Его характеристики почти всегда откровенно предвзяты. Справедливость требует отметить, что в тех случаях, когда приходилось признаваться в негативном отношении к отдельным людям, Иван Степанович добросовестно старался объяснить его причины, подробно описывая все нюансы своих с ними взаимоотношений. В частности, много неприятных моментов в жизни И. С. Жиркевича в Симбирской губернии и позднее, даже в отставке, были связаны с именем помощника управляющего симбирской удельной конторой Андрея Васильевича Бестужева. Однажды И. С. Жиркевич даже заявил посещавшему губернию графу Перовскому: «…с господином Бестужевым… я не хочу иметь ни дела, ни знакомства, ибо последним я его не удостаиваю!» А. В. Бестужев умел найти себе «высоких» заступников, а слишком горячий и прямой, никогда не считавший нужным скрывать свои мысли от вышестоящих, И. С. Жиркевич лучше умел находить врагов. После публикации глав «Записок», посвященных службе автора в Симбирской губернии, где фамилия А. В. Бестужева была скрыта, в редакцию «Русской старины» поступило возмущенное письмо одного из многочисленных родственников Андрея Васильевича – некоего В. А. Бестужева. Автор письма, опубликованного в одном из очередных номеров журнала, настаивал на высокой честности А. В. Бестужева и прямо обвинял И. С. Жиркевича во лжи. Доводы его, однако, не выглядят обоснованными, а в пользу низкого мнения об «удельном чиновнике» Бестужеве свидетельствуют и другие современники и свидетели их отношений с губернатором, в частности, служивший в то время в Симбирской губернии жандармский офицер Эразм Иванович Стогов. Воспоминания Стогова были предложены им самим к публикации в «Русской старине» после появления на страницах журнала первых нескольких глав из «Записок» И. С. Жиркевича.

При всей информативности воспоминаний Ивана Степановича, в них очень мало можно найти сведений о нем самом и его семье. Описаны лишь обстоятельства женитьбы на Александре Ивановне Лаптевой, но о характере ее, внешности, привычках можно судить лишь по отрывочным и косвенным сведениям. Только один раз автор подробно остановился на описании распорядка своего дня, чтобы показать, как много сил и времени занимала у него работа с документами на посту симбирского губернатора. И однажды, когда тяжелые обстоятельства жизни в отставке, почти в нищете, стали уж совсем невыносимы, он позволил себе излить душу на бумаге. Но этот отрывок был выпущен из текста «Записок» при первом издании, не увидит его и нынешний читатель.

О характере и привычках самого автора также довольно сложно составить себе представление, основываясь на тексте его воспоминаний. Но к счастью, этот пробел помогают восполнить воспоминания о Жиркевиче уже упоминавшегося выше Эразма Ивановича Стогова. Позволим себе их процитировать:

«…Видаясь по разным случаям с Жиркевичем, я всегда заставал его за бумагами и составил о нем себе понятие, что это человек дела. Он всегда был как то сдержан, очень вежлив, но малейшая несправедливость, плутовство по делам – выводили его из себя; вспылив, он уже не знал границ гнева…

Жиркевича полюбить очень трудно, но нельзя было не почитать его, нельзя было не уважать честной его деятельности, его бескорыстия; он отдался весь, без остатка, полезному служебному труду…» При всех этих высоких деловых качествах, при том, что, по словам Стогова, его «достанет управлять тремя губерниями», симбирское дворянство (как впоследствии и витебское) губернатора невзлюбило: он не понимал и не умел строить с людьми человеческих отношений, не бывал в обществе, никого не приглашал к себе. «Как он для общества, так и оно для него – не существовали», – пишет Э. И. Стогов.

Об отмеченных Стоговым чертах характера И. С. Жиркевича сохранились и другие свидетельства. Старательно собиравший все доступные сведения о своем роде и особенно о родном деде, Александр Владимирович Жиркевич, писал, что ему «случалось нередко встречаться с людьми, или знавшими покойного Ивана Степановича лично, или слышавшими о нем от его современников: все отзывы обрисовывали покойного, как идеально честного, правдивого, бескорыстного русского деятеля».