На следующий год по настоянию мужа и свекрови Ирина вместе с ребенком прописалась в «мужнину» квартиру, которая находилась в полуподвале в районе Курского вокзала. Правда, довольно скоро семье из 6 человек дали трёхкомнатную квартиру с крошечной кухней («хрущёбу», как её называли в народе). Просидев дома со своим первенцем полгода, мама Ира устроилась работать в школу учителем биологии. Занятия проводила прекрасно, но из-за большой близорукости ей сложно было следить за классом, поскольку она плохо запоминала лица учеников, чем те порой и пользовались.

Все эти годы Валерий часто выезжал в командировки на полигоны, где принимал участие в строительстве радиолокационных станций. В своём НИИ ДАРе он длительное время работал на должности начальника сектора, а потом стал начальником отдела.

Неожиданно рухнула «блестящая карьера» Серова И.А., виной чему послужил его подчинённый, полковник Главного разведывательного управления (ГРУ) Пеньковский О.В., оказавшийся агентом английской и американской разведок. 22 октября 1962 года шпиона арестовали в Москве, и в ходе расследования было доказано, что обширная информация, переданная им нашим потенциальным противникам, явилась результатом его знакомства и частых посещений домов Серова И.А. и Главного маршала артиллерии Варенцова С.С. При этом жена и дочь Серова И.А. даже ездили вместе с Пеньковским О.В. в Англию. При подготовке органами госбезопасности отчёта «о роли Варенцова и Серова в деле Пеньковского» председатель КГБ Семичастный В.Е. по своей инициативе добавил материалы о виновности Серова в «выселении мирных народов — калмыков, ингушей, поволжских немцев и других».

2 февраля 1963 года Президиум ЦК КПСС принял решение об освобождении Серова И.А. от занимаемых им должностей. Затем 7 марта того же года «за потерю политической бдительности и недостойные поступки» генерал армии Серов И.А. был снижен в воинском звании до генерал‑майора и лишен звания Героя Советского Союза. «Для исправления» его отправили помощником по учебным заведениям сначала к командующему Туркестанским, а затем Приволжским военными округами. Но Иван Александрович посчитал себя незаслуженно обиженным и потому начал буквально бомбардировать Кремль своими заявлениями. Однако результат оказался противоположным: 9 апреля 1965 года КПК при ЦК КПСС рассмотрел персональное дело Серова и исключил его из партии за «нарушение социалистической законности и использование служебного положения в личных целях». 1 сентября того же года в возрасте 60 лет он был уволен в запас Вооруженных Сил по болезни [84].

Вместе с тем с начала 60-х годов общественно-политическая обстановка в стране значительно ухудшалась. Усилились оппозиционные настроения, что выражалось в появлении листовок и анонимных писем антисоветского содержания, которые, по данным КГБ, писали представители буквально всех слоёв общества. Особенно возросло недовольство после подавления выступлений рабочих в Новочеркасске, что нашло свой отзвук практически во всей стране. Президиум ЦК КПСС вынужден был принять большое число решений, направленных на усиление политического сыска и борьбы с инакомыслием. В июле 1962 года была введена статья 70 Уголовного кодекса РСФСР, восстанавливавшая и узаконивавшая политические репрессии. Складывавшаяся в стране обстановка не могла не тревожить и самого Хрущёва Н.С., поскольку ему пришлось столкнуться с порождёнными его политикой невероятными размерами очковтирательства и самого грубого обмана. Причём этим неблаговидным делом занимались не кто-нибудь, а партократы — секретари обкомов и крупные хозяйственные руководители. Хрущёв Н.С. пытался лично бороться со столь негативным явлением: он ездил по стране, распекал тех, кто попадался ему под руку, организовывал различные проверки. Но ситуация к лучшему не менялась. Сверхцентрализованная власть оказалась неспособна обеспечить контроль за выполнением собственных решений. А когда явно наметились проблемы выполнения принятого на XXII съезде КПСС плана строительства коммунизма в СССР, Хрущёв Н.С. пришёл к мысли о необходимости создания специального контрольного учреждения, которое могло бы проверять как партийные, так и государственные органы. Кстати, из всех постановлений этого съезда неукоснительно реализовано было только одно: тело Сталина вынесли из Мавзолея и захоронили у Кремлёвской стены.

19 февраля 1962 года в Президиум ЦК была направлена записка Хрущёва Н.С., в которой он обосновывал необходимость укрепления партийно‑государственного контроля, потому что коррупция в стране затронула высшие звенья государственного управления, взяточничество проникло в Госплан, министерства и ведомства, в суд, прокуратуру и адвокатуру. Эти обстоятельства доказывали необходимость организации внесудебного преследования. В результате решением Президиума ЦК был создан Комитет партийно‑государственного контроля ЦК КПСС и Совета Министров СССР, а также соответствующие его органы на местах. По предложению Хрущёва Н.С., председателем этого Комитета был назначен секретарь ЦК КПСС (в 1958–1961 годах возглавлявший КГБ) Шелепин А.Н., которого дополнительно утвердили ещё и заместителем председателя Совета Министров СССР. На деле же получилось, что «родился» очередной бюрократический монстр, наделённый огромными контрольными полномочиями, который фактически дублировал и партийную, и советскую системы. Сотрудники комитета имели право проводить расследования, налагать на виновных взыскания и штрафы, передавать дела в прокуратуру и суд. Весной 1963 года Комитет партгосконтроля получил право проверять Вооружённые Силы, Комитет государственной безопасности и Министерство охраны общественного порядка. Получилось так, что власть от Хрущёва Н.С. стала потихоньку перетекать к его ставленнику Шелепину А.Н. В то же время громадная контрольная машина крутилась без особого результата. Во всяком случае, ожидавшегося хозяйственного эффекта от её деятельности не наблюдалось.

В условиях нарастания внутрисоюзных политических проблем Хрущёв Н.С. заметался. К этому добавились ещё провалы на международной арене, когда в результате размещения советских ракет на Кубе мир оказался на грани ядерной войны. Помимо всего прочего, глава партии и правительства вступил в конфликт с интеллигенцией, подверг резкой критике систему Академии наук СССР и Сельскохозяйственную академию. Затем совершенно неожиданно сделал заявление о целесообразности введения восьмилетних народнохозяйственных планов вместо семилетки, которая и так уже сменила привычную пятилетку. Летом 1964 года затеял новую реорганизацию системы управления в стране. При этом все его непредсказуемые действия сопровождались беспрецедентным хамством, грубостью, самым вульгарным матом в обращении с ближайшим окружением. А печальным итогом внедрявшихся «новшеств» явился полный провал в области сельского хозяйства, когда в большинстве городов и рабочих посёлков пришлось вводить продуктовые карточки. Для решения этой жизненной проблемы понадобилось закупать продовольствие за границей, потратив на это огромное количество золота [83].

В общем, Хрущёв Н.С., с чьим именем персонифицировались все неудачные «реформы», стал не только лишним и обременительным, но и опасным деятелем для Страны Советов. Однако, несмотря на это, ближайшие соратники 17 апреля 1964 года в дополнение к званию трижды Героя Социалистического Труда в последний раз наградили «дорогого Никиту Сергеевича» ещё Золотой Звездой Героя Советского Союза в связи с 70-летним юбилеем, а потом, 14 октября того же года, сняли его со всех постов и отправили в отставку. Таким образом, Никита Сергеевич Хрущёв, свергнувший и растоптавший за время своего правления многих неугодных ему работников, сам отныне оказался «вне игры». Правда, через полсотни лет «благодарные потомки» за те «добрые дела» (см. выше), которые сделал для страны «наш Никита Сергеевич», открыли ему памятную доску на доме, в котором он когда-то проживал.