Летом 1921 года, командуя красным 35-м кавалерийским полком в бою под Троицкосавском нанёс поражение 2-й бригаде генерала Бориса Петровича Резухина из Азиатской дивизии генерала барона Унгерна фон Штернберга и был тяжело ранен. За этот бой Рокоссовского наградили орденом Красного Знамени.

30 апреля 1923 года женился на Юлии Петровне Барминой. 17 июня 1925 года родилась дочь Ариадна. С сентября 1924 до августа 1925 года – слушатель Кавалерийских курсов усовершенствования командного состава, вместе с Г. К. Жуковым. С 1926 по 1928 год служил в Монголии инструктором в монгольской армии. С января по апрель 1929 года прошёл курсы усовершенствования высшего начального состава при Академии им. М. В. Фрунзе, где познакомился с работами М. Н. Тухачевского. С января 1930 года командовал 7-й Самарской кавалерийской дивизией (одним из командиров бригад в которой был Г. К. Жуков). С введением в 1935 году персональных званий в РККА получил звание комдива.

В 1936 году К. К. Рокоссовский командует 5-м кавалерийским корпусом в Пскове.

27 июня 1937 года был исключен из ВКП(б) «за потерю классовой бдительности». В личном деле Рокоссовского имелась информация, что он был тесно связан с К. А. Чайковским. 22 июля 1937 года уволен из РККА «по служебному несоответствию». М. Н. Тухачевский, В. М. Примаков, Б. М. Фельдман дали показания как на участников военного заговора в РККА на комкора И. С. Кутякова и прочих, тот показал на командарма 2 ранга М. Д. Великанова и прочих, а тот, в числе прочих, показал на К. К. Рокоссовского. Начальник разведотдела штаба ЗабВО дал показания, что Рокоссовский в 1932 году встречался с начальником японской военной миссии в Харбине Мититаро Комацубара.

В августе 1937 года поехал в Ленинград, где был арестован по обвинению в связях с польской и японской разведками, став жертвой ложных показаний. Два с половиной года провёл под следствием (Следственное дело № 25358-1937).

Доказательства строились на показаниях поляка Адольфа Юшкевича, соратника Рокоссовского в гражданскую. Но Рокоссовский-то хорошо знал, что Юшкевич погиб под Перекопом. Он сказал, что всё подпишет, если Адольфа приведут на очную ставку. Стали искать Юшкевича и обнаружили, что он давно умер.

С 17 августа 1937 года по 22 марта 1940 года, согласно справке от 4 апреля 1940 года, содержался во внутренней тюрьме УГБ при НКВД по Ленинградской области на Шпалерной улице. По рассказам жены маршала Казакова, Рокоссовский подвергался пыткам. В этих пытках принимал участие начальник Ленинградского УНКВД Заковский. Рокоссовскому выбили несколько зубов, сломали три ребра, молотком били по пальцам ног, а в 1939 году его выводили во двор тюрьмы на расстрел и давали холостой выстрел. Однако Рокоссовский не дал ложных показаний ни на себя, ни на других. По рассказу правнучки, в своих записях отметил, что враг посеял сомнения и обманул партию – это привело к арестам невиновных. По сведениям полковника юстиции Климина Ф. А., бывшего в числе трех судей Военной коллегии ВС СССР разбиравших дело Рокоссовского, в марте 1939 года состоялся суд, но все свидетели, давшие показания, уже были мертвы. Рассмотрение дела было отложено на доследование, осенью 1939 года состоялось второе заседание, также отложившее вынесение приговора. По некоторым предположениям, Рокоссовский был этапирован в лагерь. Есть версия, что все это время Рокоссовский находился в Испании в качестве военного эмиссара под псевдонимом, предположительно, Мигель Мартинес (из «Испанского дневника» М. Е. Кольцова).

22 марта 1940 года был освобожден в связи с прекращением дела, при ходатайстве С. К. Тимошенко к И. В. Сталину, и реабилитирован. К. К. Рокоссовского полностью восстанавливают в правах, в красноармейской должности и в партии, весну проводит с семьей на курорте в Сочи. В том же году с введением генеральских званий в РККА ему присваивается звание «генерал-майор». Снова командует 5-м кавалерийским корпусом.

Корпус переводился в Киевский особый военный округ, чтобы участвовать в операциях в Бессарабии. На Украине под руководством Жукова уже было тайно создано полевое управление Южного фронта.

26 июня 40-го года Молотов предъявил Румынии ультиматум, после чего немедленно позвонил Риббентропу. По рекомендации рейха румынское правительство приказало своим войскам отойти к новой границе.

28 июня танковые и кавалерийские части перешли границы. Почти все население Бессарабии и Северной Буковины снялось с мест и устремилось на Запад. Тогда для перехвата беженцев были сброшены парашютные части, не пропускавшие спасающихся людей в Румынию и разворачивавшие их обратно.

Позднее Константин Рокоссовский писал: «Опыт, приобретенный в дни этого похода, был очень полезен. Мы, командиры, старались опираться на него, организуя боевую подготовку войск».

Опыта надо было набираться незамедлительно, так как в июле 40-го года, начальник штаба 18-й армии вермахта Эрих Маркс получил от Йодля задание: разработать идею военной кампании против СССР.

Войну с Германией Рокоссовский встретил, по-прежнему командуя 5-м корпусом, который из кавалерийского превратился в танковый.

Корпус сражался под Дубно-Луцком-Бродами. Несмотря на некомплект танков и транспорта, войска мехкорпуса в течение июня – июля 1941 года активной обороной изматывали противника, отступая только по приказу.

В тяжелейшие дни июля 1941 года К. К. Рокоссовский был назначен командующим оперативной группой, призванной предотвратить соединение танковых групп Гота и Гудериана к востоку от Смоленска. Ему выделили группу офицеров, радиостанцию и два автомобиля. Это и была его оперативная группа. Остальное он должен был добирать сам: останавливать и подчинять себе остатки 20-й и 16-й армий, выходивших из смоленского котла и удерживать этими силами коридор между Ярцево и Ельней, не позволяя танковым клиньям немцев сомкнуться.

Маршал вспоминал: «В штабе фронта я ознакомился с данными на 17 июля. Работники штаба не очень-то были уверены, что их материалы точно соответствуют действительности, поскольку с некоторыми армиями, в частности с 19-й и 22-й, не было связи. Поступили сведения о появлении в районе Ельни каких-то крупных танковых частей противника. Эта непростая задача была успешно решена. В короткое время собрали порядочное количество людей. Были здесь пехотинцы, артиллеристы, связисты, саперы, пулеметчики, минометчики, медицинские работники. В нашем распоряжении оказалось немало грузовиков. Они нам очень пригодились». Так началось в процессе боев формирование в районе Ярцево соединения, получившего официальное название «группа генерала Рокоссовского».

Позднее группа Рокоссовского была слита с понесшей тяжелые потери 16-й армией, а Рокоссовский был назначен командующим этой армии. 16-я армия, почти полностью состоявшая из бывших лагерников. До него этим соединением командовал генерал Лукин, тоже в свое время ставший жертвой сталинских чисток. Однако удельный вес танковых частей в его армии был одним из самых высоких в РККА.

16-я армия должна была прикрывать Волоколамское направление к Москве. Там сложилась особенно трагичная ситуация: советских войск не было, дорога на Москву была открыта, а большая часть войск 16 армии была либо переподчинена, либо находилась в окружении. К. К. Рокоссовский перехватывал войска на марше и, как мог, закрывал Волоколамское направление. В его распоряжение поступил отдельный курсантский полк, созданный на базе Московского пехотного училища им. Верховного Совета РСФСР, 316-я стрелковая дивизия генерал-майора И. В. Панфилова, 3-й кавалерийский корпус генерал-майора Л. М. Доватора. Вскоре под Москвой была восстановлена сплошная линия обороны, и завязались упорные бои.