Рокоссовский с самого начала понимал, что далеко не все в Польше ему рады. Полковнику Ф. Д. Свердлову он позднее рассказывал: «Нельзя сказать, что весь офицерский корпус Вооруженных сил Польши тепло принял меня. Часто во время приездов в дивизии из глубины построенных на плацах для встречи войск слышались одиночные, а иногда и групповые выкрики: „Уезжайте в Россию!“, „Долой красного маршала!“».

Свердлову Рокоссовский также рассказал, что «в январе 1950 года при посещении артиллерийских частей в Люблине в меня стреляли из пистолета. Выстрел был произведен с большого расстояния, и пуля пролетела мимо. Стрелявшего не нашли. Через три месяца в Познани по моей машине дали автоматную очередь. Оказался раненым сопровождавший офицер, было разбито вдребезги заднее стекло, но я не пострадал. И на этот раз стрелявших не нашли. Выступали против меня в основном бывшие участники Армии Крайовой и формирований „Национальных Вооруженных Сил“. Поэтому работать в Польше было трудно».

В августе 1952 года Рокоссовский занял резкую позицию в связи с невыполнением военных заказов польской промышленностью, что вызвало недовольство Берута. Рокоссовский выступал также за ускорение рассмотрения «дел» Владислава Гомулки и Мариана Спыхальского, что также раздражало Берута. В январе 1953 года, по информации полковника Д. П. Вознесенского, произошло новое резкое столкновение Рокоссовского и Берута в связи с очередной попыткой маршала добиться повышения денежного содержания офицерского состава. Противостояние достигло такой остроты, что Рокоссовский открыто заявил о невозможности «оставаться на посту министра обороны». По некоторым сведениям, в феврале 1953 года польское руководство предприняло попытку через Вознесенского «проконсультироваться в Москве» в связи с «ухудшением личных и деловых отношений между Берутом и Рокоссовским». Однако смерть Сталина и отзыв Вознесенского из Польши резко изменили ситуацию.

Когда Сталин умер, Рокоссовский приехал на похороны. Поэт Алексей Сурков в стихотворении на смерть вождя писал:

Константин Вильевич Рокоссовский свидетельствует:

Для Рокоссовского Сталин был прежде всего Верховным главнокомандующим, и, по мнению маршала, он лучше любого другого человека в стране в то время подходил для этой должности. Быть может, Константин Константинович думал, что лучше уж пусть будет такой руководитель, как Сталин, со всеми его жестокостями и несправедливыми репрессиями, чем у власти окажутся Каганович или Молотов, не обладавшие качествами вождя и все время привыкшие быть в тени Сталина, а то и, не дай бог, Жуков, с его беспощадностью к собственным солдатам и отсутствием каких-либо дипломатических способностей. И он совершенно искренне плакал на похоронах Сталина, хотя это не означает, что он одобрял все, что делал Сталин, и верил в то, что большинство репрессированных врагов народа действительно виновны.

Рокоссовский считал также непорядочным выступать с критикой Сталина после его смерти. Ему вряд ли было приятно видеть, как пинают покойного вождя Хрущев и другие более мелкие «вожди», при жизни генералиссимуса трепетавшие от одного его имени.

После смерти Сталина в советском руководстве началась борьба за власть. В июне 1953 года был арестован, а позже расстрелян Л. П. Берия. В связи с этим Д. П. Вознесенского отозвали из Польши и вскоре арестовали. В советском руководстве началась борьба сторонников сохранения сталинских принципов жесткой централизации и приверженцев более либерального подхода к восточноевропейским союзникам.

В этих условиях коммунистические руководители стран Восточной Европы, в том числе и Польши, стремились обрести большую политическую самостоятельность. Так, в июне 1953 года Б. Берут в письме Г. М. Маленкову, отметив своевременность и целесообразность «перехода на систему военных советников на тех же основаниях, как и в других странах народной демократии», высказал просьбу о командировании в Польшу 308 военных советников (269 в армию и 34 в органы безопасности). Из названного числа 93 офицера должны были прибыть в страну к концу 1953 года. Прибытие советников должно было не увеличить, а уменьшить зависимость Войска польского от Советской армии, поскольку подразумевалось значительное сокращение присутствия советских офицеров на командных должностях в польской армии.

В начале 1955 года в Войске польском работали 154 советских советника. В 1957–1958 годах почти все военные советники были отозваны.

После смерти Сталина положение Рокоссовского в Польше, и без того непростое, еще более осложнилось. Вот только один очень красноречивый документ — запись беседы советника посольства СССР в Варшаве Д. И. Заикина с Рокоссовским, состоявшейся 1 октября 1953 года. 20 октября советский посол в Польше Г. М. Попов направил ее В. М. Молотову, являвшемуся в тот момент министром иностранных дел. А Молотов 31 октября разослал текст беседы Маленкову, Хрущеву и Булганину: