За умелую организацию и отличное руководство войсками в этой операции 20 февраля 1944 года Коневу было присвоено воинское звание Маршала Советского Союза.

Началось освобождение Правобережной Украины.

В марте – апреле 1944 года он провёл одно из самых успешных наступлений советских войск – Уманско-Ботошанскую операцию, в которой за месяц боев его войска по распутице и бездорожью прошли на запад свыше 300 километров и 26 марта 1944 года первыми в Красной Армии перешли государственную границу, вступив на территорию Румынии.

В мае 1944 года Конев назначается командующим войсками 1-го Украинского фронта.

В июле – августе 1944 года под его командованием войска фронта разгромили группу армий «Северная Украина» генерал-полковника Йозефа Гарпе в Львовско-Сандомирской операции. В ходе операции, когда войска на львовском направлении встретили большое сопротивление, а на Рава-Русском обозначился успех, Конев перебросил часть сил с Львовского на Рава-Русское направление, направив их в тыл группировки противника. При этом в районе Броды были окружены и в течение нескольких суток уничтожены восемь дивизий врага. 27 июля были освобождены Львов, Перемышль, Станислав, а в конце операции войска фронта форсировали Вислу и захватили плацдарм в районе Сандомира. С большим предвидением Конев выдвинул на плацдарм 5-ю гвардейскую танковую армию, что обеспечило успешное отражение контрударов противника.

Войска 1-го Украинского фронта захватили и в последующих двухмесячных боях удержали Сандомирский плацдарм, ставший одним из трамплинов для удара по гитлеровской Германии. Также часть сил фронта приняла участие в Восточно-Карпатской операции.

Звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» Ивану Степановичу Коневу присвоено 29 июля 1944 года за умелое руководство войсками фронтов в крупных операциях, в которых были разгромлены сильные группировки противника, личное мужество и героизм.

После того, как спланирована и организована операция, с началом наступления Иван Степанович с небольшой оперативной группой и средствами связи, как правило, находился в боевых порядках передовых соединений, выполняющих наиболее важные задачи. Это позволяло ему постоянно ощущать дыхание боя, лично влиять на войска и оперативно реагировать на изменения обстановки. В любой обстановке полководец умел сохранять выдержку и самообладание, не допускал пагубной для управления войсками дерготни и нервозности, был очень внимателен к подчиненным. Но когда требовали интересы дела, проявлял жесткую твердость и суровую требовательность, особенно в отношении командиров, отрывающихся от войск и проявляющих безответственность. Однажды в начале октября 1944 года с выходом советских войск на чехословацкую территорию в сражение вводился 1-й чехословацкий армейский корпус. Как всегда, Конев считал необходимым лично убедиться, как все произойдет. Прибыв в боевые порядки корпуса, он обнаружил, что в этот ответственнейший момент командир корпуса генерал Кратохвила, находясь в 25 км от передовых подразделений, проводил пресс-конференцию с иностранными журналистами. Командующий войсками фронта был вынужден немедленно отстранить от должности командира корпуса и назначить на эту должность генерала Свободу, командира 1-й бригады, которая наиболее организованно начала боевые действия. Это решение было одобрено Сталиным.

Во время Сандомирско-Силезской фронтовой операции Конев своим высочайшим военным искусством и умением применять разнообразные гибкие способы действий спас от разрушений древнюю столицу Польши – Краков. Этот город преграждал путь войскам фронта в Силезию, и, не взяв его, невозможно было развивать дальнейшее наступление. Как вспоминал Иван Степанович, «командование фронтом отказалось от ударов артиллерии и авиации по городу… Мы не ставили себе задачи перерезать последний путь отхода гитлеровцев. Если бы это сделали, нам бы потом долго пришлось выкорчевывать их оттуда и мы, несомненно, разрушили бы город». Командующий решил обходными маневрами обложить город, но оставить окруженным войскам путь отхода на юг, и фельдмаршал Шрёдер решил воспользоваться этим коридором для вывода из города основных сил. Но дальновидный и хитрый Иван Степанович не дал возможности отойти и основной группировке немецких войск, покинувшей Краков. С выходом их за пределы города по ним были нанесены мощные авиационные и артиллерийские удары, их атаковали и преследовали передовые отряды наших армий. По тонкости стратегической мысли и эффективности исполнения одна только эта операция дала бы любому полководцу мировую славу.

В январе 1945 года войска фронта в результате стремительного удара и обходного маневра в Висло-Одерской операции помешали отступавшему противнику разрушить промышленность Силезии, имевшую большое экономическое значение для дружественной Польши.

12 января войска Конева перешли в наступление на сандомирском плацдарме за Вислой и через 36 часов прорвали главную линию обороны немцев – линию Губертус. Титанические усилия верховного командования вермахта ни к чему не привели – фронт оказался прорван, и советские танки продвигались в день до 60 километров в глубь немецкой обороны, вступив вскоре на территорию Германии. 20 января Конев отдал своим войскам приказ развернуться и двигаться вдоль Одера, чтобы уничтожить две немецкие группировки, оказывавшие упорное сопротивление.

В феврале 1945 года войска Конева провели Нижне-Силезскую операцию, в марте – Верхне-Силезскую операцию, добившись в обоих существенных результатов.

В течение марта 1945 года три советских фронта, в том числе фронты под командованием Конева и Жукова, не двигались вперед, а очищали от остатков немецких частей пространство между Штеттином и Данцигом.

Когда войска 1-го Украинского фронта освободили Дрезден, командующему доложили, что в штольнях обнаружены картины всемирно известной галереи – в том числе и «Сикстинская Мадонна» Рафаэля. Конев приказал сделать все, чтобы спасти полотна от разрушения. Но в условиях войны хранить полотна по всем правилам не было возможности. Из Москвы была срочно вызвана группа реставраторов во главе с Натальей Соколовой. Было принято решение переправить полотна в Москву. Конев предложил Соколовой отобрать наиболее ценные полотна для немедленной эвакуации его личным самолетом. Он предложил: «Давайте, я дам вам свой самолет». Женщина всплеснула руками и сказала: «Иван Степанович, это же страшно». – «Почему страшно? Это очень надежный самолет. Я сам на нем летаю», – ответил Конев. «Ну вы же маршал, а она Мадонна», – ответила реставратор.

В апреле советские войска, понеся большие потери, прорвали немецкую оборону и начали наступление на Берлин. Но Сталин остановил войска Конева, давая возможность именно Жукову захватить столицу Третьего рейха.

После падения Берлина Коневу было приказано развернуть свой фронт на юг, к Праге. В Пражской операции помимо 1-го Украинского фронта принимали участие войска 2-го Украинского (Р. Я. Малиновский) и 4-го Украинского (А. И. Еременко) фронтов, двигавшиеся в обход Праги с юго-востока и востока. Главный удар по группе армий «Центр» генерал-фельдмаршала Шёрнера наносили войска 1-го Украинского фронта, наступавшие с Берлинского и Дрезденского направлений через труднопроходимые Рудные горы. Марш-бросок был небывало сложным и стремительным: он занял всего пять дней и ночей. Это была последняя наступательная операция, проведенная под руководством маршала И. С. Конева. Когда он подошел к городу, оказалось, что войска Русской Освободительной Армии Власова очистили столицу Чехии от немцев. Тем не менее, все власовцы были взяты в плен и переданы НКВД. Утром 9 мая радостные пражане встречали советских воинов цветами.