В 1937 году Конев служил в должности командующего специальными частями РККА на границе с Монголией. Армейская группировка РККА в этом районе испытывала острый недостаток всех ресурсов. Дело усугублялось еще и тем, что служба в таких регионах всегда рассматривалась офицерами как крайне неперспективная, и сюда попадали либо по распределению из военных училищ, либо за провинности. Разумеется, были и добровольцы-романтики, жаждавшие служить там, где трудно, но их было немного. Вот такими частями и пришлось командовать Коневу.

На первый взгляд, у него была весьма ответственная должность, тем более на стратегически важном участке – рядом Япония, агрессивно настроенная по отношению к СССР. Однако на самом деле все было далеко не так. Советский Союз занимал по отношению к Японии довольно странную и двойственную позицию. С одной стороны, СССР осуждал имперские замашки на мировое господство маленькой Японии. Но с другой – Япония была самым сильным в военном отношении государством региона, и СССР, не обладая на Дальнем Востоке развитым транспортом и промышленностью и не имея там достаточно войск, был вынужден очень осторожно действовать, дабы не поссориться с сильной соседкой. Сталин практически закрыл глаза на захват Японией большей части Китая. Однако на агрессию в Монголии, связанной с СССР военным союзным договором, советское руководство смотреть спокойно уже не могло – японская армия в случае удачи могла вплотную подойти к государственной границе, причем в одном из ее самых слабо защищенных мест. Разумеется, руководство страны начало перебрасывать туда дополнительные войска, но изменить положение было непросто.

В 1938 году Конев был назначен командиром Особого стрелкового корпуса на территории Монгольской Народной Республики, с июля 1938 года – командующим 2-й Особой Краснознаменной армии, дислоцировавшейся на Дальнем Востоке.

Когда в районе реки Халхин-Гол начались бои, туда стали спешно перебрасывать обученные части и новую технику, но в первые дни боев положение было очень тяжелым, и после ряда тактических неудач Сталин принял решение сменить руководство группировки. Из Москвы был вызван Жуков, и хотя другие командиры, в том числе и Конев, сделали все, что смогли, слава победы досталась практически одному Жукову.

Не сумев прославиться в Монголии, Конев был в очередной раз обойден при присвоении воинских званий. Он не был репрессирован, как многие другие, но своему повышению до командующего армией в период до начала войны с Германией он обязан только большому стажу службы и острому недостатку опытных командных кадров в результате массовых репрессий в армии. Впрочем, его репутация грамотного генерала осталась при нем.

Конев стал командармом 2-го ранга в феврале 1939 года. С июня 1940 года командовал войсками Забайкальского военного округа, с января 1941 года – Северо-Кавказского военного округа. Генерал-лейтенант с июня 1940 года.

В Великую Отечественную войну генерал-лейтенант И. С. Конев вступил в должности командующего 19-й армией, спешно сформированной из войск Северо-Кавказского военного округа. Армия первоначально была направлена на Юго-Западный фронт, но уже в начале июля из-за катастрофического развития обстановки на западном направлении переброшена на Западный фронт. В ходе Смоленского сражения войска армии понесли большие потери, но избежали разгрома и упорно оборонялись. Действия Конева на посту командующего армией было высоко оценены И. В. Сталиным, и в начале сентября 1941 года Конев был назначен командующим войсками Западного фронта, тогда же ему было присвоено звание генерал-полковника.

Он принял войска фронта, на исходе Смоленского сражения перешедшие к обороне на рубеже от озера Селигер до Ельни, когда германское командование, произведя перегруппировку и подтянув дополнительные силы, готовило новую наступательную операцию на московском направлении под кодовым названием «Тайфун».

Конев командовал войсками Западного фронта чуть более месяца (сентябрь – октябрь 1941 года), за это время фронт под его командованием потерпел одно из тяжелейших поражений за всю войну. Он принял командование тем участком советской обороны, на котором немцы буквально через несколько дней предприняли генеральное наступление на Москву. В этой операции должны были принять участие три четверти германских вооруженных сил на Восточном фронте, включая все танковые дивизии. Усиленной группе армий «Центр» противостояли в этой мясорубке соединения Западного фронта генерала Конева, Брянского и Резервного фронтов – всего 13 общевойсковых армий. Общая численность их достигала миллиона человек, однако почти во всех соединениях и частях не хватало артиллерии, противотанковых средств, фактор мобильности был очень низок – не хватало автотранспорта и лошадей.

С точки зрения технической оснащенности и подготовки эти части, которые приняли на себя удар в начальный период битвы за Москву, являлись самыми слабыми из всех советских армий, выходивших на поле боя. Большинство солдат и офицеров были призваны из резерва, не имели боевого опыта и достаточной военной подготовки. Развернувшееся в начале октября 1941 года Вяземско-Брянское сражение, ставшее следствием начала операции «Тайфун», давало немцам шанс окончить войну уже в 1941 году.

Войска Западного, Резервного и Брянского фронтов не смогли противостоять этому наступлению противника и потерпели серьезное поражение. В частности, войска Западного фронта понесли потери до полумиллиона человек, оборона была дезорганизована и развалилась. Взбешенный этим поражением Сталин сместил Конева, назначив на его место Жукова. Однако наступление остановил не он. Попавшие в окружение бывшие коневские части Западного и Резервного фронтов продолжали оказывать упорное сопротивление, сковав 28 немецких дивизий. 14 из них не смогли освободиться до середины октября, что позволило советскому командованию выиграть время для организации сопротивления на Можайской линии обороны. Остановили немецкое наступление не советские генералы, а простые солдаты и офицеры, тысячами погибавшие в окружении, и именно их героическая смерть стала тем фундаментом, на котором потом была достигнута победа в битве за Москву.

Г. К. Жуков, в целом высоко отзывавшийся о полководческих качествах Конева, вынужден был отметить, что он «не находил себя в обороне». Конева, как до этого расстрелянного в начале войны генерала Павлова, ждала тяжелая участь. Комиссия Государственного Комитета Обороны во главе с В. М. Молотовым и К. Е. Ворошиловым должна была расследовать причины катастрофы. Но Жуков сумел отстоять его перед Сталиным, заявив, что «Конев умный человек и он еще пригодится». Жуков не ошибся. Мало кому из великих полководцев, как, например, Суворову, удавалось избежать серьезных неудач и поражений. Но величие и определяется умением извлекать уроки. Г. К. Жуков предложил оставить Конева заместителем командующего фронтом. Конев после неудач в Вяземской оборонительной операции сохранил самообладание, сделал для себя правильные выводы. Уже в середине октября 1941 года, возглавляя правофланговые объединения Западного фронта, он сумел разгромить прорвавшиеся к городу Калинину части 3-й танковой группы немцев и остановить их продвижение, сорвав тем самым планы противника по обходу Москвы с севера. Тогда Ставкой было принято решение о создании Калининского фронта, командующим войсками которого был назначен И. С. Конев.