«До последнего танка» дралась за каждую пядь земли поредевшая дивизия Черняховского при вынужденном отходе к Новгороду. Тогда на подступах к городу и его кремлю молодой комдив, собрав разрозненные группы в один кулак, показал мастерство воинского управления в критической ситуации городской осады… Опираясь на местное население, комдив провёл громадную работу по превращению мирного города в крепость, и на этом рубеже противник на необходимое время был задержан. К сожалению, как это часто бывало в начале войны, оборона Новгорода стоила нам больших потерь; почти вся 28-я дивизия, которой командовал Черняховский, погибла. По этому поводу было разбирательство, его едва не отдали под суд.

Всю осень вновь укомплектованная дивизия Черняховского воевала на самых трудных участках на подступах к Ленинграду. Командование по достоинству оценило умение и решительность молодого комдива, за эти бои он был награждён первой правительственной наградой – орденом Красного Знамени.

В декабре 1941 года 28-я дивизия переформирована в 241-ю стрелковую дивизию и участвует в оборонительных боях юго-западнее Шауляя, на Западной Двине, под Сольцами и Новгородом. 5 мая 1942 года полковнику Черняховскому И. Д. присвоено воинское звание «генерал-майор».

В 1942 году Черняховский становится командиром только что сформированного танкового корпуса и направляется на Воронежский фронт. К этому времени в Ставке Главнокомандования уже заметили перспективного молодого командира, и перед отправкой новый комкор имел встречу со Сталиным.

В июле 1942 года Черняховский назначен командующим 60-й армией, которой и руководил до апреля 1944 года. Эта армия входила в состав Центрального фронта под командованием К. К. Рокоссовского. Маршал Рокоссовский вспоминал: «Знакомясь с войсками 60-и армии, переданной нам из Воронежского фронта, я внимательно приглядывался к генералу И. Д. Черняховскому. Это был замечательный командующий. Молодой, культурный, жизнерадостный. Изумительный человек! Было видно, что в армии его очень любят. Это сразу бросается в глаза. Если к командарму подходят докладывать не с дрожью в голосе, а с улыбкой, то понимаешь, что он достиг многого. Командиры всех рангов остро чувствуют отношение старшего начальника, и, наверное, мечта каждого из нас – поставить себя так, чтобы люди с радостью выполняли все твои распоряжения. Вот этого Черняховский достиг».

За время службы Черняховского в 60-й армии произошли события, которые были закономерным продолжением того начала, которое было заложено всей его предыдущей жизнью. Армия приняла участие в Воронежско-Касторненской операции, Курской битве, форсировании рек Десна и Днепр, в Киевской, Житомирско-Бердичевской, Ровно-Луцкой, Проскуровско-Черновицкой операциях.

В августе 1943 года, когда после Курской битвы, войска, образовавшие саму Курскую дугу, переходили в наступление, Черняховский собрал все наличные автомашины, посадил на них пехоту, оголив почти 90 километров фронта, при поддержке танков прорвал вражескую оборону и стремительно стал углубляться на территорию, занятую врагом. Перед немецкими войсками больше не было обороны наших войск, казалось бы, они могли сами наступать – но в тыл им всё дальше уходила армия Черняховского и, рискуя оказаться в окружении, немцы вынуждены были соревноваться с ней в поспешном движении на запад. После такого ошеломляющего почти двухсоткилометрового прорыва в стане фашистов, в ходе которого были преодолены широкие водные преграды и обеспечены условия для выхода советских войск по направлению к столице Украины – Киеву, талантливый командир еще больше заявил о своих недюжинных полководческих способностях и по достоинству был оценен командованием. Отличительная черта стиля его командования заключалась в том, что он заставлял противника обращаться в бегство, подчас не приходя с ним в соприкосновение и неся минимальные потери.

За операцию по освобождению города Воронежа представлен к ордену Красного Знамени. При этом все остальные командармы Воронежского фронта были награждены орденами Кутузова 1-ой степени. Это связно с тем, что командующему 2-ой немецкой армии генералу Зальмуту удалось вывести большинство своих частей из окружения, в которое они попали в районе Касторного. Однако затем именно армия Черняховского сыграла решающую роль в стремительном освобождении Курска, нанеся неожиданный для противника глубокий фланговый удар.

14 февраля 1943 года ему присвоено звание генерал-лейтенант.

Указом Президиума Верховного Совета СССР от 17 октября 1943 года за высокие организаторские способности при форсировании Днепра и проявленный личный героизм генерал-лейтенанту Черняховскому Ивану Даниловичу присвоено звание Героя Советского Союза.

5 марта 1944 года ему присвоено звание генерал-полковник.

В 1944 году для Черняховского наступил час проверки всех его возможностей: 37-летнего генерала назначают командующим 3-м Белорусским фронтом. Одновременно 1-м Белорусским фронтом командовал Г. К. Жуков, 2-м Белорусским – К. К. Рокоссовский, 2-м Украинским – И. С. Конев. Под его начало поступают огромные массы войск: четыре общевойсковые, воздушная, танковая армии, артиллерия, инженерные войска и множество других подразделений. В его подчинении оказываются боевые генералы, некоторые из которых были в своё время его начальниками. Нужно было так построить отношения со всеми ними, чтобы возникло доверие к способностям нового командующего, и не было неприязни и непонимания. На первых порах не всё во взаимоотношениях Черняховского с подчинёнными проходило гладко. Перед началом операции «Багратион» командующие Белорусских фронтов поручили именно И. Д. Черняховскому ходатайствовать перед И. В. Сталиным о придании войскам фронтов отдельной танковой армии под командованием Ротмистрова. Верховный удовлетворил просьбу, высказанную молодым командующим. Фронты были усилены 5-й гвардейской танковой армией, которой директивой Ставки была поставлена задача наступать вдоль минского шоссе. Противник, понимая важность этого направления, стянул сюда большие силы. Узнав об этом, Черняховский принимает смелое и рискованное решение: перенаправить танковую армию на другой участок, где её появление будет для немцев неожиданным. Но тут вдруг возникло непредвиденное препятствие: прославленный танкист, герой Курской битвы маршал Ротмистров наотрез отказался выполнить приказ командующего фронтом. Он боялся, что на многокилометровом марше по заболоченной непроезжей местности можно утопить машины и растратить необходимый моторесурс (танковые моторы из-за большой мощности быстро изнашивались, и потому всякое лишнее передвижение грозило преждевременной остановкой танка). Черняховский был настойчив, но предельно тактичен, и его спокойствие и умение убеждать сыграли роль в исчерпании конфликта. Им совместно удалось провести эту блестящую операцию, в результате которой была разгромлена стотысячная армия противника.

Маршал А. М. Василевский, в то время воевавший рядом с Черняховским, в своих мемуарах так писал о нём: «Особенно сблизила нас с Иваном Даниловичем общая работа в Белоруссии. Она протекала в атмосфере взаимного доверия, уважения и желания помочь друг другу. Черняховский возглавлял один из ведущих фронтов – 3-й Белорусский. То была первая фронтовая операция, которую проводил самый молодой в Красной Армии, исключительно талантливый и энергичный командующий фронтом. Хорошее знание войск, многообразной и сложной боевой техники, умелое использование опыта других, глубокие теоретические знания позволяли Черняховскому отлично управлять войсками, входившими в состав его фронта, решать сложнейшие задачи, которые ставило перед ним Верховное Главнокомандование. В бою Черняховский находился на наиболее ответственных участках, внимательно следя за действиями своих войск и противником. Он чутко прислушивался к мнению подчиненных. Смело использовал всё новое и полезное в обучении войск и организации боя. Солдаты, офицеры и генералы любили своего командующего прежде всего за человечность и заботу о них, за отвагу и бесстрашие, за твёрдость и настойчивость при проведении в жизнь решений, за прямоту и простоту в обращении, за гуманность и выдержку, за требовательность к себе и к подчинённым. Да, он был строг и требователен. Но никогда не позволял себе унижать достоинство человека».