К исходу 2 августа войска Воронежского и Степного фронтов закончили подготовительные мероприятия и согласно плану операции заняли исходное положение для наступления. Для немцев оно было в значительной степени неожиданным. Командующий группой армий «Юг» Манштейн впоследствии писал:

«Мы надеялись в ходе операции «Цитадель» разбить противника настолько, чтобы рассчитывать на этом фронте на определенную передышку. Однако эта надежда оказалась потом роковой для развития обстановки на северном фланге группы, так как противник начал наступление раньше, чем мы ожидали».

Неожиданным наступление стало не только для штаба группы армий «Юг», но и для немецких солдат в передовых окопах. Артиллерийская подготовка открылась мощным пятиминутным налетом всех огневых средств по переднему краю немецкой обороны. Налет продолжался с 5.00 до 5.05 3 августа, т. е. еще до полного рассвета. Поэтому он оказался для немцев неожиданным и застал их врасплох. С 5.05 до 5.35 в ожидании полного рассвета была взята пауза. После этого орудия загрохотали вновь. Артиллерийская подготовка продолжалась три часа.

В финале артиллерийской подготовки немцев ждал еще один сюрприз. С 7.55 до 8.15 все орудия и минометы вели огонь нарастающими до предела темпами по передовым траншеям противника. Одновременно, также в 7.55, советская пехота начала сближение и выход к первым траншеям. По сигналам пехотных подразделений огонь орудий тяжелых калибров постепенно переносился («сползал») с переднего края в глубину немецкой обороны.

Артиллерийская подготовка шла в тесном взаимодействии с авиацией, которая группами по 20–30 самолетов непрерывно бомбила и обстреливала артиллерийско-пулеметным огнем боевые порядки противника, а также места расположения его резервов и артиллерии.

В 8.15 пехота и танки прорыва, следуя за огневым валом, ворвались в передовые траншеи. В 13.00, как только пехота 5-й гвардейской армии Воронежского фронта вклинилась в главную полосу обороны противника примерно на 2 км, были введены в сражение 1-я и 5-я гвардейская танковые армии. Их задачей было завершить прорыв тактической зоны вражеской обороны и основными силами развивать успех в оперативной глубине. Они вводились на узком 5-км фронте.

Командующий 1-й танковой армией Катуков позднее вспоминал: «В памяти моей запечатлелось грандиозное движение советских танков, вошедших в прорыв. Мы шли по правой стороне пятикилометрового коридора двумя корпусными колоннами. Слева таким же порядком двигалась 5-я гвардейская [танковая] армия. Нас прикрывала с воздуха эскадрилья «яков». Между колоннами сохранялась зрительная связь. За всю войну еще никто из нас не видел такого скопления советских танков на столь узком участке фронта».

В первый же день наступления войск Воронежского фронта оборона противника на направлении главного удара была прорвана на всю тактическую глубину. Пехота 5-й и 6-й гвардейских армий продвинулась на 8–12 км. Танковые соединения Воронежского фронта были вынуждены допрорывать вторую полосу обороны противника вместе с пехотой. Ввод в бой, а не в чистый прорыв существенно снизил темп наступления танковых армий относительно плана операции. 1-я танковая армия продвинулась всего на 12 км. Намного лучше в первый день наступления действовала 5-я гв. танковая армия. Развивая успех, ее танки прорвались на глубину 20–25 км.

По схожему сценарию развивались события в полосе наступления Степного фронта. Бывший командующий оборонявшимся в районе Белгорода XI корпусом Эрхард Раус вспоминал: «Ко времени, когда вся легкая артиллерия противника и значительная часть тяжелых минометов открыли огонь, действие приобрело вид шабаша ведьм. Сосредоточенный на небольшой площади, этот дьявольский огонь уничтожил все оборонительные сооружения и укрытия на позиции. Вырванные с корнем и разломанные стволы деревьев покрывали землю, делая для выживших немецких солдат любые передвижения невозможными. Они могли лишь, вжавшись в воронки от разрывов, искать спасения от адского огня и ждать неизбежной атаки советской пехоты».

Несмотря на сильный удар артиллерии, войскам Степного фронта под Белгородом не удалось добиться решительного успеха. Тогда было решено использовать мощный авиационный кулак, оказавшийся в руках Конева. Поначалу советские атаки поддерживались практически беспрерывными действиями групп штурмовиков численностью от 12 до 24 машин. В период с 8.30 до 8.45 последовал мощный удар по узлам сопротивления противника. В нем участвовало уже около 100 Пе-2 под прикрытием 80 истребителей. В итоге по участку немецкой обороны площадью 7 кв. км было сброшено 110 тонн бомб с плотностью 17 тонн на 1 километр. Однако в течение нескольких часов гремели ожесточенные траншейные бои. Последним ударом, сломившим немецкую оборону, стал ввод в бой в 15.00 1-го механизированного корпуса. В итоге войска 53-й армии и правого фланга 69-й армии Степного фронта продвинулись за день на 7–8 км.

Первый день операции был для Воронежского и Степного фронтов достаточно успешным. Однако с точки зрения выполнения заложенных в план операции задач достижения первого дня, мягко говоря, оставляли желать лучшего. Вместо 40 км по плану 5-я гв. танковая армия прошла всего 20 км. 1-я танковая армия прошла еще меньше.

Тем не менее утром 4 августа Ватутин был еще полон оптимизма и уже думал о маневренном сражении в глубине немецкой обороны. В докладе Сталину он писал, что танковые армии Ротмистрова и три танковых корпуса из состава 27-й армии выйдут в район Богодухова, «составляя компактный танковый кулак, которым можно действовать в любом направлении и который отрежет все пути к Харькову с запада». Также Ватутин наметил ввод 47-й армии «в направлении Боромля, Тростянец… для дальнейшего наступления между р. Пселл и р. Ворскла». Ватутин хотел еще раз проэксплуатировать идею наступления параллельно основной ударной группировке. Также он вновь нацеливал свои войска для наступления в промежутке между реками, чтобы избежать их форсирования с боем.

Тем временем в наступлении возникли первые заминки. Командир 6-го танкового корпуса 1-й танковой армии имел приказ Катукова не ввязываться в бой за Томаровку, а блокировать этот укрепленный узел противника, обойти его и двигаться дальше. Однако, несмотря на четко поставленный приказ, генерал Гетман с утра 4 августа начал наступление на сильно укрепленную Томаровку. Катукову пришлось вмешиваться лично, и только во второй половине дня 6-й танковый корпус обошел Томаровку с востока. В качестве заслона против нее была выделена мотострелковая бригада. В результате безуспешных боев за Томаровку 6-й танковый корпус потерял 21 танк и 300 человек убитыми и ранеными. Также в боях за Томаровку принял участие 5-й гв. танковый корпус, находившийся в оперативном подчинении 1-й танковой армии. Потеряв 23 танка во фронтальных атаках на Томаровку и не добившись успеха, он получил задачу обойти немецкий опорный пункт с востока. Но дело было не только и не столько в этом. Танковая армия потеряла время, из трех ее корпусов какое-то время наступал только один — 3-й механизированный корпус генерала Кривошеина. 31-й танковый корпус оставался в резерве, его время пока еще не пришло.

Также на второй день боев изменилась обстановка в воздухе. В ходе Второй мировой войны авиация была, пожалуй, самым маневренным средством борьбы. Самолеты можно было перебросить для парирования неожиданно возникшего кризиса гораздо быстрее танковых, а тем более пехотных дивизий. Поэтому уже на второй день советского наступления активность немецкой авиации в воздухе над Белгородом резко возросла. Немецкий VIII авиакорпус выполнил за день более 1100 самолето-вылетов. При этом подавляющее большинство этих вылетов было выполнено ударными самолетами, т. е. одномоторными и двухмоторными бомбардировщиками, а также штурмовиками. Это сразу же почувствовали наступающие советские части. В отчете о боевых действиях 3-го механизированного корпуса по операции «Румянцев» было сказано: «Во второй день боя противник подтянул бомбардировочную авиацию, которая массированными налетами почти что беспрерывно воздействовала по колоннам, идущим за наступающими частями, расстраивая их боевые порядки и нанося большой урон в живой силе и технике».