Неожиданным наступление стало не только для штаба группы армий «Юг», но и для немецких солдат в передовых окопах. Артиллерийская подготовка открылась мощным пятиминутным налетом всех огневых средств по переднему краю немецкой обороны. Налет продолжался с 5.00 до 5.05 3 августа, т. е. еще до полного рассвета. Поэтому он оказался для немцев неожиданным и застал их врасплох. С 5.05 до 5.35 в ожидании полного рассвета была взята пауза. После этого орудия загрохотали вновь. Артиллерийская подготовка продолжалась три часа.
В финале артиллерийской подготовки немцев ждал еще один сюрприз. С 7.55 до 8.15 все орудия и минометы вели огонь нарастающими до предела темпами по передовым траншеям противника. Одновременно, также в 7.55, советская пехота начала сближение и выход к первым траншеям. По сигналам пехотных подразделений огонь орудий тяжелых калибров постепенно переносился («сползал») с переднего края в глубину немецкой обороны.
Артиллерийская подготовка шла в тесном взаимодействии с авиацией, которая группами по 20–30 самолетов непрерывно бомбила и обстреливала артиллерийско-пулеметным огнем боевые порядки противника, а также места расположения его резервов и артиллерии.
В 8.15 пехота и танки прорыва, следуя за огневым валом, ворвались в передовые траншеи. В 13.00, как только пехота 5-й гвардейской армии Воронежского фронта вклинилась в главную полосу обороны противника примерно на 2 км, были введены в сражение 1-я и 5-я гвардейская танковые армии. Их задачей было завершить прорыв тактической зоны вражеской обороны и основными силами развивать успех в оперативной глубине. Они вводились на узком 5-км фронте.
Командующий 1-й танковой армией Катуков позднее вспоминал: «В памяти моей запечатлелось грандиозное движение советских танков, вошедших в прорыв. Мы шли по правой стороне пятикилометрового коридора двумя корпусными колоннами. Слева таким же порядком двигалась 5-я гвардейская [танковая] армия. Нас прикрывала с воздуха эскадрилья «яков». Между колоннами сохранялась зрительная связь. За всю войну еще никто из нас не видел такого скопления советских танков на столь узком участке фронта».
В первый же день наступления войск Воронежского фронта оборона противника на направлении главного удара была прорвана на всю тактическую глубину. Пехота 5-й и 6-й гвардейских армий продвинулась на 8-12 км. Танковые соединения Воронежского фронта были вынуждены допрорывать вторую полосу обороны противника вместе с пехотой. Ввод в бой, а не в чистый прорыв существенно снизил темп наступления танковых армий относительно плана операции. 1-я танковая армия продвинулась всего на 12 км. Намного лучше в первый день наступления действовала 5-я гв. танковая армия. Развивая успех, ее танки прорвались на глубину 20–25 км.
По схожему сценарию развивались события в полосе наступления Степного фронта. Бывший командующий оборонявшимся в районе Белгорода XI корпусом Эрхард Раус вспоминал: «Ко времени, когда вся легкая артиллерия противника и значительная часть тяжелых минометов открыли огонь, действие приобрело вид шабаша ведьм. Сосредоточенный на небольшой площади, этот дьявольский огонь уничтожил все оборонительные сооружения и укрытия на позиции. Вырванные с корнем и разломанные стволы деревьев покрывали землю, делая для выживших немецких солдат любые передвижения невозможными. Они могли лишь, вжавшись в воронки от разрывов, искать спасения от адского огня и ждать неизбежной атаки советской пехоты».
Несмотря на сильный удар артиллерии, войскам Степного фронта под Белгородом не удалось добиться решительного успеха. Тогда было решено использовать мощный авиационный кулак, оказавшийся в руках Конева. Поначалу советские атаки поддерживались практически беспрерывными действиями групп штурмовиков численностью от 12 до 24 машин. В период с 8.30 до 8.45 последовал мощный удар по узлам сопротивления противника. В нем участвовало уже около 100 Пе-2 под прикрытием 80 истребителей. В итоге по участку немецкой обороны площадью 7 кв. км было сброшено 110 тонн бомб с плотностью 17 тонн на 1 километр. Однако в течение нескольких часов гремели ожесточенные траншейные бои. Последним ударом, сломившим немецкую оборону, стал ввод в бой в 15.00 1-го механизированного корпуса. В итоге войска 53-й армии и правого фланга 69-й армии Степного фронта продвинулись за день на 7–8 км.
Первый день операции был для Воронежского и Степного фронтов достаточно успешным. Однако с точки зрения выполнения заложенных в план операции задач достижения первого дня, мягко говоря, оставляли желать лучшего. Вместо 40 км по плану 5-я гв. танковая армия прошла всего 20 км. 1-я танковая армия прошла еще меньше.
Тем не менее утром 4 августа Ватутин был еще полон оптимизма и уже думал о маневренном сражении в глубине немецкой обороны. В докладе Сталину он писал, что танковые армии Ротмистрова и три танковых корпуса из состава 27-й армии выйдут в район Богодухова, «составляя компактный танковый кулак, которым можно действовать в любом направлении и который отрежет все пути к Харькову с запада». Также Ватутин наметил ввод 47-й армии «в направлении Боромля, Тростянец… для дальнейшего наступления между р. Пселл и р. Ворскла». Ватутин хотел еще раз проэксплуатировать идею наступления параллельно основной ударной группировке. Также он вновь нацеливал свои войска для наступления в промежутке между реками, чтобы избежать их форсирования с боем.
Тем временем в наступлении возникли первые заминки. Командир 6-го танкового корпуса 1-й танковой армии имел приказ Катукова не ввязываться в бой за Томаровку, а блокировать этот укрепленный узел противника, обойти его и двигаться дальше. Однако, несмотря на четко поставленный приказ, генерал Гетман с утра 4 августа начал наступление на сильно укрепленную Томаровку. Катукову пришлось вмешиваться лично, и только во второй половине дня 6-й танковый корпус обошел Томаровку с востока. В качестве заслона против нее была выделена мотострелковая бригада. В результате безуспешных боев за Томаровку 6-й танковый корпус потерял 21 танк и 300 человек убитыми и ранеными. Также в боях за Томаровку принял участие 5-й гв. танковый корпус, находившийся в оперативном подчинении 1-й танковой армии. Потеряв 23 танка во фронтальных атаках на Томаровку и не добившись успеха, он получил задачу обойти немецкий опорный пункт с востока. Но дело было не только и не столько в этом. Танковая армия потеряла время, из трех ее корпусов какое-то время наступал только один – 3-й механизированный корпус генерала Кривошеина. 31-й танковый корпус оставался в резерве, его время пока еще не пришло.
Также на второй день боев изменилась обстановка в воздухе. В ходе Второй мировой войны авиация была, пожалуй, самым маневренным средством борьбы. Самолеты можно было перебросить для парирования неожиданно возникшего кризиса гораздо быстрее танковых, а тем более пехотных дивизий. Поэтому уже на второй день советского наступления активность немецкой авиации в воздухе над Белгородом резко возросла. Немецкий VIII авиакорпус выполнил за день более 1100 самолето-вылетов. При этом подавляющее большинство этих вылетов было выполнено ударными самолетами, т. е. одномоторными и двухмоторными бомбардировщиками, а также штурмовиками. Это сразу же почувствовали наступающие советские части. В отчете о боевых действиях 3-го механизированного корпуса по операции «Румянцев» было сказано: «Во второй день боя противник подтянул бомбардировочную авиацию, которая массированными налетами почти что беспрерывно воздействовала по колоннам, идущим за наступающими частями, расстраивая их боевые порядки и нанося большой урон в живой силе и технике».