3 и 5 мая Граф в ходе вылетов в район Керчи увеличил свой счет еще на две победы. Ранним утром 8 мая немецкий 30-й армейский корпус начал наступление на позиции советских войск, оборонявших Керченский полуостров. Части ВВС Крымского фронта получили приказ наносить штурмовые удары по врагу. Так, с аэродрома около поселка Марфовка, в 30 км юго-западнее Керчи, поднялись И153 из 214-го ШАП, которых сопровождали восемь И16 из 36-го ИАП, а также Як1 из 45-го ИАП и несколько МиГ1.

Граф писал в своем дневнике: «Тем туманным утром в воздухе над линией фронта находились подразделения сразу из трех эскадр. Мы вынудили пилотов бомбардировщиков избавиться от своих бомб. Моя эскадрилья держалась на малой высоте и подвергалась сильному огню с земли, в то время как над нашими головами вели бой истребители.

Когда мы атаковали бомбардировщики, один русский истребитель внезапно зашел мне в хвост, но Штейнбатц подстрелил его в последний момент. Вскоре после этого мне удалось «положить в мешок» МиГ1. В этот момент мы летели на высоте 1500 метров довольно далеко в русском тылу. В 10.58 я сбил своего второго противника, в 11.02 третий враг пошел вниз, а в 11.07 – четвертый».

Затем днем на его счету были два И16, а вечером – еще один МиГ1. 9 мая Граф в бою в районе Феодосии сбил пару И153, а 11 мая над Керченским полуостровом – два И16.

Сбив утром 12 мая очередной советский самолет, он достиг планки в 90 побед. В тот же день 9./JG52 получила приказ перебазироваться на аэродром около поселка Рогань, расположенного в паре километров от юго-восточной окраины Харькова.

Надо заметить, что именно в ходе боев в Крыму в мае 42го года эскадрилья получила ставшее затем знаменитым прозвище «Карайя». Произошло это благодаря обер-фельдфебелю Эрнсту Зюссу, который из отпуска домой привез проигрыватель. Однако все грампластинки, которые он захватил с собой, оказались повреждены. Поэтому единственной вещью, которая день и ночь звучала в расположении эскадрильи, оказалась советская пластинка с записью песни крымских татар, найденная Зюссом в Крыму.

В итоге летчик даже не заметил, как стал в воздухе громко напевать запомнившуюся ему главную тему песни, которая интерпретировалась им как «Карайя, Карайя». А уже вскоре фраза «Achtung allt Karayanner» стала общим радиопозывным всей эскадрильи.

Утром 13 мая звено «Мессершмиттов» во главе с Графом вылетело на «свободную хоту» в район восточнее Харькова. Около 11.30 немцы встретили и атаковали группу приблизительно из тридцати советских истребителей. Командир 9./JG52 тогда сбил четыре И16 из 929-го ИАП. Хотя последний и назывался «истребительным», он в основном использовался для нанесения штурмовых ударов. В том бою «Мессершмитт» Графа получил попадание в двигатель, но, оставляя за собой дымный шлейф, все же смог вернуться на аэродром Рогань.

Во второй половине того же дня жертвами Графа в районе поселка Берека, приблизительно в 80 км южнее Харькова, стали два ЛаГГ3 из 521-го ИАП.

На следующий день ожесточенные бои в районе Харькова продолжились. Советская авиация, несмотря на большие потери, всеми силами стремилась поддержать наступление частей Юго Западного фронта. В первой половине 14 мая Граф записал на счет еще три победы. Затем около 16.45 его эскадрилья в районе г. Старый Салтов вступила в бой с группой МиГ3. Согласно данным Люфтваффе, командир 9./JG52 сбил тогда сразу пять самолетов.

Граф стал седьмым по счету немецким пилотом, преодолевшим рубеж в сто побед. По этому поводу рейхсмаршал Геринг прислал ему поздравительную телеграмму. 15 июля о его достижении говори лось в информационной сводке Главного командования Вермахта. В тот же день сам Граф одержал еще одну победу.

В ожесточенных боях Люфтваффе завоевали воздушное превосходство в районе Харькова. И уже 17 мая немецкие 1-я танковая армия и 17-я полевая армия нанесли контрудар по южному флангу советских войск в районе Славянска. Одновременно в районе Волчанска, северо-восточнее Харькова, перешла в наступление 6-я армия. Это был классический охватывающий удар, завершившийся полным окружением советских армий, еще недавно наступавших на Харьков.

В тот же день Граф получил сообщение о том, что его наградили Дубовыми Листьями к Рыцарскому Кресту (Nr.93). 19 мая эскадрилья перебазировалась на полевой аэродром около села Константиновка, в 20 км южнее Харькова. И в тот же день стало известно, что ее командира удостоили уже и Мечей к Рыцарскому Кресту (Nr.11).

9./JG52 провела в Константиновке всего сутки и уже 20 мая перелетела на аэродром около поселка Барвенково, в 37 км юго западнее г. Изюм. Вечером того же дня Граф в ходе вылета «на свободную охоту» над линией фронта сбил Пе2, а на следующий день в бою северо-западнее Изюма его жертвой стал МиГ3.

23 мая командир III./JG52 майор Хубертус фон Бонин приказал Графу вылететь обратно в Рогань. Туда в качестве пополнения прибыли семь молодых пилотов. Они только что окончили авиашколу и не имели никакого боевого опыта. Опытному асу пред стояло ввести их «в курс дела», совершив с ними несколько ознакомительных вылетов.

Уже вечером того же дня новички впервые встретились с против ником, когда восточнее Харькова их попытались атаковать несколько И16. Граф преподал им наглядный урок, быстро зайдя в хвост врагу и сбив одну «крысу».

На следующий день он выехал в ставку фюрера «Вольфшанце» в Восточной Пруссии. 25 мая Гитлер лично вручил Графу сразу две награды – Дубовые Листья и Мечи к Рыцарскому Кресту. После этого летчик получил отпуск и обратно в эскадрилью вернулся лишь 29 июня, получив уже звание обер-лейтенанта.

Тогда 9./JG52 базировалась уже на аэродроме около городка Белый Колодезь, северо-восточнее Харькова. 30 июня Граф поблизости от аэродрома на высоте около 4000 метров перехватил советский самолет-разведчик. Открыв огонь с дистанции 50 метров, он сбил его. Позднее в тот же день его жертвами стали еще два советских самолета, после чего общий счет Графа превысил планку в 110 побед.

В июле его эскадрилью отозвали с фронта. Она первой в JG52 была перевооружена Bf109G2. Летчикам и техникам потребовалось некоторое время, чтобы освоить новую модификацию «Мессершмитта».

2 августа 9./JG52 прибыла на полевой аэродром около станции Егорлыкская в Ростовской обл. Уже следующим вечером Граф продолжил список своих побед, сбив Ил2. 4 августа его эскадрилья перелетела на аэродром Белая Глина, уже в Краснодарском крае. Утром 5 августа жертвой Графа стал ЛаГГ3.

12 августа 9./JG52 снова поменяла место базирования, переместившись на полевой аэродром около станицы Пластуновская, в 36 км северо-восточнее Краснодара. Уже во второй половине того же дня Граф сбил Як1.

В ходе боевых вылетов над Кубанью число его побед стало быстро расти. В период 13–18 августа на его счету было тринадцать самолетов, в том числе 14 августа в двух вылетах – два И16, два Як1 и «Харрикейн», а 17 августа тоже в двух вылетах – сразу три И153.