На самом же деле все было не так плохо, как представлял себе Драчливый Джо, и если бы он мог взглянуть на ситуацию трезво, то увидел бы, что в отчаянном положении оказалась не Потомакская, а Северовирджинская армия. Правое крыло северян, при котором находился их главнокомандующий, по-прежнему обладало подавляющим численным перевесом, а генерал Рейнольдс, переправившийся со своим 17-тысячным 1-м корпусом у брода Юнайтед Стэйтс, компенсировал все потери 11-го корпуса с лихвой. К тому же большая часть собранных у Чанселорсвилла войск в отличие от армии генерала Ли еще не участвовала в деле и вполне сохраняла боеспособность.
Но Драчливый Джо уже не мог разглядеть этих очевидных преимуществ своего положения и предпочел держаться оборонительной тактики. Имея под рукой часть своей армии, он решил подождать, пока оставшаяся часть (левое крыло Седжвика) не придет и не спасет его от наступающего неприятеля, и направил командиру левого крыла соответствующий приказ.
Конфедераты между тем совсем не были деморализованы ранением Джексона Каменной Стены и по-прежнему горели желанием завершить начатое. Получив известие о нелепом ночном инциденте, генерал Ли, конечно, огорчился, но не потерял присутствия духа. Он мгновенно принял правильное решение, назначив на место раненого героя лихого кавалериста Джеба Стюарта. Этот генерал был единственным из военных вождей Северовирджинской армии (не считая, конечно, самого Ли), пользовавшимся слепой верой и любовью солдат-конфедератов. Его назначение на пост командира 2-го корпуса до известной степени сглаживало моральный шок от потери несокрушимого Джексона.
Лихому Джебу было не привыкать брать ответственность на себя. Едва на востоке забрезжило первое сияние зари, как войска 2-го корпуса развернулись в боевой порядок.
Момент для начала атаки был выбран Стюартом на редкость удачно. Хукер, еще раз изучивший за ночь карту, хотя к 3 мая для него там уже не оставалось белых пятен, почему-то решил, что позиции 3-го и 12-го корпусов слишком выдвинуты вперед и легко подвержены атакам. Выбрав для них новые оборонительные линии на Чанселорсвиллском плато, он приказал им очистить Хейзел Гроув и отступить на восток и северо-восток.
Когда пехота 2-го корпуса конфедератов бросилась вперед, это распоряжение Хукера как раз находилось в процессе выполнения: 3-й корпус уже почти покинул прежние позиции, оставив там для прикрытия бригаду Грэхема. Генерал Арчер, шедший со своей бригадой прямо на этот участок, отдал приказ атаковать.
Но он опоздал: его солдаты сами двинулись вперед, останавливаясь только для того, чтобы угостить янки свинцом. Бригада Грэхема была бы немедленно сметена этой яростной атакой, если бы ему на помощь не подоспела бригада Уорда. Вместе они сдержали первый натиск конфедератов и стали постепенно, шаг за шагом, подаваться назад к Чанселорсвиллско-му плато. Люди Арчера и остальные бригады первой линии азартно преследовали отступающего неприятеля, давая по нему один залп за другим, но федералам удалось сохранить порядок и благополучно развернуться на новых позициях. Когда же Арчер попытался штурмовать заодно и их, то был с потерями отброшен.
Тем не менее, овладев хребтом Хейзел Гроув, южане получили важное преимущество. С его вершины Чанселорсвиллское плато и столпившиеся на нем войска были видны как на ладони. Лучшую позицию для артиллерии было трудно себе представить, и Стюарт, очень довольный достигнутыми успехами, по достоинству оценил подарок, сделанный ему Хукером. Громко напевая на мотив популярной песенки собственные слова: «Старый Джо Хукер, убирайся из Глуши», он велел втащить на гребень Хейзел Гроув 30 орудий и открыть огонь.
Таким образом, вся линия высот к западу от Чанселорсвилла почти без боя перешла в руки конфедератов, и теперь им оставалось сделать последний бросок, чтобы оказаться в самом сердце и Глуши, и федеральных позиций. И они не стали тратить времени попусту: их артиллерия открыла убийственный огонь по новым позициям врага, а затем вперед бросилась пехота.
В центре и на левом фланге южане поначалу не встретили особых затруднений. Стремительной атакой они ворвались в засеки и даже смогли закрепиться в них на короткое время. Атака бригад Мак-Гауэна и Лейна не была столь удачной. Сперва они попали под анфиладный огонь справа, заставивший их остановиться. Сиклс, воспользовавшийся этой заминкой, бросил им во фланг бригаду Уорда, и конфедераты были оттеснены на исходные позиции.
Отбросив врага, атаковавшего их южнее дороги, северяне сконцентрировали усилия на тех, что рвались в засеки на севере. Стоявшим здесь федеральным частям пришлось несладко. Генерал Хейс был убит в ожесточенной схватке, а его бригада уже была готова обратиться в бегство. Но тут им на помощь со своей 2-й бригадой пришел от дома Чанселора генерал Френч. Удар, который он нанес на левом фланге конфедератов, вынудил их торопливо податься назад, и вся дивизия Хита отступила на первоначальные рубежи в некотором беспорядке и замешательстве. Однако у Стюарта еще оставалась свежая вторая линия, и он немедленно двинул ее в дело. К северу от дороги бригады Николса и Иверсона неожиданно вышли во фланг перешедшему в наступление Френчу и открыли по нему бешеный огонь. Несколько залпов привели эту бригаду северян в совершенное расстройство, и в свою очередь она поспешно ретировалась к линии засек.
Южнее дороги в бой вступили бригада Пакстона, объединившаяся с потрепанными частями Лейна и Мак-Гауэна, и бригада О'Нила, примкнувшего к Пендеру и Брокенброу. Однако первый дружный натиск этих бригад был отражен. Отступив, они перегруппировались, снова двинулись вперед и на этот раз добились успеха. О'Нилу, Пендеру и Брокенброу удалось ворваться в засеки и выгнать оттуда федералов. Но тут южанам снова не повезло. Шальная пуля ранила генерала О'Нила, яростного ирландца, возглавлявшего эту атаку. Лишившись командира, его бригада развалилась на две части, каждая из которых продолжала наступать самостоятельно.
Первая из них выша на правую оконечность линии Берри, находившуюся между Чанселорсвиллом и просекой Баллока, а вторая часть во главе с полковником Холлом повернула направо, перешла дорогу и начала взбираться по склонам холма Фейрвью, на вершине которого располагался левый фланг Берри. Эта федеральная дивизия стала чувствовать себя крайне неуютно под двойным натиском врага, а артиллерия конфедератов, открывшая огонь картечью с фронта, сделала положение северян еще менее комфортным. Но дивизию Берри спасла бригада Уорда. Сиклс, заметивший, что его правый фланг вот-вот рухнет, вовремя отправил ее к просеке Баллока, и после ожесточенной винтовочной дуэли наступавшая здесь часть бригады О'Нила была отброшена. Затем северяне переключились на полковника Холла, которому со своими людьми удалось ворваться в укрепления на вершине холма Фейрвью и после короткой рукопашной схватки овладеть ими.
Но тут северяне сконцентрировали на алабамцах Холла кинжальный винтовочный и артиллерийской огонь, а затем бросили в контратаку Нью-Джерсийскую бригаду Мотта. Даже после этого Холл не пожелал отступить, и его люди встретили бригаду Мотта штыками. Некоторое время им удавалось сдерживать натиск северян, но тех было слишком много, и, оставив на вершине холма Фейрвью добрую половину своих людей, Холл приказал отступить.