Однако Седжвик был слишком методичным командиром, чтобы избрать столь простой образ действий. Он начал с тщательной рекогносцировки местности, хотя со времен Фредериксбергской битвы на ней уже не осталось неизвестных мест. Затем, когда поле предстоящего боя было тщательно изучено, Седжвик решил прощупать оборону неприятеля и выслал на высоты Мари два пехотных полка. Те, однако, не смогли продвинуться далеко: за каменной стеной расположился один из Миссисипских полков Берксдейла, и после короткой перепалки оба федеральных полка вернулись в город в весьма плачевном состоянии. Тогда в дело вступила дивизия Брукса, развернутая на левом фланге корпуса на дороге на Боулинг Грин. Несмело продвинувшись вперед, она открыла огонь по флангу Эрли, а артиллерия дивизии Хови, стоящая несколько правее, поддержала ее вялой канонадой.
Лишь в 11 часов утра Седжвик поддался на уговоры Уоррена и решился предпринять штурм. Он пошел на этот шаг с видимой неохотой и позже, словно оправдываясь, написал в своем рапорте: «Не оставалось ничего другого, как взять укрепления прямой атакой».
Когда построенная в боевой порядок пехота северян двинулась вперед, артиллерия конфедератов принялась от души поливать их картечью. Эрли рассчитывал, что канонада задержит атакующих и даст ему возможность привести на позиции бригады Хейса и Уилкокса, но он ошибся. Огонь орудий не смог остановить федералов, и они стремительно приближались к злополучной каменной стене. Однако там, где был бессилен бог войны, в дело вступала царица полей. За стеной на старых позициях находились в тот момент два Миссисипских полка, и, подпустив противника на 400 ярдов, они открыли необычайно меткий беглый огонь. Головы обеих колонн были скошены, как сорная трава, и северяне в замешательстве отступили в укрытие. Там они наскоро перегруппировали свои расстроенные ряды и снова бросились вперед. На сей раз им почти удалось ворваться в траншеи противника, но беспощадные залпы миссисипцев проделали в их шеренгах такие огромные бреши, что им опять пришлось скатиться вниз по склону высот.
Казалось, что фредериксбергская история повторяется в несколько меньшем масштабе, и, быть может, у засевших за стеной конфедератов возникло чувство дежа вю. Седжвик тоже испытывал схожие ощущения и приказал своим штурмовым колоннам отходить. Но полковники Джонс и Спир придерживались прямо противоположной точки зрения и на свой страх и риск решили продолжить атаки. После краткого отдыха они лично повели людей на третий, заключительный штурм каменной стены. Их опять ожидал смертельный винтовочный огонь людей Берксдейла, и оба командира поплатились за свою храбрость и безрассудство: Спир был убит, а Джонс тяжело ранен. Но их солдаты, уже не видя ничего, кроме вражеских позиций, и ступая по трупам своих товарищей и командиров, только ускорили шаг и ворвались наконец в траншеи южан. Там произошла короткая рукопашная схватка, в которой миссисипцы штыками и прикладами пытались согнать противника с высоты. Но на каждого из них приходилось по крайней мере по три федерала, и численное превосходство быстро сделало свое дело. Южане отступили, и многострадальная каменная стена досталась наконец северянам.
Тогда, увидев, что третья атака штурмовых колонн увенчалась успехом, полковник Бернхем двинул вперед и свою боевую линию. Уже не встречая сопротивления, он поднялся на гребень высот Мари и водрузил там флаг Соединенных Штатов.
Эрли пришлось отдать распоряжение об общем отступлении. Все его части в полном порядке, без малейшего признака паники покинули окрестности Фредериксберга и двинулись на соединение с армией. К дивизии не примкнула лишь бригада Уилкокса, который решил занять фланговую позицию к северу от дороги на Чанселорсвилл и потревожить оттуда левое крыло федералов. С этой целью он направил свою бригаду к броду Бенкс и расположил ее в районе церкви Салем Черч.
Когда высоты Мари были наконец взяты северянами, часы на башне фредериксбергского собора еще не пробили и полудня. День только начинался, и у 6-го корпуса Потомакской армии было по крайней мере часов десять, чтобы благополучно соединиться с Хукером. Однако методичность Седжвика вновь оказала ему дурную услугу: он непременно хотел, чтобы впереди шла именно дивизия Брукса, и на ее переброску были затрачены еще три драгоценных часа. Лишь около трех пополудни 6-й корпус покинул окрестности полуразрушенного Фредериксберга и в соответствии с приказом Хукера выступил на Чанселорсвилл.
Меж тем Уилкокс, не пожелавший уходить, не хлопнув на прощание дверью, уже поджидал северян у Салем Черч. Позиция бригады была довольно сильной, и Уилкокс мог рассчитывать если не на отражение атаки всего 6-го корпуса, то хотя бы на то, чтобы продержаться до подхода подкреплений от генерала Ли.
Последний уже получил к тому времени сообщение об успехах Седжвика и принял эту новость как всегда невозмутимо, спрятав разочарование под маской своего обычного величавого спокойствия. Отложив нанесение решительного удара по деморализованному Хукеру, Ли переключил свое внимание на угрожавший ему с тыла 6-й корпус. Он верно рассудил, что после кровопролитного утреннего боя враг вряд ли осмелится контратаковать, и, ничем особенно не рискуя, направил навстречу Седжвику дивизию Мак-Лоуза.
Эта дивизия выступила в поход по частям, по мере того как входившие в нее бригады сворачивались в колонны и покидали боевые линии.
Пока они совершали свой марш по узким лесным дорогам, бригада Уилкокса уже успела вступить в бой. В районе 5 часов вечера стрелки Брукса наткнулись на застрельщиков конфедератов, и первые винтовочные выстрелы возвестили начало боя у Салем Черч. Вскоре на выручку стрелковой цепи подошли основные силы дивизии в боевом порядке, и Уилкокс приказал своим «егерям» отойти к опушке леса. Брукс немедленно бросил свою линию в атаку. На его правом фланге на южан обрушился полковник Браун с бригадой из Нью-Джерси, а к югу от него вперед пошла бригада генерала Барлетта. Дивизия Ньютона также получила приказ развернуться в боевую линию, но узость дороги сильно замедлила выполнение этого маневра.
Тем временем атака северян началась. Под прикрытием своей артиллерии, быстро заставившей орудия конфедератов замолчать (у тех почти закончились боеприпасы), пехота Брукса ударила по жиденькой боевой линии Уилкокса. Сперва его атака увенчалась успехом: бригада Барлетта, несколько расстроенная ружейными залпами южан, сумела перегруппироваться и ворвалась в здание школы, обороняемой всего несколькими полками. Беспорядочный и жестокий рукопашный бой закипел прямо в коридорах и классных комнатах среди покрытых пылью карт и глобусов. В считанные минуты заброшенная альма-матер превратилась в подобие могильного склепа. Наконец, уступив численному превосходству, южане отдали школу федералам, оставив им заодно своих убитых и раненых. Браун тем временем атаковал левофланговые полки Уилкокса и после короткой винтовочной дуэли загнал их в глубь лесной чащи.
Это был критический момент боя. Опрокинутая дивизией Брукса, почти вся бригада Уилкокса обратилась в бегство, и лишь один резервный полк пока еще сохранял порядок. Сам командир бригады также не терял хладнокровия. Он знал, что терпит поражение накануне победы, что подкрепление уже близко и что ему нужно продержаться еще несколько десятков минут, не более. Чтобы вырвать эти последние минуты у противника, Уилкокс бросил в контратаку свой единственный резервный полк. Храбро сражаясь, он сумел приостановить натиск врага, но северяне быстро разобрались, что имеют дело лишь с жалкой горсткой смельчаков, и вскоре уничтожили и рассеяли ее огнем. Однако и Уилкокс добился своего: пока противник возился с его резервным полком, а затем приводил свои линии в порядок, у Салем Черч появилась дивизия Мак-Лоуза.