Застигнутая врасплох бригада Мэхоуна не могла удержаться на холме Ньютона. Федералы охватили ее с флангов, ударили с фронта и в сильном расстройстве сбросили с вершины. Но звуки пальбы, возвестившей начало битвы, привлекли внимание остальных конфедеративных частей. На помощь Мэхоуну уже спешил со своей дивизией Мак-Лоуз: три его бригады присоединились к уже вступившим в бой полкам Мэхоуна и снова двинулись на штурм высоты. Батареи конфедератов поддержали это наступление несколькими залпами, на которые незамедлительно ответили орудия Сайкса. Но бригада Симса из дивизии Мак-Лоуза, не обращая внимания на эту канонаду, стремительно пошла вверх по склону. Регулярная бригада северян, ожидавшая ее на гребне высоты, открыла винтовочный огонь, вынудив наступавших остановиться и начать ответную стрельбу. Завязалась весьма типичная для гражданской войны пехотная дуэль, в которую мало-помалу стали втягиваться новые части На помощь Сайксу с севера вскоре подошла дивизия Хамфриза, появление которой вынудило Мак-Лоуза в свою очередь ввести в бой свежие силы. Опасаясь флангового удара, он приказал Уоффорду развернуть свою бригаду под прямым углом к линии дивизии. Вскоре к ней присоединились также бригады Пэрри и Уилкокса, Бригада Кершоу была двинута в обход правого фланга дивизии Сайкса и очутилась как раз между его южной оконечностью и домом Элдрича, заставив северян также загнуть линию под прямым углом.
У дома Элдрича в тот момент тоже завязался бой. Две дивизии Слокама, которые, наконец, могли начать марш по дороге Пленк, наткнулись там на бригады Райта и Поузи из дивизии Андерсона. Оказавшись в меньшинстве, конфедераты сначала отошли, но Джексон вовремя заметил опасность и послал им на выручку часть дивизии Роудса. Бригада Ремсьюра из этой дивизии заменила бригаду Райта, которая при поддержке Долса двинулась в обход правого фланга северян. Третья бригада Роудса под командованием Коллквитта была брошена на крайний правый фланг линии конфедератов, где Мак-Лоуз вел бой с дивизиями Сайкса и Хамфриза. Остальная часть этой дивизии, т.е. еще три бригады, и шесть бригад из дивизии Э. П. Хилла оставались в резерве. Всего таким образом у Каменной Стены было под рукой 19 бригад, или 37 тысяч человек, не считая дивизии Клоттона, которая лишь недавно выступила в поход и была еще далеко.
К тому времени федералы гоже ввели в дело большое количество резервов. Коуч по приказу Хукера двинул на поддержку Сайксу дивизию Хенкока из своего корпуса, а Ховард, развернувший часть дивизий 11-го корпуса, мог в любой момент подкрепить Слокама. Всего у федералов было девять дивизий, в которых, считая артиллерию, набиралось 46 тысяч человек. Кроме того, с севера должен был вот-вот подойти с оставшейся у него дивизией Мид, который мог нанести во фланг корпуса Джексона сильнейший удар. Одним словом, федералы обладали существенным численным превосходством и занимали выгодную тактическую позицию, так что они могли не только обороняться, но и бить противника. Именно это и собирались сделать их командиры, когда из Чанселорсвилла неожиданно пришел приказ Хукера отходить на исходные рубежи.
Этот неожиданный приказ был воспринят всеми, кто его слышал, с явным неудовольствием. Командир правого крыла армии генерал Коуч сперва даже не захотел его выполнять и направил командующему адъютанта с просьбой позволить войскам остаться на обороняемых позициях. Но через полчаса адъютант вернулся с подтверждением прежнего распоряжения: Хукер настаивал на отступлении. Коучу не оставалось ничего другого, как подчиниться, хотя Уоррен, главный инженер армии, советовал ему пока оставить все как есть и лично направиться на встречу с Хукером.
Но этот совет уже запоздал: Слокам, сражавшийся с частями Андерсона и Роудса на дороге Пленк, успел начать отход, обнажая правый фланг дивизий Сайкса и Хенкока. Тогда Коуч также отдал распоряжение об отступлении. Когда около 2 часов дня оно было практически выполнено и на позициях оставались лишь два полка из дивизии Хенкока, прикрывавшие этот маневр, штабной офицер доставил еще один приказ, гласивший: «Удерживайте позиции до 5 часов». «Уже слишком поздно! – воскликнул раздосадованный Коуч и добавил, обращаясь к офицеру: – Скажите генералу, что он опоздал. Враг вышел на мой правый фланг и в тыл. Я отступаю».
Таким образом, федералы уступили неприятелю важные возвышенности и отошли за линию ручья Моттс-Ран, значительно менее выгодную с тактической точки зрения. Конфедераты, расположив свою артиллерию на захваченных ими высотах, могли теперь простреливать не только эту новую позицию врага, но и практически всю просеку вплоть до Чанселорсвилла. Однако приказ Хукера об отходе имел и более важные последствия. Отступив, северяне потеряли не только удобные для обороны высоты – они потеряли инициативу, и битва уже шла по сценарию Ли, а не Хукера. В сущности, с этого момента она была проиграна, хотя далеко не все в Потомакской армии об этом догадывались. Хукер, собрав своих генералов в Чанселорсвилле, приказал им укрепить новые позиции своих частей засеками и траншеями и приготовиться к отражению атаки. Эти новые позиции оказались очень неважными, дающими больше преимуществ наступающим, чем обороняющимся. Их выбирали в спешке и в темноте, а утром оказалось, что они со всех сторон окружены господствующими высотами и густыми зарослями, позволяющими вражеским частям готовить атаки под хорошим прикрытием. Особенно уязвимым было положение 11-го корпуса, который стоял на правом крыле армии у Даун-долз Таверн и у Уайлдернесс Черч. Его линия была развернута фронтом на юг, и правая оконечность фланга «болталась в воздухе», не имея никакой естественной опоры.
Некое подобие военного совета состоялось в тот день и в лагере противника. Генерал Ли, прибывший в расположение 2-го корпуса своей армии, устроил там совещание с Джексоном Каменная Стена. Усевшись на оставленных федералами ящиках из-под крекеров, генералы до глубокой ночи обсуждали, что им делать дальше. Первый удар принес южанам свои плоды, но проведение дальнейших фронтальных атак было бы рискованным, а может, и безнадежным делом. Как ни слабы были позиции противника, он по-прежнему обладал огромным численным перевесом, и слабые в количественном отношении части южан не имели ни единого шанса овладеть его укреплениями. Кроме того, Ли серьезно беспокоился за Эрли, который со своими 10 тысячами сдерживал мощную левофланговую группировку федералов. Если бы последним удалось прорвать его оборону, то вся Северовирджинская армия была бы перемолота между левым и правым флангами вражеских сил, как зерно между жерновами.
Решение неожиданно было найдено в районе полуночи, когда в ставку главнокомандующего вернулся лихой Джеб Стюарт. На этот раз он привез хорошие новости: правый фланг противника (11-й корпус) не был прикрыт и, следовательно, заманчиво подставлен под удар. Получив эту неожиданную информацию, в надежности которой они не сомневались, генералы уже не думали ни о чем другом, кроме как об использовании оплошности Хукера. В течение нескольких минут они еще продолжали разговор, пока не пришли к окончательному решению, как проводить операцию дальше. Затем Джексон, который валился с ног от усталости, пожелал своему командиру спокойной ночи и отправился вздремнуть хотя бы несколько часов.
Однако незадолго до рассвета этот неутомимый военный вождь снова был на ногах. Ли ожидал его у развернутой карты, чтобы обсудить все детали предстоящего маневра. Как и принятый ранее план, этот маневр был рискованным шагом, даже, пожалуй, еще более рискованным и опасным, но, как известно, удача сопутствует храбрым. По совету Джексона Ли решился на редкостный по своей дерзости ход: еще раз разделить свою армию перед лицом численно превосходящих сил противника. Теперь большую ее часть – около 30 тысяч человек – должен был возглавить Каменная Стена.