И в тот момент, когда германский штаб начало охватывать приятное и теплое предчувствие грядущей победы, вдруг пришло сообщение о том, что армия Ренненкампфа находится на марше, и сомневаться в этом не приходится. Но то расстояние, какое русские пока преодолели за день, внушало уверенность, что они опоздают. Действительно, когда находившийся ближе всех корпус Ренненкампфа разбил на эту ночь бивак, то от Бишофсбурга, где двумя днями ранее был разбит VI корпус Самсонова, его все еще отделяло 20 миль. Медленно двигаясь по вражеской территории, к концу следующего дня, 29 августа, Ренненкампф прошел всего лишь около 10 миль на запад, а не на юг, и он до сих пор не установил контакта с Самсоновым. Этого сделать ему так и не удалось.
Поражение «славного I корпуса», на чье сопротивление так надеялся Самсонов, вдобавок к разгрому VI корпуса на правом фланге предвещало конец. Оба фланга армии Самсонова были смяты; его кавалерия, единственное, в чем он превосходил немцев, развернутая слишком широко по флангам, не принесла в сражении пользы и в настоящий момент была изолирована. Подвоз боеприпасов и продовольствия, а также связь были в полном хаосе; сражаться продолжали только стойкие XV и XIII корпуса. В своем штабе в Нейденбурге он уже слышал грохот приближающихся орудий Франсуа. Самсонову казалось, что ему остается сделать только одно. Он телеграфировал Жилинскому, что выезжает на поле боя, а потом, приказав радиопередатчик и личные вещи отправить в Россию, оборвал связь с тылом. Причины принятого решения, как потом говорили, «он унес с собой в могилу», но их нетрудно понять. Армия, которая была ему поручена, рассыпалась у него в руках. Он снова стал кавалерийским офицером и командиром дивизии и сделал то, что хорошо знал. В сопровождении семерых членов своего штаба, на лошадях, взятых у казаков, он ускакал в бой, чтобы лично командовать под огнем, в седле, где он чувствовал себя как дома.
Двадцать восьмого августа на окраине Нейденбурга он попрощался с майором Ноксом. Самсонов сидел на земле, окруженный своим штабом, и изучал карту. Встав, генерал отвел Нокса в сторону и сообщил, что положение «критическое». Он сказал, что должность и долг призывают его быть с армией, но поскольку долг Нокса заключается в том, чтобы правильно информировать свое правительство о происходящем на русском фронте, то он советует ему возвратиться, «пока еще есть время». Самсонов сел на коня и, повернувшись в седле, промолвил с задумчивой улыбкой: «Сегодня удача на стороне врага, в другой раз она будет на нашей», — и ускакал.
Позднее генерал Мартос, руководивший боем в своем секторе с вершины холма и только что приказавший отвести в тыл колонну пленных немцев, очень удивился, когда увидел командующего армией верхом в сопровождении штаба. Узнав, что уходящая колонна — пленные, Самсонов подъехал к Мартосу, нагнулся с седла, обнял его и сказал печально: «Вы один спасете нас». Но он знал, как обстоят дела, и в ту же ночь отдал приказ об общем отступлении тому, что осталось теперь от 2-й армии.
Отступление, продолжавшееся в течение двух последующих дней, 29 и 30 августа, было мучительным и ужасным, сущей катастрофой. Два корпуса центра, которые сражались дольше и лучше всех, продвинувшись дальше всех, отступали последними, имея меньше всего шансов оторваться от противника, и почти полностью угодили в ловушку предпринятого немцами охвата. Корпус генерала Клюева все еще наступал, когда Белов прорвался справа от него через образовавшийся у Алленштейна разрыв и завершил обход русского центра. Корпуса Клюева и Мартоса безнадежно бились в лесах и среди болот, совершая бесплодные марши и напрасные маневры в попытках перегруппироваться и организовать оборону, в то время как германское кольцо смыкалось все плотнее. В болотистой местности с редкими насыпными дорогами немцы на каждом перекрестке установили кордоны с пулеметами. Последние четыре дня солдаты корпуса Мартоса просто голодали. За последние сорок часов своего существования корпус Клюева прошел сорок две мили вообще без всякого довольствия; лошади были непоены и некормлены.
Двадцать девятого августа генерал Мартос и несколько членов его штаба с охраной из пяти казаков пытались выбраться из леса. Повсюду стреляли. Генерал-майор Мачуговский, начальник штаба Мартоса, был убит пулеметной очередью. Постепенно погибли почти все, и кроме генерала в живых остались лишь один штабной офицер и два казака. Так как походный ранец был у адъютанта, а тот теперь пропал без вести, то Мартос с самого утра не ел, не пил и не курил. Одна из обессилевших лошадей пала, остальных вели в поводу. Наступила ночь. Путники пытались ориентироваться по звездам, но небо было скрыто облаками. Послышался шум приближавшихся солдат, и беглецы решили, что это свои, так как лошади тянули в том направлении. Неожиданно вспыхнул германский прожектор и стал шарить по лесу, нащупывая их. Мартос пытался ускакать, но лошадь под ним убили. Он упал, и его схватили германские солдаты.
Потом в «грязной маленькой гостинице» в Остероде, куда был доставлен пленный Мартос, появился Людендорф и, говоря на чистом русском языке, насмехался над побежденными и хвалился, что теперь русская граница открыта для вторжения. Затем вошел Гинденбург и, «увидя меня взволнованным, долго жал мне руки, прося успокоиться». На плохом русском языке с сильным акцентом он обещал вернуть Мартосу саблю и затем, поклонившись, сказал: «Я желаю вам более счастливых дней».
В лесах к северу от Нейденбурга остатки корпуса Мартоса были уничтожены или взяты в плен. Из XV корпуса только одному офицеру удалось вернуться в Россию. Милях в десяти к востоку от Нейденбурга остатки XIII корпуса генерала Клюева, которого тоже взяли в плен, заняли круговую оборону. С четырьмя орудиями, захваченными в лесу у немцев, они отбивались от врага всю ночь 30 августа, пока хватило снарядов и патронов и большинство не было убито.
Последнюю русскую атаку в тот день с большой отвагой провел генерал Сирелиус, занявший место смещенного командира I корпуса генерала Артамонова. Собрав разрозненные полки и части артиллерии, не участвовавшие в сражении, что составило в общей сложности примерно дивизию, он, предприняв наступление, прорвал позиции Франсуа и снова взял Нейденбург. Но было слишком поздно и город удержать не удалось. Это последнее действие 2-й русской армии было осуществлено без ведома и не по приказу генерала Самсонова, так как он был мертв.
Ночью 29 августа он, также как и Мартос, попал в окружение в другой части леса. Проехав через лес, примыкавший к железной дороге, он и его спутники достигли Вилленбурга, находившегося всего в семи милях от русской границы, но немцы прибыли туда раньше них. Генерал и его группа дождались в лесу наступления темноты и затем, поскольку верхом по вязкому болоту было не проехать, двинулись пешком. Спички кончились, и поэтому они не могли сверить свой путь по компасу. Брели в темноте, взявшись за руки, чтобы не потеряться. Самсонов, страдавший от астмы, заметно слабел. Он все повторял Постовскому, своему начальнику штаба: «Царь доверился мне. Как я встречусь с ним после такого разгрома?» Пройдя шесть миль, отряд остановился на отдых. В час ночи Самсонов отполз под сосны, где было темнее. В тишине ночи щелкнул выстрел. Постовский сразу же понял, что это значило. Еще раньше Самсонов сказал ему о своем намерении совершить самоубийство, но Постовский думал, что отговорил его. Теперь он был уверен, что генерал мертв. Офицеры штаба пытались найти тело в темноте, но не смогли. Они решили дождаться утра, но, когда небо стало светлеть, услышали приближавшихся немцев. Русским пришлось отказаться от поисков, они направились к границе, где встретили казачий патруль и в конце концов оказались в безопасности. Тело Самсонова было найдено немцами и похоронено в Вилленбурге, откуда в 1916 году благодаря помощи Красного Креста вдова Самсонова перевезла его для похорон в России.