Утром 19 августа польские войска выбили слабые части Мозырской группы из Брест-Литовска. Перегруппировать войска XVI армии не удавалось, так как противник опережал советские части при выходе на любые пригодные для обороны рубежи.
20 августа польские войска вышли на линию Брест-Литовск — Высоко-Литовск — реки Нарев и Западный Буг, охватив с юга основные силы Западного фронта. К тому же всё это время польское командование имело возможность перехватывать все радиограммы советского командования, что, естественно, облегчало действия польских армий.
В этих условиях 17 августа командование Западного фронта отдало приказ о перегруппировке войск к востоку (слово «отступление» так и не было произнесено), что фактически означало отступление советских войск с целью выхода из-под удара. Хотя ещё 18 августа Главком не терял надежды всё-таки взять Варшаву и создать у Брест-Литовска тыловую группу из 48-й и 55-й стрелковых дивизий, но расстройство тыла и железнодорожного сообщения рушило все эти планы. Фронту требовалось всего 67 паровозов (37 на линии Орша — Барановичи и 30 на линии Полоцк — Лида), но, увы, их не оказалось.
19 августа 1-я польская армия вышла на линию реки Ливец от Руда до устья, имея направление на город Остров. Но, не доходя до Острова и передав 8-ю пехотную дивизию в распоряжение 4-й армии, она круто свернула на север в направлении Остроленки. В это время 5-я польская армия, стремясь окончательно отрезать путь отхода советской IV армии, заняла 18-й пехотной дивизией Цеханув.
20 августа 5-я и 1-я польские армии нанесли удары с юга на север во фланг нашим IV, XV и III армиям в направлении Млава — Остроленка — Ломжа. Польские войска стремились как можно скорее сократить промежуток между реками Бобр и Нарев и границей Восточной Пруссии с целью покончить не только с IV армией, но и отрезать путь отхода частям XV и III армий, которые в это время находились на линии Остроленка — станция Малкин.
К 22 августа части советской XV армии сосредоточились в районе Ломжи, но из-за нажимавшего с юга противника были вынуждены свернуть на Граево и продолжать отход через Август и Гродно.
III армия под ударами с юга отходила от устья Бобра в полосе между Осовцом и Белостоком. К вечеру 20 августа части XVI армии, ведя упорные бои и отбиваясь от непрерывных атак противника, не удержали линию реки Нурец в районе Бельска и продолжили отход на Белосток.
Поляки напрягали все усилия, чтобы выиграть как можно больше на отходе красных. Наступление поляков с 22 по 24 августа стало наиболее интенсивным, после чего оно резко оборвалось, и наступило временное затишье.
Части 2-й польской армии, преследуя отходящие дивизии XVI армии, к вечеру 22 августа вышли к Нареву и заняли район Страбля (1-я дивизия легионеров) — Заблудово (4-я кавалерийская дивизия) — Сураж (21-я пехотная дивизия). Польская 19-я пехотная дивизия (бывшая Литовско-Белорусская), выгрузившись 21 августа на станции Плятерово, к вечеру того же дня одной бригадой сосредоточилась в районе Семятичи, а другой к 22 августа прибыла в Бельск.
Ведя концентрическое наступление на Белосток, 2-я польская армия к утру 23 августа своей 1-й дивизией легионеров при поддержке 4-й кавалерийской бригады и частей 21-й пехотной дивизии после ожесточённого уличного боя захватила город Белосток.
24 августа части 4-й польской армии совместно с частями 2-й польской армии ударили от Едвабно и Тыкоцин и отбросили задержавшиеся дивизии III армии в северо-восточном направлении, захватив район Колыю.
К 25 августа дивизии красных XV, III и XVI армий вышли из-под непосредственных ударов поляков и стали устраиваться на новых позициях по линии Лииск — Кузница — Свислочь — Беловеж — 15 км восточнее Брест-Литовска. Материальные потери наших войск были огромны. Из состава XV армии только 1-я стрелковая дивизия отошла в порядке, ничего не потеряв. 11-я стрелковая дивизия потеряла часть артиллерии, части 4-й и 33-й стрелковых дивизий перешли границу Восточной Пруссии, где были интернированы.
Самые большие потери были в XVI армии. На протяжении всей Варшавской операции она была связующим звеном между ударной группой армий и левым флангом Западного фронта и после отхода Мозырской группы больше всего пострадала от наступления группы Пилсудского. Из пятнадцати бригад XVI армии в организационном и боевом отношении ей удалось сохранить по одной бригаде от 8-й и 17-й стрелковых дивизий и две бригады из 27-й стрелковой дивизии. Большая часть артиллерии была потеряна. Под Мгленчицами под натиском польской 4-й кавалерийской бригады и 15-го уланского полка была полностью уничтожена ударная артиллерийская группа XVI армии. В этом бою артиллерийская группа потеряла убитыми и пленными 49 командиров, 1613 красноармейцев, 37 орудий и 1441 лошадь.
Некоторые дивизии за время отступления почти полностью лишились своей артиллерии. Так, например, в 21-й стрелковой дивизии эти потери составили 85 %, а в 8-й стрелковой дивизии — все 100 %. За полтора месяца отступления Западный фронт потерял 35 % всего состава артиллерии, которую он имел в начала польского наступления.
Теперь войска IV армии должны были прорываться с боями через «барьеры» 1-й, 4-й и 5-й польских армий, выходивших к границе Восточной Пруссии. К 22 августа войска IV армии подошли к Млаве, в район которой уже вошла 18-я польская пехотная дивизия. Надо было прорываться, так как на фланги и Тыл нажимали польские отряды Нижней Вислы и Поморья. После нескольких часов боя прорыв удался.
Далее IV армия двинулась вдоль прусской границы на Хоржеле — Мышинец — Кольно — Граево. Но на этой приграничной дороге скопилось огромное количество тыловых учреждений, что сильно затрудняло движение частей IV армии. Начальник штаба 12-й стрелковой дивизии докладывал начальнику полевого штаба реввоенсовета: «Начиная с местечка Хоржеле, на единственную дорогу IV армии стали выходить с юга обозы XV и III армий, которая и оказалась забитой учреждениями трёх армий на десятки километров, что повело к постоянным задержкам и медлительности движения. Прикрытие этой массы обозов с юга возложено было на 18-ю стрелковую дивизию, но ввиду неосведомлённости частей и самих обозов, при появлении на флангах даже своих частей вело к панике и уходу отступающих войск и обозов за границу. При движении от Мышинца к Кольно никакого прикрытия дороги с юга не было, хотя это было возложено на 18-ю стрелковую дивизию, чем и воспользовался противник, захвативший гор. Ломжу.
Отсутствие прикрытия и оставление целыми мостовых сооружений на железной дороге и шоссе Ломжа — Кольно позволили противнику провести к Кольно бронепоезд с пехотой и обстрелять ружейным и артиллерийским огнём те многочисленные обозы, которые бесконечно тянулись ещё далеко к западу от Кольно. Поднявшаяся паника в уставших и издёрганных частях была настолько велика, что большая часть обозов и артиллерии была оставлена тут же на шоссе, другая же часть повернула на север и перешла границу Восточной Пруссии.
О судьбе отступающих дивизий IV армии в это время до штаба Западного фронта доходили очень смутные сведения. Так, например, командующий Западным фронтом 25 августа получил радиотелеграмму следующего содержания: „С громадными трудами и упорными боями 25 августа подошёл к Кольно. Вся пехота…“ радио на этом прерывалось [150] . Командующий Западным фронтом полагал, что если части корпуса пробьются ещё километров на 20, примерно до Щучица, то будут спасены.