Но это продолжалось недолго.
27 января 1937 года Генрих Григорьевич Ягода в возрасте 45 лет был уволен в запас без права ношения формы НКВД. В звании, которое он изобрел для себя, ему довелось быть 1 год, 1 месяц и 1 день. С этого момента Нарком связи СССР Ягода появлялся на службе в гимнастерке и портупее, однако без знаков отличия — без синих петлиц, лаврового венка, меча и звезд. Теперь к нему обращались, называя только должность: товарищ Народный комиссар.
28 марта 1937 года Народный комиссар связи СССР Ягода был арестован в своем рабочем кабинете «ввиду обнаруженных должностных преступлений уголовного характера». После более тщательного разбирательства следствие выявило связи Железного Генриха с врагами народа Троцким, Зиновьевым, Каменевым, Бухариным, Рыковым, Смирновым, а так же с разведками Германии, Японии и Польши. Ему были предъявлены обвинения в организации заговора, подготовке государственного переворота, участии в покушении на Ленина в 1918 году, подготовке покушения на товарищей Сталина и Ежова, шпионаже в пользу сразу трех государств.
2 марта 1938 года Ягода предстал перед самым справедливым в мире советским правосудием. Вместе с ним судили еще 20 террористов, вредителей, шпионов, отравителей, диверсантов, в том числе троих бывших членов Политбюро — бывшего главу Коммунистического Интернационала Бухарина, бывшего Председателя Совета Народных Комиссаров Рыкова, бывшего секретаря Центрального Комитета Коммунистической партии Крестинского, против которых столько лет боролся Ягода. Теперь выяснилось, что и Ягода, и те, против кого он боролся, были членами одной шайки убийц, врагов и заговорщиков, которые преднамеренно и целенаправленно готовили свержение власти народа.
13 марта 1938 года был вынесен приговор: 18-ти подсудимым — высшая мера уголовного наказания, Плетневу — 25 лет, Раковскому — 20, Бессонову — 15.
Самая человеколюбивая в мире власть рабочих и крестьян исходя из соображений гуманности представила Ягоде, как и всем остальным приговоренным к высшей мере, возможность просить о помиловании. Все 18 написали прошения, но рабоче-крестьянская власть их тут же отклонила.
Приговор в отношении Ягоды Генриха Григорьевича был приведен в исполнение в подвале центрального здания НКВД на Лубянке в ночь на 15 марта в 0 часов 40 минут.
Остальные 17 преступников были расстреляны 15 марта на спецобъекте Коммунарка, прямо за забором поместья, в котором раньше жил Ягода.
Трое врагов народа, получивших на этом процессе тюремные сроки, после вынесения приговора отсидели только по три с половиной года. Их расстреляли по решению Особого Совещания при НКВД (ОСО) 11 сентября 1941 года в Орловском централе.
Старший майор Государственной безопасности Буланов Павел Петрович после смещения Ягоды оставался и при Ежове на должности секретаря НКВД и секретаря Особого Совещания при НКВД (ОСО).
28 ноября 1936 года за выдающиеся достижения в деле обеспечения безопасности нашей великой Родины он был награжден высшей государственной наградой СССР — орденом Ленина.
5 декабря 1936 года делегат Чрезвычайного восьмого съезда Советов кавалер высшей государственной награды старший майор Государственной безопасности Буланов вместе со всеми остальными делегатами одобрил и принял новую Сталинскую Конституцию в качестве основного закона страны. С того момента 5 декабря каждого года было объявлено нерабочим днем, всесоюзным общенародным праздником — Днем Сталинской Конституции. Первый раз его праздновали в 1937 году.
29 марта 1937 года, на следующий день после ареста Ягоды, Буланов был арестован на выходе из ресторана в центральном здании НКВД на Лубянке. Он был обвинен в подготовке государственного переворота и других преступлениях. Буланова судили в группе Ягоды. Вместе с Ягодой 13 марта 1938 года Буланов был приговорен к высшей мере уголовного наказания с конфискацией имущества, лишением наград и звания старшего майора Государственной безопасности. Расстрелян 15 марта на Коммунарке.
18 декабря 1937 года почетный чекист, кавалер ордена Ленина, высшей государственной награды СССР, начальник Дальстроя НКВД товарищ Берзин Эдуард Петрович в персональном красном вагоне курьерского поезда «Владивосток — Москва» прибыл в Москву, столицу нашей великой родины и всего мирового пролетариата, для участия в заседании Советского Правительства по вопросу об увеличении добычи золота на Колыме. Он был арестован на первой платформе Ярославского (в то время — Северного) вокзала. 1 августа 1938 года Военной коллегией Верховного суда СССР за измену Родине, подрыв государственной промышленности и организаторскую деятельность, направленную на свержение существующего строя, был приговорен к высшей мере уголовного наказания с конфискацией имущества, с лишением воинского звания и наград. Его расстреляли через 9 минут после вынесения приговора.
Всего во время правления Ягоды в НКВД был 41 комиссар Государственной безопасности.
Генеральный комиссар ГБ (приравнен к Маршалам Советского Союза) — 1.
Арестован в 1937 году, расстрелян в 1938.
Комиссары ГБ 1-го ранга (приравнены к командармам 1-го ранга) — 7.
В 1937 году арестованы: Агранов, Балицкий, Дерибас, Благонравов, Прокофьев.
В 1938 году арестованы: Заковский, Реденс.
Из них расстреляны в 1937 году — 2, в 1938 году — 4, в 1940–1.
Комиссары ГБ 2-го ранга (приравнены к командармам 2-го ранга) — 13.
В 1937 году арестованы: Гай, Кацнельсон, Миронов, Молчанов, Паукер, Пиляр, Шанин.
В 1938 году арестованы: Залин, Карлсон, Леплевский. Слуцкий убит первым заместителем Наркома внутренних дел командармом 1 — го ранга Фриновским в кабинете Фриновского. (Сам Фриновский расстрелян 8 февраля 1940 года во второй волне очищения НКВД).
В 1939 году арестован Вельский.
Из них расстреляны в 1937 году — 4, в 1938 году — 5, в 1940 году — 1, в 1941 году — 1.
В те годы не был смещен и уничтожен только один комиссар ГБ 2-го ранга — Гоглидзе.
Комиссары ГБ 3-го ранга (приравнены к армейским комкорам) — 20.
В 1936 году арестован Сосновский.
В 1937 году арестованы: Бак, Бокий, Западный, Зирнис, Пузицкий, Раппопорт, Решетов, Рудь, Стырне.
Покончили самоубийством: Мазо, Погребинский.
В 1938 году арестованы: Берман, Быстрых, Дагин, Дейч, Николаев-Журид.
Покончил самоубийством Каруцкий.
Бежал в Маньчжурию Люшков, он был убит японцами в 1945 году.
Из арестованных расстреляно в 1937 году — 7, в 1938 году — 4, в 1939 году — 3, в 1940 году — 1.
Не был смещен и уничтожен в те годы только один комиссар ГБ 3-го ранга Сумбатов-Топуридзе. Причина заключалась в том, что Сталин, сняв Ягоду с поста главы НКВД и поставив на этот пост Ежова, уже присматривал следующего кандидата. Один из вариантов — Берия и возглавляемая им кавказская группировка. Комиссар ГБ 2-го ранга Гоглидзе и комиссар ГБ 3-го ранга Сумбатов-Топуридзе — не из команды Ягоды и даже не из команды Ежова, это люди Берии. В 1938 году Ежов был смещен с поста главы НКВД, а на его место встал Берия. Его люди, в том числе Гоглидзе и Сумбатов-Топуридзе, поднялись высоко. Но вместе с Берией и пали. После смерти Сталина Берия был арестован вместе со своими ближайшими сподвижниками. Берия и Гоглидзе были расстреляны в один день, 23 декабря 1953 года. Сумбатов-Топуридзе во время следствия сошел с ума и умер в психиатрическом изоляторе тюремного типа.