Есть свидетельства того, что после падения Енукидзе нарком стал во главе подготовки государственного переворота. На допросе 13 мая 1937 года Ягода показал: «Паукеру я дал задание ежедневно мне докладывать не только передвижения членов правительства, но и доносить мне абсолютно все, что станет ему известно из личной жизни членов Политбюро, кто к кому ходит, долго ли засиживаются, о чем говорят и т. п. Паукер все это мог выполнить через работников охраны членов правительства». Кроме того, по словам Ягоды, «аппарат для прослушивания был по моему распоряжению куплен в Германии в 1933 году и тогда же был установлен у меня в кабинете».
Отвечая на вопрос следователя: «Зачем Вам это нужно было?», Ягода ответил: «Во-первых, человеку… реально готовившему государственный переворот, надо быть в курсе дела личных взаимоотношений членов правительства, которое он намерен свергать, надо знать все о них. Во-вторых, пока дело до свержения правительства еще не дошло, путем повседневной слежки, подслушивания телефонных разговоров, подборов всяческих слухов из личной жизни правительства, на это можно неплохо лавировать и вовремя реагировать там, где требуется».
В начале 1936 года подготовка к государственному перевороту активизировалась. Охранник Сталина А. Рыбин вспоминал: «Бывший курсант школы ОГПУ, впоследствии — комендант сталинской дачи в Кунцеве И. Орлов мне сообщил: „В начале тридцать шестого года, его заместитель Агранов, начальник правительственной охраны комиссар Паукер, его заместитель Волович и капитан Гинцель сформировали особую роту боевиков. В нее вошли я и мои однокурсники Середа, Юрчик. Это были боевики двухметрового роста, ловкие, сильные, богатырского телосложения. Нас учили самбо, штыковому ближнему бою, преодолению препятствий. Нас хорошо вооружили и обмундировали. Обычно мы маршировали на площади Дзержинского, а Ягода наблюдал за нами из окна своего кабинета. Наконец, нам решили произвести смотр во дворе ОГПУ. Ягода и его единомышленники решили, что мы — те самые парни, которые способны ради их замыслов на любой разбой. Нас готовили для захвата Кремля и ареста товарища Сталина. Но заговор провалился“. По словам И. Орлова, „весь наш командный состав разных рангов… собираясь 1 мая на Красную площадь, лихорадочно совали в полевые сумки по четыре-пять пистолетов“.» Если все происходило так, как описывал И. Орлов, то это означало, что переворот должен был состояться 1 мая 1936 года, но возможно, что ход подготовки убедил Ягоду, что без наличия многочисленных войск переворот было бы трудно осуществить.
Тем временем начался пересмотр некоторых прежних решений наркомата внутренних дел СССР и ОГПУ СССР. Как отмечал Ю. Жуков, 13 мая прокурор СССР А. Я. Вышинский (он занял этот пост в марте 1935 г.) направил в Политбюро «пространную информационную записку, в которой сообщил о пересмотре им законности акции наркомвнудела по „очистке Ленинграда от социально чуждых элементов“, проведенной с 28 февраля по 27 марта в связи с убийством Кирова и приведшей к изгнанию из старой столицы 11 702 человек».
26 июля по предложению Вышинского было принято решение Политбюро «О снятии судимости с колхозников», которые были осуждены на сроки не свыше 5 лет. Как подчеркивал Ю. Жуков, «в результате всего за семь последующих месяцев — к 1 марта 1936 года, с 768 989 человек, в основном репрессированных по закону от 7 августа 1932 года, широко известному как „закон о трех колосках“, не только сняли судимость, но и сопровождавшее ее временное поражение в правах, которое лишало их возможности на протяжении 5 лет участвовать в выборах».
Вышинский также внес в Политбюро проект предложения «О порядке производства арестов», утвержденный 17 июня. Теперь органы НКВД могли производить аресты лишь с согласия соответствующего прокурора. Жуков указывал: «Помимо этого, для ареста членов ЦИК СССР и союзных республик, руководящих работников наркоматов всех уровней, директоров и заместителей директоров заводов и совхозов, а также простых инженеров, агрономов, врачей, профессуры, руководителей учебных и научно-исследовательских учреждений требуется не только санкция прокурора, но еще и согласие соответствующего наркома».
Принятию этого предложения, которое ставило барьеры на пути деятельности НКВД, предшествовало знаменитое выступление Сталина 4 мая 1935 года в Кремлевском дворце на выпуске академиков Красной Армии. В этой речи, о которой шла речь выше, Сталин не только упомянул о тех, кто угрожал «кое-кому из нас пулями». Главное внимание в речи было уделено бережному отношению к людям.
Сталин уже не раз затрагивал эту тему. 4 мая 1934 года на подобном же приеме в Кремле он говорил: «Почему у нас иногда гибнут летчики? Гибнут потому, что, желая спасти самолет, считают позорным пользоваться парашютом. Некоторые думают, что самолет ценнее летчика. Это неверно. Самое драгоценное для нас летчик, жизнь одного летчика несравненно дороже нам даже трехсот самолетов. Мы можем наделать сколько угодно и каких угодно самолетов в самые короткие сроки, а хорошего летчика не подготовишь». Эту же мысль повторил Сталин в беседе с В. Н. Чкаловым 2 мая 1935 года.
В неисправленной стенограмме выступления Сталина 4 мая 1935 года было написано: «Кадры в армии — это очень ценное дело, это из всех капиталов, существующих в мире, самый ценный капитал». Однако в выправленной стенограмме речь шла не только об армии. Это выступление, опубликованное в газетах, а затем в сборнике «Вопросы ленинизма», было посвящено не летчикам и не армии, а проблемам всей страны: «Раньше мы говорили, что „техника решает всё“. Этот лозунг помог нам в том отношении, что мы ликвидировали голод в области техники. Это очень хорошо. Но это далеко недостаточно. Чтобы привести технику в движение и использовать её до дна, нужны люди, овладевшие техникой, нужны кадры, способные освоить и использовать эту технику по всем правилам искусства. Техника без людей, овладевших техникой, может и должна дать чудеса. Если бы на наших первоклассных заводах и фабриках, в наших совхозах и колхозах, на нашем транспорте, в нашей Красной Армии имелось достаточное количество кадров, способных оседлать эту технику, страна получила бы эффекта втрое и вчетверо больше, чем она имеет теперь. Вот почему упор должен быть сделан теперь на людях, на кадрах, на работниках, овладевших техникой. Вот почему старый лозунг — „техника решает всё“, является отражением уже пройденного периода, когда у нас был голод в области техники, — должен быть заменён новым лозунгом, лозунгом о том, что „кадры решают всё“».
Сталин не ограничился провозглашением новой политической установки. Он обрушивался на руководящих работников, правда, не называя их поименно: «Можно ли сказать, что наши люди поняли и осознали полностью великое значение этого нового лозунга? Я этого не сказал бы. В противном случае мы не имели бы того безобразного отношения к людям, к кадрам, к работникам, которые наблюдаем нередко в нашей практике. Лозунг „кадры решают всё“ — требует, чтобы наши руководители проявляли самое заботливое отношение к нашим работникам, к „малым“ и „большим“, в какой бы области они ни работали, выращивали их заботливо, помогали им, когда они нуждаются в поддержке, поощряли их, когда они показывают первые успехи, выдвигали их вперёд и т. д. А между тем на деле мы имеем в целом ряде случаев факты бездушно-бюрократического и прямо безобразного отношения к работникам. Этим, собственно, и объясняется, что вместо того, чтобы изучать людей и только после изучения ставить их на посты, нередко швыряются людьми, как пешками. Ценить машины и рапортовать о том, сколько у нас имеется техники на заводах и фабриках, — научились. Но я не знаю ни одного случая, где бы с такой же охотой рапортовали о том, сколько людей мы вырастили за такой-то период и как мы помогли людям в том, чтобы они росли и закалялись в работе. Чем это объясняется? Объясняется это тем, что у нас не научились ещё ценить людей, ценить работников, ценить кадры».