Но и в Москве положение Кагановича становилось все более трудным. Набирала силу пресловутая кампания против «безродных космополитов». От евреев очищали партийный и государственный аппарат, их не принимали на дипломатическую службу, в органы безопасности, сократился прием евреев в институты, готовящие кадры для военной промышленности и наиболее важных отраслей науки.
Евреев перестали принимать в военные училища и академии, в партийные школы. Среди еврейской интеллигенции прошли массовые аресты.
Хотя Каганович и не был инициатором этих арестов, он не протестовал против них и никого не защищал. Бывший коминтерновец И. Бергер писал в своей книге: «Один из моих собратьев по лагерю был близким родственником Л. М. Кагановича. В 1949 году его арестовали. Тогда его жена стала добиваться приема у Кагановича. Каганович принял ее только через 9 месяцев. Но прежде чем она начала говорить, Каганович сказал: «Неужели вы думаете, что, если я мог что-то сделать, я бы ждал 9 месяцев? Вы должны понять – есть только одно Солнце, а остальные только мелкие звезды» (Бергер И. Крушение поколения. Флоренция, 1973. С. 288.).
Сам Лазарь Каганович в это время нередко вел себя как антисемит, раздражаясь присутствием в своем аппарате или среди «обслуги» евреев. Удивляла его мелочность. Так, например, на государственных дачах для членов Политбюро часто устраивались просмотры иностранных кинолент. Текст переводился кем-либо из вызванных переводчиков. Однажды на даче Кагановича переводчица оказалась еврейкой, прекрасно знавшей итальянский язык, но переводившей его на русский с незначительным еврейским акцентом. Каганович распорядился никогда больше не приглашать ее к нему.
Жертвой шпиономании стал и старший брат Кагановича Михаил Моисеевич, который был снят с поста наркома авиационной промышленности и выведен из состава членов ЦК ВКП(б). В первые годы после войны он был обвинен во вредительстве в области авиационной промышленности и даже в тайном сотрудничестве с гитлеровцами. Эти вздорные обвинения рассматривались на Политбюро. Докладывал Берия. Каганович не защищал своего брата. Сталин лицемерно похвалил Лазаря за принципиальность, но столь же лицемерно предложил не торопиться с арестом Михаила Моисеевича, а создать комиссию для проверки выдвинутых против него обвинений. Во главе ее поставили Микояна. Через несколько дней Михаила Кагановича пригласили в кабинет Микояна. Приехал и Берия вместе с человеком, который дал показания против бывшего министра. Тот повторил свои обвинения. «Этот человек ненормальный», – сказал Михаил. Но он понял, что означает весь этот спектакль. В кармане у него был пистолет. «Есть в твоем кабинете туалет? – спросил он Микояна. Анастас Иванович показал нужную дверь. Михаил вошел в туалет, и через несколько мгновений там раздался выстрел. Его похоронили без почестей.
Сталин все реже и реже встречался с Кагановичем, он уже не приглашал его на свои вечерние трапезы. После XIX съезда КПСС Каганович был избран в состав расширенного Президиума ЦК и даже в Бюро ЦК, но не вошел в отобранную лично Сталиным «пятерку» наиболее доверенных руководителей партии.
После ареста группы кремлевских врачей, в большинстве евреев, которые были объявлены вредителями и шпионами, в СССР началась новая широкая антисемитская кампания. В некоторых западных книгах, и в частности в книге А. Авторханова «Загадка смерти Сталина», полной вымыслов и противоречий, можно найти версию о том, что Каганович якобы бурно протестовал против преследования евреев в СССР, что именно он предъявил Сталину ультиматум с требованием пересмотреть «дело врачей». Более того, Каганович якобы «изорвал на мелкие клочки свой членский билет Президиума ЦК КПСС и швырнул Сталину в лицо. Не успел Сталин вызвать охрану Кремля, как его поразил удар: он упал без сознания» (Авторханов А. Загадка смерти Сталина. Франкфурт-на-Майне, 1976. С. 226—227.).
Авторханов ссылается на какие-то слова Ильи Эренбурга. Я часто встречался с Эренбургом в 1964—1966 годах, мы не раз говорили о Сталине, но ничего подобного Илья Григорьевич никогда не рассказывал, да он и не мог знать подробностей смерти Сталина. Все это чистый вымысел. Каганович был не в состоянии восстать против Сталина. Он в начале 1953 года молчал и со страхом ждал развития событий. Как и многих других, и отнюдь не только евреев, Кагановича спасла смерть Сталина.
После смерти Сталина влияние Кагановича на короткое время вновь возросло. Как один из первых заместителей Председателя Совета Министров СССР он контролировал несколько важных министерств. Каганович поддержал предложение Хрущева и Маленкова арестовать и устранить Берию. Еще раньше он активно поддержал все меры по пересмотру «дела врачей» и прекращению антисемитской кампании в стране. Был реабилитирован и его старший брат М. М. Каганович.
И тем не менее начавшиеся в 1953—1954 годах первые реабилитации ставили Кагановича во все более трудное положение. Не все жертвы террора 1937—1938 годов были расстреляны или погибли в лагерях. В Москву стали возвращаться люди, которые знали о той ведущей роли, которую играл Каганович при проведении незаконных массовых репрессий. Так, например, в 1954 году был полностью реабилитирован А. В. Снегов, которого Каганович хорошо знал еще по партийной работе на Украине в середине 20-х годов. Снегов был назначен, по предложению Хрущева, на работу в политотдел и коллегию МВД СССР. В перерыве торжественного заседания в Большом театре по случаю 39-й годовщины Октябрьской революции Каганович увидел Снегова, идущего под руку с Г. И. Петровским, когда-то возглавлявшим ЦИК Украины, а ныне работавшим завхозом Музея Революции. Каганович поспешил к ним с приветствиями. Но Снегов не ответил на них. «Я не буду пожимать руку, запятнанную кровью лучших людей партии», – громко, чтобы слышали все вокруг, сказал Снегов. Каганович помрачнел и вместе с дочерью быстро отошел в сторону. Но он уже не имел прежних возможностей карать и преследовать своих врагов.
Каганович решительно протестовал против намерения Хрущева доложить делегатам XX съезда КПСС о преступлениях Сталина. Когда было предложено дать слово на съезде нескольким вернувшимся из лагерей старым большевикам, Каганович воскликнул: «И эти бывшие каторжники будут нас судить?» В своей речи на съезде партии Каганович должен был все-таки мимоходом сказать несколько слов о вредности культа личности. Хрущев, однако, преодолел сопротивление и прочел в конце съезда свой знаменитый доклад.
В прошлом Каганович был в очень плохих отношениях с Молотовым и Маленковым. Теперь они стали сближаться на почве общей вражды к Хрущеву и его политике. Они тщательно фиксировали все ошибки Хрущева в руководстве промышленностью и сельским хозяйством. Но главное, что им не нравилось, – это проведение «десталинизации» и освобождение и реабилитация миллионов политических заключенных. Выступление антихрущевской группы закончилось полным поражением. Молотов, Каганович, Маленков и «примкнувший к ним Шепилов» были выведены из состава Политбюро и ЦК КПСС. Они сами и их выступление обсуждались и осуждались на всех партийных собраниях. Это была советская «банда четырех».
После июньского Пленума 1957 года Кагановича охватил страх. Он опасался ареста и боялся, что его постигнет судьба Берии. В конце концов, на его совести было не намного меньше преступлений, чем на совести Лаврентия. Каганович даже позвонил Хрущеву и униженно просил его не поступать с ним слишком жестоко. Он ссылался на прежнюю дружбу с Хрущевым. Ведь именно Каганович способствовал быстрому выдвижению Хрущева в Московской партийной организации. Хрущев ответил, что никаких репрессий не будет, если члены антипартийной группы прекратят борьбу против линии партии и станут добросовестно работать на тех постах, которые им поручит теперь партия. И действительно, Кагановича вскоре направили в Свердловскую область управляющим трестом Союзасбест.