Многие из делегатов требовали исключения лидеров антипартийной группы из партии. На 19-м заседании съезда 27 октября 1961 года было, однако, зачитано заявление Ворошилова XXII съезду КПСС. В нем Ворошилов утверждал, что, хотя он и поддержал «ошибочные, вредные выступления» членов антипартийной группы, он «не имел никакого понятия о ее фракционных действиях». Ворошилов писал:
«Глубоко осознав тот огромный вред, который могла нанести нашей партии и стране антипартийная группа Молотова, Кагановича, Маленкова и других, я решительно осуждаю ее фракционную деятельность, направленную на то, чтобы свернуть партию с ленинского пути. Я полностью понимаю серьезность допущенной мною ошибки, когда я поддерживал вредные выступления членов антипартийной группы».
Что касается своего участия в сталинских репрессиях, то Ворошилов заявлял: «Я полностью согласен с проведенной партией большой работой по восстановлению ленинских норм партийной жизни и устранению нарушений революционной законности периода культа личности и глубоко сожалею, что в той обстановке и мною были допущены ошибки» (Там же. С. 589—590.).
На следующем заседании съезда Хрущев, подводя итог прениям, хотя и осудил Ворошилова, но призвал проявить к нему великодушие. Хрущев сказал:
«Хочу особо сказать о товарище Ворошилове. Он подходил ко мне, говорил о своих переживаниях… Но мы – политические деятели – не можем руководствоваться лишь одними чувствами. Чувства бывают разные, они могут быть обманчивыми. Здесь, на съезде, Ворошилов слушает критику в свой адрес и ходит как побитый. Но надо было видеть его в то время, когда антипартийная группа подняла руку против партии. Тогда Ворошилов проявлял активность, выступал, как говорится, при всех своих регалиях и в доспехах, чуть ли не на коне.
…Не случайно фракционеры выделили его для встречи с членами ЦК, которые добивались созыва Пленума Центрального Комитета. Антипартийная группа рассчитывала, что Ворошилов своим авторитетом сможет повлиять на членов Центрального Комитета, поколебать их решимость в борьбе против антипартийной группы…
Товарищ Ворошилов совершил тяжелые ошибки. Но я, товарищи, считаю, что к нему надо подойти иначе, чем к другим активным участникам антипартийной группы, например, к Молотову, Кагановичу, Маленкову.
…Имя Климента Ефремовича Ворошилова широко известно в народе. Поэтому участие его в антипартийной группе вместе с Молотовым, Кагановичем, Маленковым и другими как бы усиливало эту группу, производило какое-то впечатление на людей, неискушенных в политике. Выйдя из этой группы, товарищ Ворошилов помог Центральному Комитету в его борьбе против фракционеров. Давайте и мы за это доброе дело ответим тем же и облегчим его положение.
Товарища Ворошилова остро критиковали, эта критика была правильной потому, что он совершил большие ошибки, и коммунисты не могут забыть их. Но я считаю, что мы должны подойти к товарищу Ворошилову внимательно, проявить великодушие. Я верю, что он искренне осуждает свои поступки и раскаивается в них» (XXII съезд Коммунистической партии Советского Союза. Т. 2. С. 589, 590.). Эти слова вызвали аплодисменты.
Прощение Ворошилова заключалось в том, что он не был исключен из партии. Но он не был уже избран в новый состав ЦК КПСС и не вошел в другие руководящие органы партии. В печати перестали появляться статьи о Ворошилове и его собственные статьи. Он почти полностью отошел от общественной и политической деятельности. Он далеко не всегда присутствовал на заседаниях Верховного Совета и его Президиума, хотя и избирался в Верховный Совет как в 1962, так и в 1966 году.
Ворошилов не был лишен тех привилегий, которыми пользовался в прошлом. Поэтому он спокойно доживал свои последние годы на большой даче-усадьбе в Подмосковье. Семья у него была невелика. Жена Ворошилова, Екатерина Давыдовна, умерла. Своих детей у них не было. Ворошилов воспитывал сына и дочь Фрунзе и приемного сына Петра, от которого у него было двое внуков – Клим и Володя. В середине 60-х годов Ворошилов начал работать над мемуарами. Видимо, в связи с этим он стал посещать Государственную библиотеку имени Ленина, где работала его невестка – жена Петра.
Нередко Ворошилова видели в обеденном зале ресторана «Прага» – излюбленном месте обеда многих привилегированных пенсионеров. Старость сильно изменила его внешность. Окружающие его здесь пенсионеры почти не реагировали на его присутствие. Но в других местах бывало иначе. Все же легенда о Ворошилове еще существовала в умах и сознании людей, несмотря на разоблачения XXII съезда. Поэтому Ворошилова публика принимала иначе, чем Молотова или Кагановича.
Однажды, когда я работал в Ленинской библиотеке, где-то за моей спиной раздались аплодисменты. Я обернулся. По ступенькам, ведущим в зал для чтения газет, спускался Ворошилов. Почти все читатели, а их было не менее тысячи человек, поднялись со своих мест и устроили Ворошилову овацию. Под гром аплодисментов он медленно шел между столами к выходу из зала. Остались молча сидеть на своих местах всего пять-шесть человек, среди которых я увидел и сына Якира Петра, который едва удержался, чтобы не крикнуть что-либо оскорбительное и для Ворошилова, и для приветствовавших его научных работников.
Впрочем, симпатии к Ворошилову после смещения Хрущева стали проявляться и на более высоком уровне. Это вполне укладывалось в рамки той политики частичной реабилитации Сталина, которую весьма влиятельные круги пытались проводить после октябрьского (1964 года) Пленума ЦК КПСС. На XXIII съезде КПСС в 1966 году Ворошилов после пятилетнего перерыва был вновь избран членом ЦК КПСС. В газетах и журналах стали печататься статьи о нем, отрывки из его воспоминаний. Среди некоторой части военных и интеллигенции это вызывало протест. Военный историк подполковник В. А. Анфилов, выступая весной 1966 года на совещании в Институте марксизма-ленинизма при обсуждении книги А. Некрича «1941. 22 июня», сказал: «…У меня сердце кровью обливается, когда он (Ворошилов. – Р. М.) стоит на трибуне Мавзолея Ленина». В 1967 году было особенно торжественно отмечено 50-летие Октябрьской революции. На совместное заседание ЦК КПСС, Верховного Совета СССР и Совета Министров СССР были, естественно, приглашены и такие люди, как Ворошилов и Микоян. Но в президиуме заседания находились и самые старые по стажу члены партии, такие, как Федор Николаевич Петров, член КПСС с 1896 года, и Анна Львовна Рязанова, член КПСС с 1899 года, жена известного историка и теоретика марксизма Д. Б. Рязанова, погибшего в годы сталинского террора. Она и сама больше пятнадцати лет провела в лагерях. Получив приглашение на заседание в Кремль, А. Л. Рязанова демонстративно отказалась от участия в нем, заявив, что не желает сидеть рядом с такими людьми, как Ворошилов и Микоян, повинными в гибели многих тысяч старых большевиков. Ее протест, как и следовало ожидать, остался без внимания, подобно многим другим аналогичным протестам. В феврале 1968 года отмечалась еще одна годовщина – 50-летие Красной армии. По этому поводу Ворошилов удостоился высоких почестей. Он получил вторую медаль «Золотая Звезда» и почетное оружие с золотым гербом СССР. Власти Ростова-на-Дону присвоили Ворошилову звание почетного гражданина этого города. В 1968 году вышла в свет и первая книга его мемуаров «Рассказы о жизни», посвященная главным образом луганскому периоду его деятельности. Рассказывая о своей первой встрече со Сталиным, Ворошилов счел нужным высказать и общее суждение об этом человеке: