Удаление Берии косвенным образом привело сразу же к ослаблению власти и влияния Маленкова: исчез из руководства важный союзник. Между тем ни Молотов, ни Каганович, ни Ворошилов, ни Микоян не питали никаких симпатий к Маленкову и были склонны поддерживать более простого и откровенного Хрущева. Многие обвинения, которые выдвигались Прокуратурой СССР против Берии, задевали и Маленкова. Это в первую очередь касалось «ленинградского дела». К тому же сам Берия, находясь под следствием, пытался писать Маленкову различные записки, что вынуждало последнего как-то оправдываться перед другими членами политбюро. Сказывался и тот простой факт, что Маленков, привыкший быть на вторых ролях при Сталине, не обладал достаточно твердым характером, чтобы теперь играть в партии первую роль. Он опасался принимать важные решения, проявляя колебания и неуверенность. Сталкиваясь с возражениями, он не мог настоять на своем. Пребывание в партийном аппарате не могло выработать у Маленкова тех качеств, которые у Хрущева развились благодаря десятилетней самостоятельной работе на Украине. К тому же Маленков, как оказалось, не слишком хорошо знал проблемы и состояние народного хозяйства, и особенно сельского. Маленков даже не претендовал на руководство сельским хозяйством и с облегчением передал подготовку всех основных реформ в этой области Хрущеву, который не только фактически, но и формально возглавил Секретариат ЦК, став первым секретарем.
Арест Берии и суд над ним, закончившийся вынесением смертного приговора, сопровождались изменениями всего персонального состава карательных органов, во главе которых был поставлен ближайший сторонник Хрущева генерал Серов. Одновременно функции МВД — МГБ были значительно урезаны, в их задачу теперь не входил контроль за деятельностью партийных органов, а напротив, МВД — МГБ были поставлены под твердый контроль ЦК КПСС, и прежде всего Секретариата ЦК, то есть Хрущева. Маленков уже не мог использовать, подобно Сталину, карательные органы в качестве опоры своей власти.
Эти факторы к осени 1953 года значительно ослабили роль Маленкова. Высший партийный аппарат все увереннее и прочнее брал под свой контроль государственные и общественные организации, а первым человеком в партии был теперь уже не Маленков, а Хрущев. Без одобрения Хрущева не принимались никакие важные решения и назначения. В 1954 году казалось, что только Хрущев знает, что надо делать, дабы громоздкий корабль советского управления двигался вперед. Именно Хрущев выдвигал большую часть важных предложений во внутренней и внешней политике. Маленков просто не поспевал за своим энергичным и деятельным соратником. А главное, у него не было сторонников в руководстве, которые бы видели в нем своего шефа и покровителя, были бы обязаны ему своим выдвижением и готовы без оговорок выполнять его указания. В этих условиях вопрос о смещении Маленкова с поста главы правительства становился лишь вопросом времени. Когда началась реабилитация всех пострадавших по «ленинградскому делу», а также более отчетливо выявилась ответственность Маленкова за плохое состояние сельского хозяйства, тяжелый кризис которого скрывался фальсифицированными данными, Маленков не стал даже бороться за сохранение своей власти и ведущего положения в партийно-государственной верхушке. 24 января 1955 года в «Правде» была опубликована статья Д. Т. Шепилова «Генеральная линия партии и вульгаризаторы марксизма», в которой содержались критические замечания о Маленкове. И хотя фамилия последнего не упоминалась, адресат этих обвинений легко прочитывался.
На следующий день, 25 января, пленум ЦК принял решение освободить Маленкова от обязанностей главы правительства. Было зачитано его заявление с признанием своих ошибок и ответственности за плохое состояние сельского хозяйства. Маленков ссылался в последнем случае на свою «малоопытность». На пленуме с критикой Маленкова выступили некоторые из членов ЦК и Президиума ЦК, в числе которых был и Молотов. Однако критика была не слишком резкой. Через несколько дней стенограмма январского пленума была зачитана во всех партийных организациях. Вскоре решения пленума формально одобрил Президиум Верховного Совета СССР, который назначил Маленкова министром электростанций СССР.
В день пленума ЦК многие родные и близкие Маленкова собрались у него в особняке. Такие особняки в районе Мосфильмовских улиц были только недавно построены для членов политбюро по инициативе самого Маленкова. Все были обеспокоены и ждали хозяина дома. Он приехал очень поздно. Войдя в гостиную и увидев родных и близких, Маленков с явным облегчением сказал: «Все остается по-старому». Его сразу поняли. Никто не ждал, что Маленков и дальше будет главой правительства. «Остается по-старому» означало, что Маленков продолжает быть членом Президиума ЦК, что он будет не только министром, но и одним из заместителей председателя Совета министров СССР. А это, в свою очередь, подтверждало все прежние привилегии: что он будет жить в том же особняке и что он и его ближайшие родственники будут пользоваться тем же спецобслуживанием.
Было бы, однако, неверным думать, что Маленков столь легко смирился с происшедшими переменами. Внешне он сохранил с Хрущевым самые лучшие отношения, бывал даже на всех его семейных праздниках, делал подарки его родственникам. Но при этом Маленков мечтал о возвращении власти. По свидетельству Эдварда Кренкшоу, который встречался и беседовал с Маленковым в Англии в конце 1956 года, Маленков, обычно очень молчаливый (а тем более с иностранцами), неожиданно и со злостью заявил: «Я еще вернусь».
Вместо Маленкова председателем Совмина СССР был назначен Н. А. Булганин.
Может быть, Маленков и удовлетворился бы своей более скромной ролью, но политика дальнейшего развенчания культа личности Сталина и более глубокого и основательного расследования его преступлений, которую проводил Хрущев, пугала Маленкова. Он высказывался против постановки этих проблем на XX съезде партии, но не смог помешать Хрущеву прочесть свой знаменитый доклад. Сам Маленков, выступая на съезде, сказал всего лишь несколько фраз о вреде «культа личности», что это извращение неизбежно ведет к принижению роли партии и ее руководящего центра, к подавлению творческой активности партийных масс, к безапелляционности единоличных решений, произволу. Основную же часть своей речи он посвятил проблемам электрификации СССР.
Разоблачение культа Сталина неизбежно ставило вопрос и об ответственности Маленкова, так же как и других приближенных вождя, за репрессии и гибель ни в чем не повинных людей, среди которых было немало выдающихся деятелей партии и государства. Правда, в 1956 году были реабилитированы далеко не все незаконно репрессированные люди. Уже в 1957 году Хрущев настоял на реабилитации большой группы военных деятелей во главе с Тухачевским и Якиром, арест и расстрел которых был санкционирован в 1937 году политбюро (сам Хрущев в это время еще не входил в политбюро). Было начато расследование, берущее под сомнение законность и обоснованность приговоров по таким фальсифицированным политическим процессам 30-х годов, как процессы Зиновьева — Каменева, Радека — Пятакова, Бухарина — Рыкова, в результате которых были приговорены к расстрелу десятки виднейших соратников Ленина, деятелей Октябрьской революции и Гражданской войны. Все это переполнило чашу терпения большинства членов Президиума ЦК. Их объединил страх ответственности. Организаторами фракционной группы были Молотов и Каганович, но к ним сразу же присоединился и Маленков. Поражение этой группы было концом политической и государственной карьеры Маленкова. Он был исключен из Президиума ЦК и из ЦК КПСС и снят с ответственной работы в Совете министров СССР.