Ему выделили в доме инвалидов отдельную комнату и назначили пенсию 120 рублей в месяц, что позволило ему потом больше работать и чаще приезжать в Москву.
Микоян был осторожен и старался не вступать в конфликт с Брежневым.
Уже в мае 1965 года в связи с 20-й годовщиной победы в Отечественной войне нашей пропагандой все более настойчиво стала проводиться частичная реабилитация Сталина. Когда на торжественном юбилейном собрании Брежнев произнес имя Сталина, большая часть зала зааплодировала. Микоян отнюдь не возражал против подобного изменения акцентов в агитации и пропаганде. На партийном собрании того же завода «Красный пролетарий», где Микоян 14 мая 1965 года выступил с небольшой речью, ему были переданы две записки, которые он прочел. В одной из них было сказано: «Я видел по телевидению, какими аплодисментами были встречены слова Брежнева о Сталине. Как Вы к этому относитесь?» В другой говорилось: «Почему, вспоминая о Сталине как главе Государственного Комитета Обороны, Брежнев ничего не сказал о вине Сталина в наших поражениях в первые месяцы войны? Почему Брежнев не сказал, что перед войной было арестовано и уничтожено много тысяч коммунистов, что Сталин отверг предупреждение о готовившемся нападении Гитлера?»
Отвечая на эти записки, Микоян заявил: «Брежнев совершенно правильно сказал о Сталине. Сталин действительно возглавлял Государственный Комитет Обороны и осуществлял руководство по мобилизации отпора врагу, и здесь он играл выдающуюся роль. Это соответствует исторической правде. Что касается виновности Сталина, затронутой в записке, то ЦК, обсуждая доклад Брежнева, не счел целесообразным в юбилейную дату на торжественном собрании, посвященном победе над гитлеризмом, говорить о недостатках и просчетах Сталина. Сталин во время войны делал меньше ошибок, чем до войны и после войны с 1948 года, хотя у него и в это время были серьезные ошибки: разгром кадров, выселение народностей с Кавказа, «ленинградское дело». А в целом его вклад в обеспечение победы не следует умалять… жизнь – сложное дело. Люди меняются, они совершают ошибки, их много у каждого. Наша жизнь полна страстей. Придет время, они улягутся, все успокоится, займет место здравый смысл» (Запись сделана старыми большевиками И. П. Гавриловым и Е. П. Фроловым.).
Процедура ухода Микояна с поста главы государства была обставлена весьма торжественно. Произносились благодарственные речи. Микоян был награжден шестым орденом Ленина. Он остался при этом не только депутатом Верховного Совета от одного из округов Армении, но и членом Президиума Верховного Совета СССР. На XXIII съезде КПСС в 1966 году и на XXIV съезде в 1971 году Микоян избирался членом ЦК. Но он уже не входил в состав Политбюро.
В последние годы своей жизни Микоян все меньше и меньше уделял внимания государственным делам. Он не искал встреч с Брежневым или Косыгиным, но ни разу не посетил также и Хрущева. В 1967 году Микоян проявил интерес к судьбе советского историка А. М. Некрича, исключенного из партии за книгу «1941. 22 июня». Она вышла в свет еще в 1965 году и была разрешена к изданию советской цензурой. Микоян попросил своих друзей дать ему для чтения книгу Некрича и некоторые материалы по его делу. Он выразил удивление, что Некрича исключили из партии, но не стал вмешиваться.
Хотя Микоян отошел от власти без конфликтов и оставался все еще членом ЦК КПСС и членом Президиума Верховного Совета СССР, его неожиданно лишили ряда привилегий. Особенно болезненным было для него распоряжение покинуть государственную дачу под Москвой. Это был большой дом, почти имение, в котором до революции жил богатый кавказский купец и где после революции Микоян прожил с семьей половину своей жизни. В несколько раз было сокращено и число людей, обслуживавших Микояна.
Еще во времена Хрущева все ответственные работники ЦК КПСС были «раскреплены» по различным первичным партийным организациям. Микоян встал на учет в партийной организации завода «Красный пролетарий». Микоян регулярно приходил на партийные собрания и конференции этого завода, иногда выступал с речами или отвечал на многочисленные записки. Нередко выступал с воспоминаниями в других организациях.
Однажды, это было в 1969 или 1970 году, меня пригласили на собрание в научный институт, где работал директором П. Л. Капица. Ожидалось выступление Микояна. Зал был переполнен, но Микояна встретили более чем холодно, многие видели в нем в первую очередь соратника Сталина. Только один из сидевших в зале вдруг вскочил и стал аплодировать, но его никто не поддержал. Микоян не смутился. Без всяких бумажек, не поднимаясь на кафедру, Микоян рассказал нам несколько интересных эпизодов из истории 20-х годов. Потом он привел немало примеров бессмысленных и жестоких репрессий Сталина в среде ученых и технической интеллигенции. Микоян, естественно, осудил эти преступления. Аудитория слушала его со все большим вниманием. Рассказав о некоторых проблемах торговли и снабжения в 30-е годы и в годы войны, Микоян незаметно перешел к истории карибского кризиса, и все мы впервые узнали о той большой роли, которую сыграл он в предотвращении войны, да и вообще о том, насколько СССР и США были близки в те дни к катастрофе. В заключение Микоян рассказал о похоронах Кеннеди, в которых приняли участие почти все главные политические деятели западного мира. Микоян представлял СССР в Вашингтоне и вел с некоторыми из деятелей Запада неофициальные переговоры. Закончив свои воспоминания, Микоян умело и остроумно ответил на многочисленные вопросы, в том числе и весьма щекотливые. Когда председательствующий объявил об окончании вечера, слушатели встали и устроили ему овацию.
В середине 60-х годов Микоян начал писать мемуары. Отрывки из них публиковались в «Юности» и других журналах. Потом начали появляться книги «Мысли и воспоминания о Ленине» (1970), «Дорогой борьбы» (1971), «В начале двадцатых…» (1975).
Воспоминания Микояна вызвали большой интерес, их перевели и издали во многих странах. Но издавать да и писать эти мемуары становилось все труднее. Как свидетельствует сын Анастаса Ивановича Серго Микоян, уже «вторая книга, названная «В начале двадцатых…», подверглась суровому редактированию и даже неавторским дополнениям, сделанным по требованию отнюдь не всегда последовательных рецензентов. Если речь, например, шла о том, что особенно запомнилось автору на X и XII съездах партии, рецензентом отмечалось, что работа съезда этим не ограничивалась и нужны дополнения. Вместе с тем автору бросался упрек, что он должен писать не историю партии, а личные воспоминания. Зато когда рецензент переходил именно к воспоминаниям личного характера, то обвинял автора в субъективных оценках или даже нескромности. Оценки дискуссий, отдельных лиц предлагалось переписать и дополнить в духе тогдашних изданий «Истории КПСС». Микоян А. И. возмущался, спорил. Однако желание видеть свои воспоминания опубликованными при жизни (а ему уже было почти 75) заставляло уступать. Ему вписывали целые пассажи (например, против Бухарина), вычеркивая многое, что автору было дорого. Сегодня мы можем по-разному относиться к этому, даже упрекнуть его в подобной уступчивости, однако следует учитывать, что он не видел просвета в застойной атмосфере тех лет, а собственных лет ему оставалось все меньше и меньше… Эту вторую книгу все же выпустили в 1975 году, без фотографий и малым тиражом».