В апреле 1879 г. назначается временным харьковским генерал-губернатором, а вслед за этим и командующим войсками Харьковского военного округа. На новом месте стремится соединить жесткую линию по отношению к революционному подполью с привлечением к сотрудничеству с властью умеренной оппозиции. В последнем Лорис-Меликову значительно помогало его личное обаяние, умение завоевать популярность людей. Биограф оставил такой отзыв о нем в харьковский период его деятельности: «Доступность, простота в обращении, ласковость графа быстро расположили к нему массу. Он действительно имел способность привлекать к себе людей; его мягкие, вкрадчивые манеры, веселость, магнетическое влияние красивых умных глаз очаровывали многих...» Даже в выполнении прямых служебных обязанностей по подавлению революционного движения проявил недюжинные дипломатические способности, чтобы, с одной стороны, своими энергичными действиями заслужить одобрение правительства, а с другой – провести их осмотрительно, не вызывая к себе чрезмерной ненависти революционеров. О том, насколько это ему удалось, красноречиво свидетельствует уже тот факт, что Лорис-Меликов умудрился стать единственным среди генерал-губернаторов, не включенным Исполнительным комитетом «Народной воли» в список приговоренных им к смерти.
Пока граф проводил свою хитроумную политику в Харькове, революционный террор в общероссийском масштабе продолжал усиливаться, и именно это обстоятельство в конечном итоге вознесло его к вершинам государственной власти. Как известно, народовольцы вынесли смертный приговор самому Александру II и осуществили в общей сложности семь покушений на жизнь царя-освободителя. Взрыв, произведенный Халтуриным, высветил всю неспособность как Третьего отделения, так и бюрократического аппарата в целом обеспечить безопасность главы государства, не говоря уже о более масштабной задаче – подавлении революционного движения в стране. Сложившаяся ситуация побудила царя и его ближайшее окружение срочно искать нетрадиционный выход. Его указал проправительственный публицист и издатель М.И. Катков, подавший мысль учредить диктатуру, способную придать расшатанному административному организму единство и силу. Организационной формой задумывавшейся диктатуры должна была стать Верховная распорядительная комиссия по охранению государственного порядка и общественного спокойствия». Решение о ее создании было принято 9 февраля 1880 г. Естественно, встал вопрос о кандидатуре главы вновь создаваемого органа. Военный министр Д.А. Милютин и граф Адлерберг указали царю на харьковского генерал-губернатора как на человека, способного взять в руки и крепко держать власть. Судя по всему, и сам Александр II понимал необходимость нового курса в деле борьбы с революционерами, в связи с чем ловкий и умный Лорис-Меликов, уже зарекомендовавший себя на этом поприще в Харькове, был наиболее подходящей фигурой из всей правительственной элиты того времени. Законодательно это решение было оформлено императорским указом от 12 февраля 1880 г., провозглашавшим создание Верховной распорядительной комиссии во главе с Лорис-Меликовым для «положения предела беспрерывно повторяющимся в последнее время покушениям дерзких злоумышленников поколебать в России государственный и общественный порядок». Указ прямо подчеркивал, что комиссия создается «в видах объединения действий всех властей» «по охранению государственного порядка и общественного спокойствия». Данный законодательный акт предоставлял главному начальнику Верховной распорядительной комиссии право принимать любые решения, безусловно обязательные для исполнения всеми «генерал-губернаторами, губернаторами и градоначальствами», всеми чиновниками Российской империи, «не исключая военного», т.е. фактически Лорис-Меликов наделялся всей полнотой государственной власти. Действующий монарх на время уходил в тень и официально передавал главе вновь созданного органа неограниченные полномочия – случай беспрецедентный в русской истории. Военный министр Д.А. Милютин так суммировал в своем дневнике впечатление от его назначения: «Граф Лорис-Меликов понял свою новую роль не в значении только председателя следственной Комиссии, а в смысле диктатора, которому как бы подчиняются все власти, все министры». М.Н. Катков назвал его «диктатором сердца», что чрезвычайно понравилось Лорис-Меликову, пожелавшему, чтобы это определение высекли на могильном камне после его смерти как высшую награду за труды при жизни.
Получив, по сути дела, неограниченные диктаторские полномочия, глава Верховной распорядительной комиссии свою первоочередную задачу видел в преодолении революционной ситуации с помощью комбинированной политики уступок либеральной части общества для изолирования собственно революционеров, с которыми следовало расправляться путем репрессий. 15 февраля 1880 г. Лорис-Меликов опубликовал воззвание «К жителям столицы», в котором просил поддержки общества и, заигрывая с либералами, обещал «приложить все старание и умение к тому, чтобы, с одной стороны, не допускать ни малейшего послабления и не останавливаться ни перед какими строгими мерами для наказания преступных действий, позорящих наше общество, а с другой – успокоить и оградить законные интересы его здравомыслящей части».
Чтобы выиграть битву за общественное мнение, «диктатор сердца» провозгласил целый ряд либеральных шагов, сопровождавшихся шумной рекламой. Лорис-Меликов публично обещал расширить права земств, назначил сенаторские ревизии для расследования чиновничьих злоупотреблений, создал комиссию для пересмотра закона о печати, уволил с поста министра просвещения Д.А. Толстого, ненавидимого интеллигенцией как самого ярого реакционера в правительстве, что сопровождалось некоторым увеличением свободы в учебном деле. В чисто демагогических целях было ликвидировано Третье отделение, ставшее притчей во языцех у либералов, сделана попытка хотя бы частично упорядочить институт административной ссылки. По заданию Верховной распорядительной комиссии сенатор М.Е. Ковалевский разработал проект, ограничивающий право местных властей на внесудебную высылку, а для решения вопроса об административной ссылке было создано Особое присутствие.
Однако все широковещательные обещания Лорис-Меликова об установлении строгой законности были мигом забыты, когда революционный террор коснулся его лично. После его назначения на пост диктатора Исполнительный комитет «Народной воли» начал готовить на него покушение, однако отказался от этого замысла ввиду легко прогнозируемой отрицательной реакции общественного мнения. Но не во власти высшего органа народников было не допустить выступления террориста-одиночки. Им оказался И.О. Млодецкий, молодой крещеный еврей из г. Слуцка Минской губернии. 20 февраля 1880 г. у подъезда канцелярии Министерства внутренних дел он в упор стреляет в Лорис-Меликова, но промахивается. Незадачливого террориста приговорили 21 февраля к смерти, а уже 22 февраля повесили. Подобная поспешность объяснялась категорическим требованием «диктатора сердца», чтобы преступник был казнен в 24 часа. Неоднократно и далее прибегая к жестким мерам, Лорис-Меликов заботился лишь об одном: чтобы они не были преданы гласности в отечественной и зарубежной прессе. Только с 18 марта по 21 июля 1880 г. Верховная распорядительная комиссия рассмотрела 453 дознания о «государственных преступлениях», при этом в подавляющем большинстве случаев революционеры подверглись наказанию в административном порядке. «Если мы будем ставить на суд множество людей, – поучал в этой связи Лорис-Меликов жандармского генерала В.Д. Новицкого, – то напишут, что у нас в России революция». По подсчетам исследователей, за 14 месяцев диктатуры состоялось 32 судебных процесса (в основном закрытых), по итогам которых было вынесено 18 смертных приговоров.