Всю вину за сожжение Панамы правительство Карла II возложило на губернатора Ямайки. Новый губернатор острова сэр Томас Линч получил предписание арестовать Модифорда и выслать в Англию для суда. В частной инструкции король предписывал Линчу, чтобы «как только он возьмет под свой контроль управление и форт [Форт-Чарлз], во избежание каких-либо осложнений вследствие этого ему надлежит арестовать сэра Томаса Модифорда и отправить домой под усиленной охраной, [потому что] вопреки ясным распоряжениям короля, он совершил многие преступные и враждебные акции против подданных доброго брата Его Величества — Католического Короля».
В вину Модифорду могли поставить не только санкционирование антииспанских экспедиций в те годы, когда на официальном уровне в англо-испанских отношениях намечалось потепление, но и утаивание от короны значительной части доходов от каперства. Отчеты самого губернатора о доходах и расходах Ямайки с 4 июня 1664 года по 25 июня 1671 года, включая отчет о «пятнадцати процентах с призов в пользу Его Величества», показывают ничтожно малые поступления от захваченной флибустьерами добычи. Этот особый отчет охватывает период с 20 августа 1665 года по 17 ноября 1667 года. В нем доля короля оценена в 858 ф. ст. 18 шилл. и 3 пенса, что явно мало, учитывая приватирскую активность в указанное время. Бухгалтер Модифорда Кэри Хиляр показал под присягой сэру Томасу Линчу, что «отчет о пятнадцати процентах точно соответствует записям адмиралтейского суда», и это лишь усиливает недоверие как к отчетам, славшимся с острова, так и к деятельности адмиралтейского суда Ямайки. Еще более удивительным является утверждение Хиляра об отсутствии каких-либо доходов из указанного источника в период с 1668 по 1671 год.
Крайне негативным следствием поощрения флибустьерства Линч считал «разбазаривание» людских ресурсов Ямайки. По его данным, во время экспедиций 1665–1671 годов (на Наветренные острова, Кубу, Пуэрто-Бельо, Маракайбо, Гранаду и Панаму) было потеряно около 2600 людей «самого бравого сорта», не считая тех, кто погиб в море на различных судах. Отсюда новый губернатор сделал вывод, что война против испанцев «невероятно задержала заселение этого острова».
В середине мая 1671 года сын Модифорда Чарлз был арестован и помещен в лондонский Тауэр в качестве дополнительной гарантии доставки его отца в Англию, и когда в начале августа эти новости достигли Ямайки, Линч не стал тянуть время; заманив Модифорда на борт военного корабля «Эсистенс», он обнародовал привезенные из метрополии королевские указы.
Морган в это время был болен, так что никто не сделал попытки освободить экс-губернатора. Через несколько дней сэр Томас был перевезен на борт судна «Джамайка мерчент».
19 (29) августа в Лондоне состоялось заседание Совета по делам заморских плантаций. На нем, согласно информации Джона Ивлина, «были зачитаны письма сэра Томаса Модифорда, дающие изложение подвига в Панаме, каковой был весьма бравым; они взяли, сожгли и разграбили город громадных сокровищ… Подобной акции не было со времен знаменитого Дрейка».
Через три дня, 22 августа (1 сентября), судно «Джамайка мерчент» покинуло гавань Порт-Ройяла, увозя сэра Томаса в Англию. В ноябре опальный губернатор был помещен в Тауэр, где, впрочем, содержался с совершенным комфортом.
После этого Линч смог взяться за Моргана. Новый губернатор отдавал должное честности и храбрости адмирала флибустьеров, но в то же время не сомневался, что подчиненные ему пираты совершили массу преступлений. В декабре 1671 года губернатор писал: «…если говорить о нем правду, то он — честный, храбрый малый, имел каперскую грамоту и инструкции от сэра Томаса Модифорда и Совета, которым, как они решили, он повиновался и следовал столь прилежно, что они объявили ему публичную благодарность, каковая отмечена в книгах Совета. Однако надо признать, что приватиры совершили различные варварские деяния, которыми они усугубили вину своего вице-адмирала».
Моргана выслали в Англию на борту фрегата «Уэлкам» (капитан — Джон Кин) в апреле 1672 года. Никакого обвинения против него выдвинуто не было, поскольку считалось, что он выполнял поручение официальных властей. Один из членов Совета Ямайки, генерал-майор Джеймс Баннистер, в письме лорду Арлингтону так отзывался о Моргане: «…он — весьма достойный человек, очень храбрый и способный вести за собой, который может, будь на то воля Его Величества, хорошо служить обществу дома или быть весьма полезным этому острову, если война с испанцами вспыхнет снова». Баннистер просил лорда Арлингтона содействовать тому, чтобы король в сложившейся ситуации оказался на стороне Моргана.
Что касается бывшего ямайского губернатора, то к нему суд отнесся благосклонно: вину его «доказать» не удалось. Дело о «панамской акции» постепенно превратилось в фарс и закончилось тем, что Карл II назначил Модифорда главным судьей Ямайки, а Моргана возвел в рыцари (в ноябре 1674 года) и отправил туда же в качестве вице-губернатора. Принимая столь необычное решение, король учел «его преданность, благоразумие и храбрость, а также долгое знакомство с этой колонией».
Сэр Томас Модифорд скончался на Ямайке 1 сентября 1679 года и был похоронен в церкви св. Екатерины. Пафосная надпись на его могиле гласит, что он был «душой и жизнью всей Ямайки, который первым сделал ее такой, какая она есть… самым лучшим и дольше всех управлявшим губернатором, самым крупным плантатором, самым способным и наиболее справедливым судьей этого острова из всех, каких он когда-либо имел».
Хотя королевским указом каперство на Ямайке было запрещено, в 70—80-е годы XVII века остров по-прежнему служил убежищем для многих английских и голландских флибустьеров. На пиратстве продолжали наживаться как продажные колониальные чиновники, так и представители деловых кругов: купцы, плантаторы, судовладельцы, содержатели гостиниц и питейных заведений. Их тайные, а порой и явные связи с пиратами подкреплялись заинтересованностью в источнике быстрого и легкого обогащения. Например, голландский флибустьер Питер Янсзоон (в английских документах — Питер Джонсон), арестованный на Ямайке в 1672 году за грабеж испанского корабля и уничтожение его команды, был признан невиновным и, по словам сэра Томаса Линча, «через полчаса явился в таверну выпить со своими судьями». Линчу пришлось снова арестовать Янсзоона и отдать под суд. На этот раз пирата признали виновным и приговорили к смертной казни. Перед повешением голландец «усердно каялся, словно был таким набожным и таким невинным, как один из ранних мучеников».
В ноябре 1674 года Линч был смещен с поста губернатора, и на его место король утвердил лорда Воана. Заместителем губернатора стал сэр Генри Морган. Прибыв на Ямайку, лорд Воан 15 марта 1675 года взял управление в свои руки, а Морган принес присягу в качестве вице-губернатора. В мае того же года ассамблея проголосовала за то, чтобы только «сэр Генри Морган за его доброе служение стране получал 600 ф. ст. [в год] в период его вице-губернаторства, но никто из его преемников».
Отношения между Воаном и Морганом не заладились с самого начала. В сентябре губернатор отправил в Лондон жалобу на своего заместителя, унижавшего свое достоинство тем, что ежедневно пьянствовал и предавался азартным играм в тавернах Порт-Ройяла.