21 июня (1 июля) 1671 года посол Венеции в Испании Карло Контарини писал дожу и сенату:

«Серьезная потеря Панамы сопровождается острым чувством горечи, охватившим часть здешнего правительства, превосходящим привычные характеристики этой нации, в коих возвеличиваются ее доходы и ничего не говорится о потерях. На днях был созван Государственный совет, на котором присутствовала сама королева. На нем граф Пеньяранда, председатель Совета по делам Индий, ворчливым тоном и с печальным выражением лица доложил о потерях, понесенных короной с тех пор, как он занял сей пост. Он сообщил об огромном напряжении, возникшем из-за этого величайшего несчастья, которое, если его не излечить, принесет еще большие убытки. Он посетовал на неблагосклонность к нему судьбы и жаловался, что дополнительные энтузиазм и энергия, которые он проявил в своих действиях, несомненно, более значимы, чем они представляются в свете происшедших событий. Последние статьи договора с англичанами были нацелены на установление постоянных и безопасных отношений в Америке. Но вместо сохранения доверия и соблюдения их целостности он теперь видит их разорванными и нарушенными…»

Годолфин продолжал уверять двор в Мадриде, что его король не причастен к разорению Панамы. 9 (19) августа он имел аудиенцию у королевы, во время которой энергично убеждал ее, что король Карл удручен случившимся. В то же время, следуя инструкциям лорда Арлингтона, посол добавил, что, если испанцы предпримут враждебные действия против англичан и попытаются захватить Ямайку, король Великобритании «будет вынужден отомстить за это».

В условиях, когда Испания не располагала средствами для ведения войны против Англии, королева взяла себя в руки и ответила Годолфину, что удовлетворена заверениями короля Карла о его непричастности к панамскому инциденту.

Графде Молина, вернувшийся послом в Англию, потребовал от британского правительства суда над Морганом. Карл готов был пойти на уступки испанской стороне. Впрочем, всю вину за сожжение Панамы он возложил не на командующего и участников панамской экспедиции, а на Модифорда.

Новым вице-губернатором Ямайки еще 23 сентября (3 октября) 1670 года был назначен протеже графа Карлайла полковник Томас Линч (в декабре он был торжественно возведен в рыцари и стал сэром Томасом Линчем). Петиция Совета Ямайки, купцов и плантаторов о продлении полномочий Модифорда была проигнорирована. В начале января 1671 года король подписал инструкции Линчу, к которым прилагались королевский указ о его назначении и документ, отменяющий губернаторские полномочия Модифорда. Однако из-за бюрократических проволочек новый вице-губернатор смог получить все необходимые документы лишь в конце зимы, в Вест-Индию отплыл в апреле, а в Порт-Ройял прибыл с двумя военными кораблями — «Эсистенс» и «Уэлкам» — 25 июня (5 августа).

На причале измученных долгим переездом Линча и его семью приветствовали Модифорд и Морган. Затем новый правитель Ямайки был приглашен на официальный обед в дом Модифорда, где присутствующим зачитали королевскую прокламацию об отставке прежнего губернатора. В письме лорду Арлингтону вице-губернатор заметил: «Люди были не очень довольны».

28 июня (8 августа) в Сантьяго-де-ла-Веге (Спаниш-Тауне) состоялось заседание Совета Ямайки, на котором было решено «немедленно объявить, что все, сделанное в рамках закона, изданного от имени сэра Томаса Модифорда, остается в силе до следующего верховного суда и что все мировые судьи должны продолжать исполнять свои обязанности в силу их поручений от сэра Томаса Модифорда, пока новые поручения не будут выданы».

В приватной инструкции король предписывал Линчу, что, «как только он возьмет под свой контроль управление и форт [форт Чарлз], во избежание каких-либо осложнений… ему необходимо арестовать сэра Томаса Модифорда и отправить домой под усиленной охраной, поскольку вопреки ясным распоряжениям короля он совершил многие преступные и враждебные акции против подданных доброго брата Его Величества — Католического Короля».

В вину Модифорду могли поставить не только поощрение антииспанских экспедиций в те годы, когда на официальном уровне в англо-испанских отношениях наметилось потепление, но и утаивание от короны значительной части доходов от каперства. Отчеты самого губернатора о доходах и расходах Ямайки с 4 (14) июня 1664 года по 25 июня (5 июля) 1671 года, включая отчет о «пятнадцати процентах с призов в пользу Его Величества», показывают ничтожно малые поступления от захваченной флибустьерами добычи. Специальный отчет о призах охватывал период с 20 (30) августа 1665 года по 17 (27) ноября 1667 года. В нем доля короля была оценена в 858 фунтов стерлингов 18 шиллингов и 3 пенса, что явно мало, учитывая активность флибустьеров в указанное время. Бухгалтер Модифорда Кэри Хиляр показал под присягой, что «отчет о пятнадцати процентах точно соответствует записям адмиралтейского суда», но это лишь усилило недоверие правительства как к отчетам, славшимся с острова, так и к деятельности адмиралтейского суда Ямайки. Еще более удивительным было утверждение Хиляра о полном отсутствии доходов от призов за период с 1668 по 1671 год, когда Морган совершил свои самые масштабные походы.

Модифорд и Морган догадывались, что их могут взять под стражу в любой момент, но оба держались молодцами, не проявляя и тени страха. Более того, Модифорд в течение следующих шести недель оказывал Линчу всяческую помощь в управлении делами колонии, а когда новый глава ямайской администрации заболел подагрой, великодушно предоставил ему жилье в собственном доме.

В мае 1671 года Чарлз Модифорд, сын опального губернатора, был арестован в Лондоне и заточен в королевскую тюрьму Тауэр в качестве «дополнительной гарантии» доставки его отца в Англию. В начале августа, когда эта новость достигла Ямайки, Линч понял, что настало время исполнить приказ его величества. 12 (22) августа он заманил сэра Томаса Модифорда на борт фрегата «Эсистенс» под предлогом, что хочет «кое-что передать ему от короля». Там в присутствии капитана Джона Хаббарта и четырех членов Совета Ямайки экс-губернатору показали указ о его аресте в наказание за то, что, вопреки строгим указаниям из Лондона, он санкционировал антииспанские действия флибустьеров.

Модифорд встретил эту новость с величайшим достоинством, выразив лишь удивление по поводу бестактного способа его ареста и заверив, что «мог продемонстрировать свое послушание добровольным подчинением воле Его Величества». Линч, смутившись, тут же сообщил арестованному, что лорд Арлингтон гарантировал его личную безопасность и неприкосновенность всего его имущества; просто, в угоду испанцам, необходимо было «проявить некоторую мстительность за столь несвоевременные набеги».

Несмотря на опасения Линча, никто не встал на защиту Модифорда и не предпринял попытки его освободить. Морган не присутствовал при аресте своего патрона — в это время он находился у себя дома, страдая от тропической лихорадки, которой заболел еще на Панамском перешейке.

15 (25) августа в Порт-Ройяле состоялось очередное заседание Совета Ямайки, на котором были зачитаны письма и инструкции короля по поводу взятия под стражу и отправки в Англию сэра Томаса Модифорда.

Через несколько дней опального губернатора переправили на борт торгового судна «Джамайка мерчент», которым командовал капитан Джозеф Напмен. Присматривать за Модифордом должны были 12 военных моряков во главе с лейтенантом, специально переведенные для этого с фрегата «Эсистенс». 22 августа (1 сентября) судно Напмена покинуло гавань Порт-Ройяла, взяв курс на Англию.