Губернатор ошибся – у Баннистера не было каперской грамоты. 7 июля он появился в Пти-Гоаве в тот момент, когда Граммон и 4 других капитана готовились отплыть в крейсерство к берегам Кубы. Новый губернатор французской колонии сьёр де Кюсси отказался выдать Баннистеру каперское поручение. Английский капитан напрасно предлагал оставить часть своих товаров в Пти-Гоаве в качестве гарантии своего «хорошего поведения»: Кюсси остался тверд в своем отказе.

Баннистер покинул Пти-Гоав и, возможно, некоторое время крейсировал вместе с флотилией Граммона у кубинских берегов; затем он отправился на острова Кайман, чтобы запастись черепахами. Там 6 августа он и почти вся его шайка были захвачены кораблями «Руби» и «Бонетта». Линч писал по этому поводу сэру Чарлзу Литтлтону: «Этой ночью “Руби” доставил Баннистера. Он взял его на Кайманах; тот имел около 115 человек на борту, большая часть из них – самые отъявленные разбойники в этих Индиях. Я велел доставить корабль и людей в Адмиралтейство и приказал судье немедленно начать процесс против них, так как мы не знали, каким образом охранять и удерживать такое большое количество людей. Мы полагали, что они будут найдены виновными в пиратстве…»

Но одно дело было поймать пиратов, а совсем другое – уличить их в совершении преступлений. Выяснилось, что у Баннистера не было французской каперской грамоты. К моменту задержания он взял лишь двух испанцев, коих военные моряки нашли на его борту. Однако в ходе судебного заседания испанцев заставили говорить в пользу Баннистера, и большое жюри не усмотрело в действиях капитана пиратства.

Линч был тяжело болен, и это решение суда еще больше обострило его болезнь, от которой он умер 24 августа. Хендер Моулзвёрт, сменивший его в качестве вице-губернатора, хотел довести дело до конца, но обнаружил, что свидетели-испанцы виляют; в итоге дело перенесли до следующего заседания.

Был сентябрь 1684 года, и Баннистер несколько недель готовился к побегу. В январе он, согласно информации Моулзвёрта, «под покровом ночи отчаянным решительным образом покинул форт, обеспечив себя затычками всех размеров, чтобы иметь возможность заткнуть любую пробоину, которую могли сделать ему пушки из форта, для чего он, по слухам, поместил в трюме около 50 человек, стоявших наготове. Но из-за небрежности часовых и темноты ночи, имея к тому же благоприятный бриз с суши, он прошел рядом с фортом еще до того, как майор Бекфорд, командовавший оным, смог заметить его… Бекфорд сделал все, что мог, но произвел в его сторону лишь три выстрела. Он сначала отправил мне сообщение о случившемся, каковое было для меня полной неожиданностью…».

От Ямайки Баннистер повернул к Сен-Доменгу. К моменту, когда он прибыл туда, в Пти-Гоав пришел с флотилией Граммон. Баннистер последовал за ним на остров Ваш, а оттуда – к островам Сан-Блас. Там его корабль был обнаружен военным кораблем «Руби», но его командир, капитана Митчелл, не рискнул идти на конфликт с превосходящими силами флибустьеров и предпочел ретироваться.

От Панамы флотилия Граммона пошла в Гондурасский залив, а затем напала на порт Кампече (лето 1685 года). Поскольку это предприятие не принесло большой добычи, некоторые пираты решили отделиться от Граммона. Таким образом, в начале сентября Баннистер покинул Кампече в обществе капитанов Лауренса де Граффа, Брэхи, Дюшена и Лагарда. 10-го числа того же месяца, между мысом Каточе и рифом Алакран, эти пираты наткнулись на 4 корабля армады де Барловенто. Испанцы сумели захватить корабль капитана Брэхи и 14 го числа атаковали капитана де Граффа, который сумел, однако, убежать от них. Баннистер и сопровождавшие его французские капитаны Лагард и Дюшен вышли из этой передряги невредимыми, достигли мыса Каточе, а оттуда взяли курс на Ямайку.

Не имея провианта и нуждаясь в кренговании, Баннистер и два его компаньона достигли северного берега Ямайки в октябре или в ноябре. 26 ноября губернатор Моулзвёрт, информированный об их присутствии, послал против них капитана Митчелла на «Руби», который застал в Порт-Люсии корабль капитана Дюшена. Дюшен и его люди при приближении королевских моряков спрятались в лесной чаще. Баннистер пришел за ними вскоре после ухода Митчелла и забрал их на борт «Голден флиса».

В январе 1686 года, в то время как Лагард пошел на остров Ваш, Баннистер прибыл на рейд Пти-Гоава. Предупрежденный о прибытии «Голден флиса», губернатор Кюсси в феврале прибыл в порт и велел Баннистеру немедленно покинуть французскую колонию, запретив брать кого-либо к себе на борт, а также пользоваться французским флагом. Прибыв на остров Ваш, Баннистер информировал капитана Лагарда о недружественном приеме, оказанном ему в Пти-Гоаве.

После этого Баннистер и Лагард решили оперировать в консорте как обычные пираты, нападая на суда всех наций. Кюсси узнал об этом 28 марта, когда оба пирата уже успели ограбить 2 английских торговых судна. В тот же день Кюсси поднялся на борт фрегата «Ла Сюбтиль» со 120 людьми, чтобы попытаться задержать их. Но 3 апреля 1686 года в окрестностях острова Ваш он встретил двух других охотников на пиратов, которые рыскали с той же целью: капитана «Руби» Митчелла, вооружившего торговое судно «Санта Роса», и капитана «Бонетты» Стэнли, которые неделей раньше ушли с Ямайки на поиски Баннистера. Но ни Кюсси, ни англичане не нашли следов пиратов.

В мае 1686 года одна из жертв Баннистера прибыла в Порт-Ройял, принеся новость, что Баннистер и Лагард ремонтируют свои суда в заливе Самана на северо-восточной оконечности Эспаньолы. Кроме того, стало известно, что 19 мая другое пиратское судно вошло в залив Самана: это был «Сент -Николас», голландский корабль с 10 пушками, ходивший в Гвинею и возвращавшийся оттуда в Пти-Гоав. Баннистер задержал «Сент-Николас», когда его люди ремонтировали «Голден флис».

Получив это известие, губернатор Моулзвёрт отправил в Саману корабли «Фалкон» (капитан Чарлз Талбот) и «Дрейк» (капитан Томас Спрэгг). Как и ожидалось, они нашли там Баннистера, имевшего под своим командованием 200 человек; «Голден флис» и «Сент-Николас» кренговались, но все их пушки были установлены на батарее на пляже. Началась артиллерийская дуэль, в ходе которой «Голден флис» был почти полностью уничтожен; в то же время пираты убили 23 королевских моряка. К сожалению, «Фалкон» и «Дрейк» имели слишком большое водоизмещение, и командиры боялись посадить их на мель; поэтому в итоге они прекратили сражение и ушли назад в Порт-Ройял.

Баннистер отремонтировал «Сент-Николас», тогда как разбитый «Голден флис» пришлось сжечь. Но тут между англичанами и французскими пиратами вспыхнула ссора, поскольку на борту французского корабля «Фаворит» не могли поместиться все желающие. В конечном счете 80 французских пиратов разместились на «Сент-Николасе», на котором они 15 июля вышли в море.

Тем временем, переоснастившись на Ямайке, «Дрейк» последовал за «Фалконом» в Саману, куда и прибыл в конце июля. Его капитан Спрэгг нашел там лишь два десятка пиратов, которые, выстрелив из мушкетов по кораблю, бежали в глубь суши.

В течение нескольких месяцев ямайские власти не имели новостей о Баннистере. Наконец, в конце года губернатор Моулзвёрт узнал от нескольких людей из шайки Баннистера, что их капитан находится в Гондурасе среди индейцев и, используя переодевания и чужие имена, продолжает заниматься пиратством. Моулзвёрт велел снарядить «Дрейк» и вспомогательный шлюп, чтобы преследовать разбойника. Капитану Спрэггу было разрешено казнить пирата, если он его схватит, чтобы не устраивать еще один судебный процесс в Порт-Ройяле.