К середине XVI в. Берестье вновь стало крупным торгово-ремесленным центром. В 1563 г. берестейский староста Николай Радзивилл Черный основал здесь первую на территории современной Беларуси типографию, а три года спустя город стал центром Берестейского воеводства. К тому времени он состоял из трех частей: замка, города, или «места», на острове, окруженного водами Буга и Мухавца, а также Замухавечья, расположенного на правом берегу рукава реки. Центральная часть «места» была укреплена оборонительной стеной, периферийная — валом.

Заново отстроенный замок представлял собой достаточно мощное фортификационное сооружение с валом и пятью башнями. В старой браме висел ратный колокол — «звон великий». Основу оборонительной линии составляли объемные двухъярусные стены, внутри которых находились жилые и служебные помещения, предназначенные для «схованья» населения и хранения запасов. На верхний ярус стен, где проходила боевая галерея, вели лестницы. Под башнями, как водится, имелись камеры для содержания заключенных — «вязней». На внутренней территории располагались цейхгауз, королевские конюшни и жилые дома европейского типа с каминами, залами для приемов и застекленными окнами. Некоторые здания были связаны с башнями крытыми переходами. В арсенале находились металлические доспехи на 100 человек, 12 пушек, большая мортира, 96 гаковниц и 7 железных «ручниц», 360 ядер, формы для их отливки, холодное оружие, болты для арбалетов, пороховая мельница. Под землей к реке были проложены потайные деревянные трубы, по которым с помощью специальных помп в крепость во время осады могла подаваться вода. От водяной мельницы могли работать и механическая «ступа на толчение пороху», и сукновальня. За оружием и замковыми сооружениями присматривали слуги и ремесленники: пушкарь, плотник, бондарь, кузнец, слесарь, каменщик, печник, столяр, а также пивовары, мельники и другие. Их называли «людьми замка», и они были освобождены от подати в городскую казну. Водонасосное устройство обслуживалось отдельным специалистом — «рурмистром». От Замухавечья замок отделял водяной ров, соединявший Мухавец с Бугом.

В мирное время «штатный гарнизон» состоял из 12 сторожей и 12 наблюдателей-«кликунов». Защита города и замка возлагалась на мещан и жителей волости. В случае необходимости присылали дополнительный воинский контингент. Так, во время Ливонской войны в июле 1566 г. здесь находился кавалерийский отряд в составе 600 человек. Горожане, входившие в цеховые военные объединения, согласно уставам своих цехов обязаны были иметь «супольную армату…бубен и хоругву… для обороны места». Каждый полк со своим оружием непременно принимал участие в военных смотрах.

В 1569 г. после подписания Люблинской унии город вошел в состав Речи Посполитой, объединившей Польшу и Великое княжество Литовское, и был переименован в Брест-Литовск. В октябре 1596 г. в Бресте состоялся собор, утвердивший объединение (унию) католической и православной церквей под эгидой Ватикана. Это было время расцвета польско-литовского государства. За сто лет мирной жизни население города увеличилось вдвое и к середине XVII в. превышало 10 тысяч человек. Затем времена изменились.

Городской герб на печати 1651 гг.

Осенью 1648 г. Брест-Литовск разграбили и сровняли с полем посланные Богданом Хмельницким в «белорусский» рейд украинские казаки. По словам московского посла Егора Кунакова, в Бресте «поляков и жидов, жен их и детей побили без счета, и хоромы и стены каменныеразломали и раскидали». Остальное уничтожили «освободившие» город королевские наемные рейтары.

Брест вновь поднимался из пепла и вновь оказывался на пути завоевателей.

В 1654 г. варшавский сейм принял специальную декларацию о срочном восстановлении брестских укреплений. Деревянные стены замка планировалось заменить пятью оборонительными сооружениями бастионного типа. Горожане были освобождены от общественных налогов, деньги шли с Брестской королевской экономии. Отсюда же набирали людей для фортификационных работ. К строительству привлекались все жители без исключения, включая духовенство. Руководил работами присланный королем инженер, однако дело двигалось медленно и так и не было доведено до конца ввиду последовавшей череды нашествий, которые в польской истории получили название «Потоп».

В ходе русско-польской войны 1654–1667 гг. и развязанной Швецией войны против Речи Посполитой и России Брест-Литовск неоднократно оказывался в полосе военных действий. Спор славян между собою отличался особой жестокостью. Московитами война велась в первую очередь за территории и материальные ценности, население уничтожалось практически поголовно. Указ тишайшего «московского царя православного» Алексея Михайловича прямо требовал: «Унии не быть, латинству не быть, жидам не быть». Почти полностью были вырезаны жители Витебска, Слонима, Мира, Вильно, Пинска и других городов. Виленский епископ Юрий Тышкевич позднее писал: «Не было пощады ни возрасту, ни полу; все места были залиты кровью убитых и трупами, особенно Бернардинский костел, куда в поисках убежища собралось особенно много людей».

Осенью 1655 г. Новгородской полк русской армии под командованием князей С.А. Урусова и Ю.Н. Барятинского, имевших царскую инструкцию польские города «воевать и разорять», а со шведами «отнюдь не задиратца», совершил поход от Ковно на Брест, но был остановлен войском гетмана П.Я. Сапеги в 25 верстах от города. В сражении у деревни Верховини поляки 17 ноября потерпели поражение, однако штурмовать укрепленный город, в котором находился сильный гарнизон, русские воеводы не решились. В следующем году под стенами Бреста впервые появились шведы, но и они отступили.

В мае 1657 г. Брест-Литовск не выдержал осады объединенной армии шведского короля Карла X Густава, Семиградского князя Ракоши и украинских казаков и был ими захвачен. По одной из версий, это стало возможным из-за измены наемной немецкой пехоты, перешедшей на службу шведскому королю, по другой — противник овладел городом «через трактат», т. е. заставив гарнизон сдаться на определенных условиях. Город был разграблен и большей частью сгорел. Король шведский по достоинству оценил стратегическое положение Бреста и даже планировал основать здесь укрепленный лагерь. Но в это время против Швеции выступила Дания, в связи с чем Карл X срочно покинул Брест. Тогда Павел Сапега приказал Михаилу Радзивиллу, подчашему Великого княжества Литовского, собрать отряд добровольцев и произвести диверсию с целью захвата Брестской фортеции, в которой находился вражеский гарнизон численностью до 600 человек. Операцию готовили в обстановке секретности. Сапега приказал все тщательно разведать и, выбрав нужное время, «учинить эксперимент: спешив людей, подобраться, как можно тише…чтобы никто и пера не уронил», а затем атаковать укрепления, захватив противника врасплох. Рейд прошел удачно. 20 августа гетман личным письмом поблагодарил Радзивилла и его отряд, состоявший из обывателей Брестского воеводства, как от своей «персоны, так и от всей Речи Посполитой за совершенный труд… при отобрании Бреста, за что все Отечество должно отплатить благодарностью».

В опустошенном и разграбленном Брест-Литовске начали восстановление укреплений. Для завершения строительства сейм Речи Посполитой выделил в 1658 г. 10 миллионов злотых и планировал поставить необходимое для обороны количество пороха, ядер и оружия. Гетман Великого княжества Литовского получил наказ содержать здесь столько пехоты, сколько будет нужно. Реальные обстоятельства делали подобные декларации лишь благими пожеланиями. Не случайно в следующем году Варшавский сейм лишь продублировал ранее принятое постановление о брестских укреплениях.