8 января 1660 г. московские войска под командованием воеводы И.А. Хованского по льду подошли к укреплениям города и взяли их внезапным приступом. После этого еще пять суток велась осада замка, завершившаяся успешным ночным штурмом и гибелью защитников. Хованский стоял в Бресте до весны, посылая оттуда ратных людей в глубь Польши. В занятом городе воеводе пришлось восстанавливать укрепления для защиты собственных войск. В донесении царю Алексею Михайловичу он сообщал, что «Брест верхний город укрепил я накрепко, сверх старых крепостей по земляному городу нарубил тарасы в 2 стены рублены, а вышиною 2 сажени, а в иных местах и в 2,5, а хлебных запасов года на два будет тем людям, которые оставлены, а соли и пушечных всяких запасов гораздо много, сидеть в верхнем городе бесстрашно от неприятеля, а большого города занять некем, надобеть посадить тысячи 4, а на меньшую статью 3000, и то будет неприятелю страшно».

Однако в результате Оливского мира между Швецией и Речью Посполитой, высвободившего значительные воинские силы последней, Хованский был вынужден оставить Брест. В 1661 г. в город вновь вошли польско-литовские войска. К этому времени Брест-Литовск был «весь до последнего строения разорен и сожжен», населения осталось «очень малая горсточка», погибли все члены магистрата, сгорели все архивы.

Для восстановления крепости город на четыре года был освобожден от всех налогов. Вновь отстраивались костелы и жилые дома, в 1665–1666 гг. работал даже монетный двор. Но в 1706 г. в разгар Северной войны шведские войска под командой генерала Мейерфельда захватили и разграбили Брест-Литовск, в котором размещались провиантские склады русской армии. Крепость, не выдержав осады, капитулировала. Шведская оккупация продолжалась почти шесть лет.

В результате долгих и разорительных войн, сопровождавшихся голодом и эпидемиями, Брест-Литовск пришел в упадок. Его население к середине XVIII в. составляло 1800 человек, замковые укрепление были разрушены.

Во второй половине XVIII в. Речь Посполитая, истощенная беспрерывными нашествиями, переживала тяжелый политический и экономический кризис. Государственные структуры не обладали реальной властью. Другие державы бесцеремонно вмешивались во внутренние дела страны. Шляхетство, забыв о национальных интересах, срывало сеймы и собиралось в конфедерации, магнатов не интересовало ничего, кроме укрепления личной влаёти. Польско-литовское дворянство, увлеченное борьбой за «вольности», бойкотировавшее любые реформы, разделившееся на враждебные группировки, непринужденно обращавшееся к иностранной помощи, в итоге развалило государство, чем не преминули воспользоваться соседи.

5 августа 1772 г. последовал первый, частичный, раздел Речи Посполитой между Австрией, Пруссией и Россией, а 12 января 1793 г. — второй. Началась интервенция трех держав. Российская империя ввела оккупационные войска под предлогом освобождения украинских и белорусских земель от польского гнета. Заодно были «освобождены» латышские и литовские земли. В марте 1794 г. польские патриоты, стремившиеся сохранить суверенитет и целостность страны, подняли восстание, которое возглавил герой борьбы за независимость североамериканских колоний бригадный генерал Тадеуш Костюшко, провозглашенный диктатором и главнокомандующим национальными вооруженными силами. Применяя партизанскую тактику, инсургенты, пользовавшиеся поддержкой населения, действовали дерзко, стремительно и инициативно. Русские регулярные отряды их «повсюду били и гоняли, а из того ничего не выходило». Военные действия затягивались.

Для скорейшего решения проблемы императрица Екатерина II отозвала из Финляндии генерал-аншефа A.B. Суворова и в августе назначила его начальником небольшого войска с ближайшей задачей занять Брест-Литовск и устроить там магазины для армии. 6 сентября 1794 г. недалеко от Кобрина произошло сражение между шеститысячным отрядом под предводительством генерала Кароля Сераковского и корпусом A.B. Суворова, насчитывавшим 12 тысяч человек. Повстанцы потерпели поражение, а два дня спустя были настигнуты под Брестом и наголову разбиты. В город вступили русские войска. A.B. Суворов этим успехом, как и ожидалось, не ограничился. Получив подкрепление и объединив под своим командованием около 30 тысяч бойцов, он 24 октября взял штурмом Прагу — предместье Варшавы на правом берегу Вислы, что привело к капитуляции столицы и ликвидации главного очага сопротивления. Попавший в плен «опасный смутьян, бунтовщик и вольнодумец» Костюшко был заключен в Петропавловскую крепость. Король Станислав-Август, кстати, уроженец Брестчины, отрекся от престола. A.B. Суворов за польскую кампанию получил звание фельдмаршала.

В октябре 1795 г. последовал третий раздел Речи Посполитой, в результате которого она исчезла с политической карты мира. Поморье, Центральную Польшу с Варшавой получила Пруссия, Галицкие земли с Львовом и Галичем и Южная Польша с Люблином и Краковом отошли Австрии. К России были присоединены земли Великого княжества Литовского, Левобережная Украина, Волынь, Беларусь.

Брест-Литовск вместе с другими белорусскими городами вошел в состав Российской империи и вновь оказался на границе. За Бугом теперь лежали австрийские земли. Год спустя Брест стал уездным городом Слонимской, затем Литовской и Гродненской губернии.

Инкорпорация белорусско-литовских земель в состав чужого государства происходила болезненно. Например, распущенное войско Великого княжества Литовского (18 тысяч человек) Екатерина II от греха подальше велела сослать в Екатеринославль на вечное поселение. Всего в далекие российские губернии было выслано около 50 тысяч семей. «Освобожденных» от польского гнета крестьян делили имперские рабовладельцы. Только за 1772–1800 гг. в собственность русским помещикам было роздано 208 505 «душ мужеского пола». Недовольство новыми порядками высказывали администрация и жители городов, утратившие самоуправление. Непосильным бременем для белорусских губерний стали налоги, которые собирали не ассигнациями, как на остальной территории империи, а золотыми и серебряными монетами, что было в четыре-пять раз дороже. Вводились рекрутские наборы, которых раньше здесь не знали. Притеснялась униатская церковь, к которой принадлежало до 70 процентов населения. Это ломало привычный уклад жизни, обостряло ситуацию, создавало почву для сопротивления. Польское дворянство мечтало о возрождении Речи Посполитой. Большие надежды возлагались на императора Наполеона. Разгромив Пруссию, из части захваченных ею польских земель он создал в 1807 г. Великое герцогство Варшавское, которое стало верным союзником Франции. Брестские чиновники польского происхождения поставляли сведения французской разведке, шляхетская молодежь переходила границу, чтобы записаться в победоносные наполеоновские войска. Наполеон заигрывал со шляхтой и раздавал обещания «устроить Польшу». Под эти авансы племянник последнего короля Речи Посполитой Юзеф Понятовский сформировал 100-тысячную польскую армию для участия в походе на Россию.

С началом Отечественной войны 1812 г. Брест-Литовск в очередной раз стал ареной военных действий. 22 июня в город вошел австрийский корпус генерала Шварценберга, однако 3 июля он был выбит передовыми дивизиями 3-й армии генерала А.П. Тормасова. На помощь австрийцам прибыл саксонский корпус генерала Жана Луи Ренье, и русские войска после жестокого сражения под Городечно 31 июля отступили к Луцку. В начале сентября армия А.П. Тормасова соединилась на Волыни с Дунайской армией адмирала П.В. Чичагова. Получив численное преимущество, русские войска перешли в наступление и, оттеснив противника за Западный Буг, 29 сентября заняли Брест-Литовск. Адмирал Чичагов пробыл здесь 15 дней и двинул армию на Слоним. В городе осталась войсковая группа под командованием генерала Ф.В. Остен-Сакена, которая вела активные боевые действия против корпуса Шварценберга. 13 ноября она была разбита и отступила на Волынь. Брест-Литовск вновь оказался в руках французов.