Крымская война 1854/56 годов изменила ситуацию. Сразу после ее окончания в 1856 году военное руководство обратило внимание на то, что городские стены и фортификации устарели и больше не служат своим целям. Они находились в плохом состоянии, а в некоторых местах были полностью разрушены по причине плохого ухода. Жители использовали площади стен в качестве пастбищ для коз и овец. Возможно, легенды о выборгских козах и заграждениях возникли именно в те времена. Военным руководством было принято решение о том, что новые фортификации и форты будут построены в Паттеринмяки {«Гора батареи»). Строительство завершилось к 1870 году.

Завершение строительства Сайменского канала в 1856 году и железнодорожного сообщения в 1860 году имели решающее значение для жизни Выборга. Согласно императорскому декрету от 1859 года старые стены 16 века стали собственностью города. Крепость Короны Святой Анны, или так называемая крепость Сииканиеми, оставалась на попечительстве военного руководства, и снос был запрещён.

В январе 1860 года Александр II утвердил предложения о разборке старых укреплений, мешавших развитию города, а 9 (21) февраля 1861 года — новый генеральный план Выборга, составленный губернским землемером Б. Нюмалмом. По этому плану были затем проложены и новые улицы, одна из которых в честь императора была названа Александровской (ныне Ленинградский проспект).

Новый план города инженера Берндта Отто Нималма был принят в 1861 году. Вскоре начался снос стен. Территория для застроек увеличилась в шесть раз.

Строительство новых главных улиц Торккелинкату («Улица Торккели») и Алексантеринкату, («Улица Александра») было закончено в 1880 году. Оставшиеся части стены были снесены в конце 1880 годов. Только бастион «Залив Пантсарлахти» и стены, окружавшие его, напоминают нам о прошлых веках.

В 11 часов утра 1 сентября 1863 года к пристани Выборга пришвартовался пароход «Александрия» (первая паровая императорская яхта), прибывший из Петербурга. В свите отца-императора Николая I Александр II прибыл в г. Выборг по пути в Гельсингфорс (Хельсинки).

Вся набережная была усеяна народом, под восторженные крики «Ура!» дамы бросали в воду букеты цветов. Выборг встречал Государя императора Александра II, который направлялся в Гельсингфорс на открытие СеймаВеликого княжества Финляндского. Государя сопровождали высшие чиновники империи: министр двора В.Ф. Адлерберг, министр иностранных дел А.М. Горчаков, военный министр Д.А. Милютин, морской министр Н.К. Краббе, шеф жандармов князь В.А. Долгоруков и многие другие.

Здесь он посетил православный храм во имя Богородицы «Всех скорбящих Радости», находившийся за Спасо-Преображенским собором, который в это время был на ремонте.

О визите императора в Выборг сообщала газета «Северная почта» 6 сентября 1863 года:

«Пристань была обделана палаткой и обвешана флагами — от нее вплоть до улицы был постлан ковер; за палаткой была выстроена большая арка, очень красиво убранная в зелень и флаги с надписью: „Приветствуем нашего возлюбленного повелителя'«. Под этой аркой бургомистр поднес Государю хлеб-соль и приветствовал Его Величество речью на немецком языке. От арки по улицам города были поставлены большие столбы с флагами, украшенные зеленью и соединявшиеся гирляндами из цветов. За этой же аркой, вплоть до улицы стояли по обе стороны ковра дамы и девицы, все в белых платьях и каждая с букетами, которые они кидали к ногам Государя, когда Он проходил».

В сопровождении выборгского губернатора Бернгарда Эммануиловича Индрениуса Государь в коляске отправился в губернаторский дом, где принял барона Пауля фон Николаи, владельца известного имения «Монрепо», лежащего в 4-х верстах от г. Выборга, и изволил принять приглашение барона Николаи посетить его поместье. Государь прослушал специально написанную к его визиту кантату, которую пел хор мальчиков, отстоял обедню в церкви и устроил смотр выборгскому крепостному батальону. После чего в доме губернатора принимал депутатов от гражданских и военных чинов Выборга, от духовенства и крестьян. По окончании приема император изволил посетить усадьбу Монрепо, откуда возвратился на пароход под восторженные крики горожан. Визит императора в Выборг был краток: уже в 2 часа пополудни пароход «Александрия» отчалил от выборгской пристани и направился к Фридрихсгаму.

Государь император Александр II в Выборге бывал не единожды. Будучи ещё Великим князем, в 1851 году через Выборг Александр Николаевич ехал в Хельсинки в качестве посредника в конфликте местных властей со студентами Хельсинского Университета, Канцлером которого по традиции являлся наследник престола. Это была так называемая «Примирительная» поездка. Два года спустя, в марте 1853 года, состоялась инспекционная поездка Великого Князя: Александр инспектировал состояние войск в Выборге, Хамине и Хельсинки в связи с угрозой начала войны с Англией. В 1856 году состоялся первый официальный визит в Финляндию в качестве императора. Вместе с тремя своими братьями в течение 10 дней Александр знакомился с Финляндией. Ночью спал в повозке, днем инспектировал войска и участвовал в приемах. Во время визита Александр II посетил города Выборг, Хамина, Порвоо, Тампере, Хаменлиинна, Лаппеенранта, Холлола и Настола.

В феврале 1870 года была построена железная дорога от столицы до Выборга. Император вместе с сыном Владимиром решил испытать новую дорогу и заодно поохотиться на медведя на реке Хейняйоки в 35 км от Выборга. Это так называемая «Охотничья» поездка. Последний раз через Выборг в Хельсинки император Александр II проезжал в июле 1876 года. Он ехал на специальном Царском поезде для участия в промышленной выставке: Финляндия демонстрировала свои достижения за время пребывания в составе Российской империи.

Всего было 12 визитов императора Александра II в Финляндию, где он провел 46 дней. Но о визите 1 сентября 1863 года стоит помнить потому, что тогда российский Государь император посетил имение баронов Николаи Монрепо. К семье Николаи император относился со вниманием. Незадолго до смерти Пауля фон Николаи император отправил барону телеграмму, беспокоясь о его здоровье. Александр II ценил сына Пауля фон Николаи Леонтия, героя Кавказских войн. Отдавая должное храбрости офицера, император в письме князю Барятинскому писал:

«…имел удовольствие снова видеть храброго Николаи».

А в усадьбе Монрепо портрет императора Александра II украшал Царскую комнату.

28 февраля 1881 г. Император Александр II, всегда говевший в первую неделю Великого поста, причастился Святых Христовых тайн. 1 марта 1881 г. Государь поехал к своей двоюродной сестре Великой Княгине Екатерине Михайловне и, попив у нее чаю, стал возвращаться в Зимний дворец. Около 15 часов присутствовавшие в Аничковом дворце услышали два мощных взрыва, раздавшихся со стороны Екатерининского канала. Вслед за ними пришло страшное известие: Государь тяжело ранен какими-то злодеями. Как позже было установлено, ими были члены террористической организации «Народной Воли» Николай Рысаков и Игнатий Гриневицкий. Первую бомбу бросил Рысаков. От её взрыва Александр II не пострадал,