Опустошив окрестности города, войско Василия сняло осаду и в начале ноября возвратилось в Москву. Царь был вне себя от злости. Ни отец, ни он не могли покорить Смоленск. Василий ушёл вовремя. Сигизмунд за четыре недели осады Смоленска успел собрать 30-тысячную рать и готовился идти к Смоленску. А ещё с наступлением осени «подоспели дни студёные, а корму конского скудно было», как писал монах, автор «Повести о Смоленском взятии».

И Сигизмунд, и Василий понимали, что уход русских войск – это только передышка. Напряжение между Литвой и Москвой нарастало. Мелкие стычки на границе, слухи о насильственной смерти в Литве вдовствующей великой княгини, сестры Василия, Елены Ивановны и отказ Москвы выдать Литве князя Михаила Глинского, устроившего в 1507–1508 годах мятеж, а также заключение Литвой союза с Крымом против Москвы разрядке не способствовали. Кроме того, Великий князь считал Смоленск своей вотчиной, поскольку смоленский князь Юрий Святославич после захвата его града и земель бежал в Москву и принял над собой руку Великого князя и крест на том целовал.

Сигизмунд поход Василия ожидал, но не так скоро. Он успел снабдить гарнизон порохом в достаточном количестве и пищалями. Кроме того, заменил воеводу, им стал Юрий Сологуб.

В феврале 1514 года Великий князь решился на новый поход на Смоленск. Через Михаила Глинского из немецких земель были приглашены несколько наёмников, в том числе опытные пушкари во главе со Стефаном. Чтобы обезопасить себя от вероятного нападения крымчаков, заранее отправили полки в Рязань, Серпухов и на Угру. А ещё пять полков отправили в Тулу. Не случись нападения, они могли быстро быть переброшены под Смоленск. Так же были приняты меры обезопасить русское войско от удара с запада ратью Сигизмунда. Новгородским наместникам Василию Шуйскому и Ивану Морозову приказали идти 7 июня на Оршу.

В начале июня во главе малой рати к Смоленским посадам подошло войско Даниила Щени. Пока ратники возводили туры и рогатки, Михаил Глинский начал вести тайные переговоры со знатными смоленскими людьми, склоняя их к сдаче города.

Сам Василий с братьями Юрием и Семёном выступил с большим войском из Москвы 8 июля. Войско было велико, до восьмидесяти тысяч. В их основе было две тысячи служилых татар и огромный обоз с «пушками великими». В середине июля войско подошло к Смоленску, окружило город плотным кольцом, чтобы мышь не проскочила, не то что посыльный к Сигизмунду. Василий распорядился поставить шатры для себя и приближённых в виду города, чтобы самому наблюдать за осадой и штурмом.

После возведения укрепления 29 июля начался обстрел города из осадных орудий, в чём немало преуспел Стефан. Наёмник-пушкарь точно клал в цель одно ядро за другим. Стены города представляли тогда дубовые срубы, на манер избы сложенные, внутрь засыпалась и утрамбовывалась земля, а снаружи дубовые брёвна обмазывали толстым слоем глины от поджогов. Но ядра из «великих» пушек крушили прочный сруб. Пушки стреляли с утра до вечера. «…заколебалась земля и друг друга не видели, ибо весь град в пламени и дыму вздымался. И страх великий напал на горожан, и начали из града кричать, чтобы Великий государь пожаловал, меч свой унял, а бою велел перестать, и они хотят государю бить челом и град сдать».

Сто сорок пушек сделали своё дело, над воротной башней выбросили белый флаг. Смоленский наместник Юрий Сологуб и местный епископ Варсонофий пришли в шатёр Великого князя просить о перемирии. Василий Иванович потребовал сдать город. Сологуб просил дать один день на размышления и переговоры с князьями смоленскими и боярами. Василий Иванович отказал, и на следующий день пушечный обстрел продолжился. Простой люд собрался на площади и стал требовать сдачи города на милость московского князя. Под давлением и угрозами ночью открыть ворота власть имущие согласились сдать город. В Смоленск отправились для обсуждения условий сдачи сын боярский Иван Шигона-Поджигин и дьяк Иван Телешов. Государь московский пообещал в случае сдачи города отпустить всех воевод и ратных людей, кто не пожелает пойти на московскую службу. Бояре и князья, хоть и нехотя, 31 июля отворили городские ворота, пошли к шатру Великого князя челом бить и крест на верность целовали. Юрий Сологуб, а вместе с ним до сотен разного чина ратных людей присягать Москве отказались и были отпущены. По прибытии в Литву Сологуб был обвинён в сдаче крепости без боя и казнён.

Василий Иванович распорядился войти в город с частью войска Даниилу Щене и велел всех людей смоленских к целованию привести. После молебна, совершённого епископом Варсонофием, люди клялись в верности московскому государю и крест на том целовали. Смоленск почти на сто лет стал русским. Позже, в 1522 году, при подписании перемирия, Литва признала принадлежность Смоленска Москве. Город был снова захвачен поляками в период Великой Смуты.

На радостях по взятию Смоленска по возвращении в Москву на месте сбора большой рати перед походом Великий князь основал Новодевичий монастырь.

Почти сразу после сдачи Смоленска Москве присягнули Мстиславль, Кричев и Дубровна. Михаил Львович Глинский, перейдя на сторону Москвы со своим кланом после мятежа 1507–1508 годов, получил на кормление в московских землях два города – Ярославец и Боровск. После взятия Смоленска князь рассчитывал получить город в свой удел, но Василий Иванович отказал. Глинский обиделся. Как так? Он способствовал – выписал наёмников-пушкарей, подговаривал знатных людей города к сдаче, и вдруг отказ? И Глинский предал снова.

После взятия Смоленска Великий князь повелел продолжать военные действия. На Оршу пошёл отряд Михаила Глинского, на Борисов – Михаила Голицы-Булгакова, на Друцк – его брата Дмитрия Булгакова, на Минск – Ивана Челядина. Когда войско Глинского подошло к Днепру, к Михаилу Булгакову прибежал один из доверенных слуг Глинского, сообщил, что Михаил Львович переписывается с Сигизмундом. Михаил с сотней ратников помчался к Глинскому, который уже собрался бежать, бросив своё войско. Михаила Львовича схватили, под сильным конвоем отправили к Смоленску, к Великому князю. Глинский на допросе отпираться не стал, да и бесполезно, при нём нашли письма к Сигизмунду. Князя заковали в железо и отправили в Москву.

Великому князю бы остановить наступление, вернуть отряды Челядина и братьев Булгаковых, ведь Сигизмунд через предателя Глинского узнал о маршрутах, численности отрядов, поставленных им задачах. Василий Иванович совершил ошибку, не отменив своё приказание о походе.

Глинский в темнице оставался долго. В 1526 году Василий Иванович женился во второй раз, на племяннице Михаила Глинского, Елене Васильевне. Молодая княгиня через год смогла выхлопотать у правящего супруга для дяди свободу под поручительство многих бояр и пять тысяч рублей, сумму по тем временам огромную. В 1530 году Михаил уже ходил вое-водой казанским, после смерти Великого князя в 1533 году Глинский вошел в опекунский совет при малолетнем Иване, в котором были оба брата Василия и двадцать бояр. Вдовствующая Великая княгиня сыном не занималась, завела любовную связь с конюшим, боярином Иваном Фёдоровичем Овчиной-Телепнёвым-Оболенским. Михаил Глинский прямо обвинил Елену Васильевну в неподобающем поведении, за что его бросили в тюрьму, где он и умер через год.