Заговор Олельковича совпал с событиями, повлиявшими на развитие истории в Восточной Европе. В Новгороде при поддержке Великого Княжества готовилось восстание против власти Ивана III. Казимир заключил союз с ханом Большой Орды Ахматом. Ахмат выступил в поход и остановился возле Воротынска, ожидая выступления Казимира. Но тот так и не пришел с войском. В это время Казимир раскрыл заговор.

По одним данным, заговорщиков выдал киевский наместник Иван Ходкевич, по другим — брат Федора Бельского Семен, а по третьим — Казимиров слуга Ян Штендель. Он осматривал Кобринский замок и нашел тайный склад с оружием. Когда Казимир приехал в Кобрин, то Штендель сообщил ему о подозрительной находке. Казимир, почуяв опасность, не пришел на свадебный пир, сославшись на недомогание. Сразу же было произведено следствие. Слуги Бельского под пытками выдали своего господина. Князь спасся бегством из замка и отправился в Москву. Олельковича и Гольшанского схватили и заточили в тюрьму. В то же время на Подолье напали крымские татары.

Опасаясь выступления против себя православных феодалов, Казимир не пошел ни на Подолье, ни на помощь Ахмату. Ахмат, не дождавшись Казимира, заключил мир с Иваном III, удовлетворившись данью, и ушел с Руси. А Иван нашел союзника и против Ахмата и Казимира — крымского хана Менгли-Гирея и теперь слал ему письма с предложением напасть на Великое Княжество Литовское. Суд вынес заговорщикам смертный приговор, и 30 августа 1481 года их казнили.

Напуганные такой суровой расправой, православные князья Иван и Дмитрий Воротынские, Иван Перемышльский, Андрей и Василий Бельские, Иван Глинский сбежали в Москву. Это обострило и без того напряженные отношения между Великим Княжеством Литовским и Московией.

Казимир в 1480—1483 годах постоянно живет в Литве. В конце 1481 года он отправляет в Москву посольство с требованием передачи Великому Княжеству Новгорода и Великих Лук. Естественно, Иван III ответил отказом. Попытался Казимир договориться с Менгли-Гиреем, но тот не разорвал союза с Москвой. По наущению Ивана III хан 1 сентября 1482 года захватил Киев, разграбил его, а жителей вместе с киевским наместником Иваном Ходкевичем отправил в неволю. Хоть и было собрано 40-тысячное войско, но Казимир не решился на поход в Крым. Он приниженно клянчил у Менгли-Гирея мира, простя ему и разграбление Киева. «Было тому городу гореть, и тым людем погибнуть коли на них Божий гнев пришел. А за Божье ласки у нас есть городов и волостей и людей досыть». Поражает своим цинизмом подобный ответ правителя.

Собранные под скипетром Ягеллонов чешское и польское королевства, а также Великое Княжество Литовское и Русское, Молдавское княжество (в 1485 году, 15 сентября, молдавский господарь Стефан признал себя вассалом Казимира) пугали соседей своей объединенной мощью. Императорский канцлер Каспар Схлиск определил объединение Чехии и Польши под властью Ягеллонов как великое несчастье для немецких земель, «от которого пусть господь Бог убережет». Ясно, что соседи не дремали и активно искали средства против могущества Ягеллонов.

Против Польши, Чехии и Великого Княжества Литовского сложилась коалиция: Германия, Венгрия, Турция, Крымское ханство, Московия. Сдержало коалицию от активных действий выпадение из его рядов Венгрии. В 1490 году венгры выбрали своим королем Казимирова сына Владислава. Теперь Казимир чувствовал свою силу и мог говорить московским послам: «Монарх ваш любит требовать, но сам не хочет удовлетворить моих требований: это меня заставляет брать с него пример». Иван III опасался недовольства Казимира и не начинал с ним войны. А без Московии остальные члены коалиции не решались открыто бороться с Казимиром. Московский правитель выбрал тактику мелкой пограничной войны, оказывая силовое давление на «украинных» князей и разоряя их владения. Спасаясь от разорения, князья Воротынские и Белевские вместе со своими вотчинами перешли на сторону Москвы. По существу, Казимир пустил на самотек отношения с Москвой, руководствуясь принципом: будь что будет. Пагубное для Литвы решение.

Земной путь Казимира Андрея закончился 7 июня 1492 года. По дороге из Вильно в Польшу он заболел: «немач чырвона» свалила его с ног, и великий князь остановился в Городно. На вопрос врачу: «Есть ли какая надежда выздороветь?», Казимир услышал неутешительный ответ: «Уже не выживешь». Казимир обреченно смирился с приговором: «Нужно тогда умирать». Перед смертью он просил панов рады взять его сына Александра на великое княжение, а польских панов — выбрать королем другого сына — Яна Альбрехта. «И панове рада, видячы господора своего так покорне просячы, и к тому памятаючы, иж он княство Литовское добре радил и справовал и на то прызволили по жывоте его взятии на Великое княство Литовское сына его королевича Александра», — сообщает «Хроника Быховца».

Какую же память оставил о себе Казимир? Его не считали выдающимся правителем. Польский хронист Матвей Меховский писал о Казимире как о простом и обыкновенном человеке: «Любил король охоту с соколом на птиц, и очень нравились ему гончие. Был человеком всегда сдержанным, пил только воду и никогда не пробовал вина, медовухи, пива и лекарства, а запаха их не выносил. Очень нравилась ему баня. Казимир проводил жизнь деятельно и поэтому не задерживался на одном месте. Хорошо переносил жару и морозы. Был правдив». Вот и все. Ничем выдающимся не выделялся Казимир, а поэтому понятно, что ничего значительного он не сделал. Хотя для подданных, по утверждению летописца Супральской летописи, он был «справедливый и добрый» правитель.

Александр Казимирович мог сделать многое, дай ему судьба шанс для этого или отмерь ему долгие годы жизни. Кажется, счастье и удача отвернулись от Александра Казимировича и он был рожден, чтобы стать жертвой роковых обстоятельств и жестоких испытаний судьбы.

При жизни его жалели: «Боже, мы желаем спасения королю Александру. Забери его и дай нам лучшего правителя». Жалость, унижающая его благородство и человеческое достоинство. Жалость, которая для него была хуже смерти. Хотя Александра не назовешь слабым или безвольным, просто, попав в центр бурных событий, он не смог сделать то, где требовались сверхусилия.

Вначале все для него складывалось благополучно. После смерти в 1492 году Казимира паны рады просили Александра остаться в Великом Княжестве Литовском, «для некоторых пригод и нагабаней неприятельских на отчину нашу». Александра выбрали на Виленском сейме великим князем литовским, и 30 июня 1492 года (по другим данным, 15 июня) его короновали на великое княжение. Виленский епископ Войцех Табор благословил его правление и высказал пожелание: «Достойное это княжение за всякие государства: только тут обеими руками нами правь; в одной держи меч, а в другой — милосердие. Просим, чтобы не итальянским, коварным, не чешским или немецким обычаем, но правдивым литовским и Витовта правом нас радил и судил. Иначе будешь причиной собственной и нашей гибели». Как покажут дальнейшие события, предупреждение епископа было ненапрасным. Великий князь обещал править «...по правдивым литовским и Витовта обычаю», 6 августа он подтвердил привилеи и вольности Великого Княжества Литовского. Великий князь обязался выполнить пожелания панов рады, а также их судебные решения, дал согласие не заключать договоров с иностранными государствами без одобрения своей рады, даже посылать туда посольства. Государственные уряды и земли великий князь должен был раздавать с согласия панов рады и только гражданам Великого Княжества Литовского, лишать уряда мог только по постановлению суда панов рады. Были расширены и шляхетские права. Великий князь обязался не «возвышать людей простого стану» над шляхтой. Государственные подати отделялись от великокняжеских, и они направлялись на потребности государства, но распоряжаться ими великий князь мог с согласия панов рады. Так Александр с самого начала правления попал в зависимость от своей рады и уже до самой смерти не мог освободиться от ее воли. А паны добились расширения своей власти и разрыва персональной унии с Польшей.