Поражение поляков ободрило литвинов. Они решительно потребовали вернуть Западное Подолье, иначе придется отвоевывать его с оружием. Казимир должен жить в Вильно. Если он откажется исполнить эти требования, то великокняжеский посад займет Семен Олелькович (муж дочери Гаштольда). Король должен помнить, что, слушая поляков, погиб его брат Владислав. Да и он сам был в опасности, от которой его спас Бог. Поэтому пускай возвращается в Литву, где его ждет спокойная и счастливая жизнь. Но не было в Великом Княжестве человека, способного возглавить вооруженную борьбу с Казимиром.

Поляки не настаивали на своих претензиях к Великому Княжеству. Они вынуждены были примириться с компромиссным решением Казимира разделить спорные земли. Великому Княжеству достались Луцкая и Брацлавская земли и Восточное Подолье, а Западное Подолье, волынские города Олесно, Лопатин, Ратно отошли к Польше. Но в Литве это решение вызвало недовольство. В 1454 году на заседании панов рады приверженцы Яна Гаштольда заявили: «Были мы счастливыми, пока не были соединенными с поляками, которые взяли себе королей из княжат нашего племени. Лучше, чтобы глаза их замутились, уши их закрылись, как ладонь их соединила нас с поляками.

Когда сыновья Ягайлы забылись о родном гнезде и к полякам слепо привязались, когда от нас отреклись и покинули, то и мы их покидаем и отрекаемся. Нужен нам господарь, который пребывал бы среди нас и сам правил своей особой.

Поскольку не для себя жаждем посада, для всеобщего добра, особого хотим для себя князя. Поэтому Семен Олелькович достоин этого посада, его выкрикнем своим паном, он вновь осчастливит нас, пускай возглавит наш народ. А Ягайловичи и поляки пусть увидят, что потеряли Литву, где вместо верных подданных или равных им сограждан уже чужой и неприязный народ увидят». Против этого намерения выступил трокский воевода Ян Монивид. Он напомнил о том добром, что сделали Ягайловичи для края, а теперь нужно нарушить им присягу, отобрать их отчину и пойти вслед за легкомысленным советом или за чьим-то желанием. Да, тешит Казимира польская корона, но более всего посвятил он себя литвинам. «И вольный ли мы от вины, которую целиком возлагаем на своего государя, когда он доверил нам власть? Не так поступаем как нужно». И его доводы нашли понимание в сердцах панов. Казимир остался великим князем.

Весной 1455 года Казимир приехал в Вильно и отговорил литвинов от задуманного ими намерения. Король «успокаивал» обещаниями, что не отступится от клятвы и не допустит унии с Польшей. Но недовольство Казимиром по-прежнему жило среди его неприятелей, и они требовали возвращения Западного Подолья. Недовольны королем были и поляки. «Знаю я хорошо, что вы не хотите иметь меня королем и думаете, как бы мне изменить», — сказал он Олесницкому и его вельможному окружению. Но поляки только пугали Казимира детронизацией, а сами понимали, что, лишив его королевской короны, потеряют Литву и акты уний с ней останутся только историческими документами. Казимир был гарантом присоединения Литвы к Польше. Это понимал и Казимир, поэтому даже заклинания шляхты об «умножении королевства» и просьбы матери королевы, чтобы корону «пилно справовал», не действовали на него.

С «литвяками» Казимиру было не просто. В 1456 году он приехал в Вильно и прожил там зиму. Перед сеймом Казимир дарением владений и милостью ублажал одних и обещанием вернуть Княжеству Западное Подолье склонял на свою сторону других. Отсутствие единства среди литвинских вельмож содействовало Казимиру. На сейме он резко укорял их за «неспокой», а они не осмелились выступить против своего господаря и свалили вину на Гаштольда и его сподвижников. Ян Длугош с сожалением пишет, что король действовал «не укороми или угрозами, но ласковыми словами, щедростью и милостью». А это оказалось более действенным оружием, чем сила и угрозы.

Забота о Литве ставилась поляками в вину Казимиру. На Петрковском сейме в 1459 году его обвинили, что он «коней, серебро и всякие клейноты» передает литвинам, «которые ничем ни тебе, ни отцу твоему не послужили». Досталось королю и за Луцк. Король заметил, что не он отобрал у Польши этот город, а литвины. Но ему справедливо указали: «Не кто иной, как он был великим князем литовским и от его воли и слова зависело возращение Луцкой земли и других волостей». Весь сейм просил Казимира, «чтобы поляков одинаково, как литвинов миловал и ко всем просителям справедливо относился». Король, как обычно, вновь обещал стараться удержать королевство от падения. Но неудачи в войне с Орденом только увеличили недовольство поляков Казимиром.

Оставались недовольны Казимиром и в Литве. Литвины угрожали оружием забрать Западное Подолье и склоняли крымского хана Хаджи-Гирея к походу на Каменец. Казимир созвал в 1461 году в Вильно сейм, желая успокоить литвинов. Но они подступили к нему с требованиями: «чтобы или лично сидел в Литве, или Семена Олельковича, князя киевского, поставил на Литве великим князем».

Казимир, как всегда, отделался обещаниями: мол, не перестанет использовать действенные средства для решения внутренних дел, а что касается своего наместника в Литве, то просил перенести этот вопрос «большой важности» до лучшего времени. Так и не дождавшись от Казимира исполнения его обещаний, литвины послали делегатов на Петрковский сейм, который проходил в мае 1463 года.

От Казимира требовали отречься от польской короны, вернуть Княжеству Западное Подолье. Если же он откажется сделать это, то великим князем изберут Семена Олельковича. Казимир вновь поехал в Вильно ублажать панство и шляхту. Он обласкал богатыми подарками панов-католиков и разбил этим единый фронт литвинских феодалов, оставив православных без союзников. Давление на Казимира ослабло, но не прекратилось. В 1478 году в Берестье литвины вновь просили Казимира отдать великокняжеский посад одному из своих сыновей — Казимиру или Яну Альбрехту. Сам Альбрехт со слезами умолял отца дать согласие. Казимир отказался: «Пока живу, никакой мерой правления Литвой никому не доверу». Власть, которая принесла ему столько горьких переживаний и бед, он никому не уступал.

К этому времени он уже упрочнил свою власть. Казимир разочаровался в польском шляхетском ополчении (заявил, что с таким никудышным рыцарством никогда больше воевать не будет), пополнил казну с налогов на церковь и с аренды королевских владений. За эти деньги король подкупил орденских наемников, и они сдали прусскую столицу Мариенбург. В 1466 году война закончилась. К Польше отходили Гданьское Поморье, часть Пруссии с Мариенбургом. Орден признавал себя польским вассалом и перенес свою столицу в Кенигсберг (Кролевец). Еще раньше, в 1456 году, он выкупил Освенцимское княжество и подчинил своей власти князей Зиторского княжества.

После победы в борьбе с Орденом Казимир почувствовал свою силу. Например, против папского желания и решения капитула он поставил на Краковское епископство своего человека. «Я готов потерять королевство, чем иметь епископа не по своему желанию», — заявил Казимир. Благодаря вражде между папой Николаем V и императором Фридрихом III, Казимир обещанием поддержать папу добился у него права назначать священников на должности и подчинил своей власти церковных иерархов. Позиции приверженцев Олесницкого ослабли. Казимир так и не назначил его главой польского костела. Он уже не тот неопытный в политике юноша, не тот безвольный правитель, которым помыкали то одни, то другие. Он возмужал, набрался ума и рассудительности. Появилось у него упрямство, которое можно посчитать за твердость характера.