С младенчества Казанова был отдан на воспитание бабушке, почтенной Марции, быстро простившей дочери легкомысленный, по ее мнению, брак. Марция была неграмотна, но умна и великодушна и обожала внука. Она заботилась о нем и сама занималась его воспитанием. Поэтому смерть отца, случившаяся в 1733 году, по сути прошла для мальчика незамеченной. Единственным запомнившимся ему ярким эпизодом, связанным с отцом, была кража обточенного отцом кристалла. Гаэтано Казанова, к концу жизни окончательно покинувший театр, много времени уделял занятиям оптикой и механикой. Однажды Джакомо, прельстившись блестящей стекляшкой, схватил оставленный отцом на столе кристалл и решил поиграть им. Когда отец, хватившись кристалла, разъяренный принялся его искать, Джакомо, понимая, что, если кристалл найдут у него, наказания ему не избежать, незаметно сунул кристалл в карман брата Франческо. Брата наказали, а через несколько лет, уже после смерти отца, Джакомо весело и беспечно (к слову пришлось) поведал брату о своей шутке. Франческо не простил ему этого обмана. Гаэтано Казанова умер в своей постели, поручив заботы о Дзанетте и детях братьям Гримани.

Когда Гаэтано не стало, Джакомо было уже восемь лет, но он даже не ходил в школу. Причиной тому были частые кровотечения из носа, скорее всего, от полипов, и он постоянно ходил с открытым ртом, и поэтому вид у него, по его собственному признанию, был идиотский. Врачи, которым не раз показывали мальчика, не знали, как ему помочь. Мать, блистательная актриса, постоянно гастролирующая по заграницам, не имела ни времени, ни желания заниматься лечением сына. Из-за кровотечений маленькому Джакомо подчас бывало трудно произносить слова, поэтому никто, включая родителей, с ним не разговаривал.

Спасителем мальчика стала бабушка. Она отвезла его на остров Мурано, к местной колдунье, проживавшей в скособоченном домике в обществе многочисленных кошек. Колдунья завернула Джакомо в простыню, пропитанную пряными запахами, помазала чем-то затылок и виски, дала съесть пять вкусных, как конфетки, шариков, а затем уложила его в сундук и закрыла крышкой. К вечеру она открыла сундук, и из него вылез исцеленный Джакомо. С этого дня у него больше не было кровотечений. Колдовское лечение произвело на мальчика огромное впечатление, и с тех пор в нем проснулся неиссякаемый интерес к целительству. Он никогда не упускал возможности приобрести и расширить свои познания в медицине. Впоследствии он не раз применял эту науку на практике.

Колдунья не только вылечила недуг мальчика, она вдохнула в него уверенность в себе, стремление опередить своих сверстников (быстро переросшее в непомерное тщеславие), и, возможно, даже пробудила заложенные в нем природой способности. Правда, это сделала не она сама, а «дама в белом», явившаяся к мальчику, как и предсказала ворожея из Мурано, в полночь после его исцеления. В ту памятную для него ночь Джакомо действительно увидел женщину в роскошном платье и сверкающей короне на голове. Она вышла из камина, села подле него на кровать, чем-то посыпала ему голову, а потом долго-долго бормотала какие-то слова; исчезла она только под утро. Мальчик бросился к бабушке рассказать, о чем говорила ему дама, но мудрая Марция запретила ему. Привыкнув слушаться бабушку, он умолк. Никогда больше не возникало у него желания поделиться своими впечатлениями о таинственной незнакомке в пышном белом наряде, однако сам он, как написано в «Мемуарах», запомнил и женщину, и ее загадочные речи на всю жизнь. Была ли ночная красавица порождением возбужденного воображения Джакомо, или же колдунья, сговорившись с Марцией, подослала к нему одну из своих молодых приятельниц, предварительно научив ее нужным словам, — неизвестно. Главное, с этого времени для мальчика началась новая жизнь; его отдали в школу, где прежде вечно унылый, молчаливый ребенок стал первым учеником, обогнал в развитии своих товарищей, пристрастился к чтению и начал проявлять все задатки личности незаурядной.

Стремление мальчика быть первым всегда и везде поощряла Дзанетта, время от времени приезжавшая повидаться с сыном. Мать всегда была для Джакомо кем-то вроде феи — красивая, нарядная, окруженная шумными и блистательными поклонниками, недосягаемая и обожаемая. Пока Казанова был «маленьким идиотом» с вечно открытым ртом и испачканным кровью носом, Дзанетта редко удостаивала его вниманием. Узнав, что Джакомо избавился от терзавших его кровотечений, Дзанетта пожелала заняться сыном. Ей всегда хотелось видеть своего первенца красивым, разговорчивым, остроумным, ей нравилось, когда он был одет и причесан по последней моде, и она мечтала, чтобы когда-нибудь он смог легко и непринужденно беседовать с ее поклонниками и почитателями ее таланта. Поэтому выздоровление Джакомо было для нее настоящим праздником: теперь у нее были все основания надеяться, что мечты ее осуществятся. И Джакомо действительно стал таким, каким хотела его видеть мать. Каждое из качеств, которыми тщеславная актриса мечтала наделить сына, развилось в нем до предела, являя собой и его украшение, и его недостатки. Но, как известно, наши недостатки — продолжение наших достоинств.

Решив отдать Джакомо в учение, Дзанетта вместе с аббатом Гримани и другом семьи, венецианским патрицием и поэтом Джорджио Баффо, в промежутке между гастролями отправилась в Падую, где на скорую руку определила сына в пансион к славянке Мадо и записала в школу, руководимую аббатом Гоцци. Содержание в пансионе обходилось не слишком дорого — цехин в месяц, поэтому кормили несчастных мальчишек впроголодь; о чистоте также пришлось забыть: постельное белье меняли редко, а вот блохи и вши водились в изобилии. Пытаясь утолить вечный голод, Джакомо крал все съестное, до которого только мог дотянуться. В классе, где кроме него учились еще тридцать мальчиков, он оказался самым старшим, и поначалу над ним все смеялись — ведь он не умел ни писать, ни читать. Но Джакомо быстро догнал насмешников и стремительно оставил их всех далеко позади. Свои поразительные способности он быстро сделал предметом торга — за кусок жареной курицы или мяса он был готов исправлять ошибки в письменных, работах даже самым заядлым лентяям. Особенно удавались ему переводы с латыни и сочинения на латыни.

Однажды кто-то из товарищей нажаловался на Джакомо учителю, аббату Гоцци. Тот, почитая Казанову своим лучшим и любимым учеником, вызвал его к себе и, убедившись в отчаянном положении мальчика, посоветовал ему написать домой бабушке и матери, а также покровителям: синьору Баффо и аббату Гримани, дабы те забрали его от славянки и поместили бы на хлеба в иное, чистое и достойное место. Откликнулись синьора Марция и Гримани. Аббат прислал письмо, полное упреков, а неграмотная бабушка вместо письма прибыла сама. Увидев, в каких условиях содержится ее внук, она быстро покидала в чемодан его нехитрые пожитки и забрала его из пансиона. Для начала они устроились в гостинице; после грязного чердака обычный трактир показался Джакомо настоящим раем; с тех пор он выучился смотреть на постоялый двор как на вполне пригодное жилье. К этому времени учеников в его школе осталось мало, и аббат решил открыть собственный пансион, воспитанники которого должны были учиться, столоваться и жить у него в доме. Он с удовольствием взял к себе Джакомо, поручился присматривать за ним хорошенько, и старая Марция, заплатив вперед, отбыла, довольная, что сумела исправить оплошность, в спешке допущенную ее дочерью.