Во Флоренции он искал должность секретаря, но напрасно. Он хотел в покое заниматься литературой. Но пришел молодой Морозини из Венеции, заплатил за старого господина и вовлек его в водоворот удовольствий. Потом пришли Зановиц, Дзен и Медини, молодые и старые плуты, обобрали лорда Линкольна на двенадцать тысяч стерлингов и все четверо были высланы из Флоренции: Зановиц, Дзен, Медини и Казанова. Казанова кричал, особенно в мемуарах, что с ним поступили несправедливо.
Он начал повсюду занимать небольшие суммы и все меньшие суммы. У нищенствующего актера, который был парикмахером и звался графом де л'Этуаль, он увел женщину, легендарную англичанку Бетти, школьную подругу Софи Корнелис. В Неаполе Он стал подыгрывать шулерам Гудару и Медини, с которыми рассорился, причем с Медини он дрался на дуэли дважды и трижды. От Агаты он получил назад серьги, которыми когда-то отплатил ей за ее преданность. Агата устроила ему возлюбленную — Каллиену. Он сам отмечает повторение реальности или сюжетных поворотов. «Это было четвертое приключение такого вида.» Его сексуальные страдания были непереносимы. «Мне было сорок пять лет, я все еще любил прекрасный пол, хотя с меньшим огнем, у меня было больше опыта и меньше мужества к дерзким предприятиям; так как я все больше выглядел как папа, чем как юноша, то считал себя имеющим все меньше прав и выдвигал притязания все незначительней.»
В 1771 году он покинул Рим, еще раз решив начать новую жизнь. После тридцати лет бешеной радости он устал от удовольствий. У него больше не было денег. Его старый друг и покровитель Барбаро тоже умер. Он отказался от всякой роскоши. Это был злой счет от жизни. Тем не менее он никогда не был профессиональным соблазнителем. Этим он чванился. Но как странен и как отвратителен его сексуальный порыв, желания стареющего плута. В Неаполе или Салерно он встретил свою настоящую дочь Леониду; она была замужем за импотентом после импотента-друга, герцога де Монталонна, который уже умер. Маркиза хотела ребенка: Казанова любил свою дочь раз, второй, третий, она родила мальчика, он позже видел его, это был красивый юноша.
В Риме он посетил Бернис и ее подругу, княгиню Сан-Кроче, в которую Казанова влюбился; он однако не решился сказать ей это или показать, в то время как княгиня одевалась и раздевалась перед ним, как перед слугой, и, вероятно, у него был шанс.
И в конце своих мемуаров, почти в пятьдесят лет, он снова встретил в Триесте Ирену, дочь графа Ринальди, которую он когда-то лишил девственности; у нее была дочь девяти лет, которая очень ему нравилась и позволяла ласкать себя; девятилетнюю девочку у него увидел также другой любитель детишек, барон Питтони, и тоже выпросил себе посещение малышки и ее матери. И мемуары Казановы кончаются стилистически выдержанно: «Ирена покинула Триест с труппой, три года спустя я снова нашел ее в Падуе с дочерью, которая стала прелестной и с которой я возобновил нежные отношения». Но и отвратительный, опускающийся, стареющий развратник — тоже Казанова и тоже принадлежит картине. Он тоже подданный Эроса.
Эти последние годы перед возвращением в Венецию и годы после второго бегства из Венеции были каруселью страданий, мук, разочарований, унижений и литературных попыток. В Пизе ему пришлось продать крест ордена Золотой Шпоры. В Риме он стал членом академии «Неплодовитых». В Болонье он издал памфлет против двух памфлетов болонских профессоров, из которых один называл uterus животным, а другой ему оппонировал. Он напечатал это в 1772 году, речь шла о психофизических проблемах дам. Во Флоренции он перевел «Илиаду» итальянскими стихами. Другая брошюра, которая утеряна, стала причиной двадцатишестилетней переписки с Пьетро Дзагури и является основным источником сведений о последних годах жизни Казановы. Дзагури два года подряд добивался помилования Казановы. По его совету Казанова приехал в Триест, чтобы быть совсем близко к Венеции. Там он исполнял определенную агентурную службу для венецианского правительства и работал над польской историей: «Istoria delle turbulente della Polonia della mocte di Elisabetta Petrowna fino alla pace fra la Rusia el a Porta Ottomana…», Герц, 1774, 3 тома. Сочинение должно было состоять из семи томов, но другие тома из-за разногласий между автором и издательством не вышли. Из переписки Казановы (изданной Мальменти) следует, что он окончил труд еще в 1771 году.
В Триесте Казанова жил экономно, у него не было денег, только пятнадцать цехинов дохода из Венеции от двух его друзей. Венецианский консул в Триесте поддерживал усилия больного ностальгией Казановы. Наконец Казанова получает охранное письмо от 3 сентября 1774 года, которое разрешает ему свободное возвращение в Венецию. 14 сентября он сходит на берег в Венеции. На этом столь интересном месте Казанова прерывает свои воспоминания в двенадцатом томе.
Его радость была чудовищной, как и его разочарование. Самым худшим было то, что на родине ему было гораздо тяжелее добывать свой ежедневный хлеб, чем на чужбине. От Барбаро он унаследовал месячную ренту в шесть цехинов. Равным образом шесть цехинов он получал от Дандоло. Снова он искал службу, маленькое место, крошечную безопасность. Это была нагая бедность. Это была печальная жизнь. Конечно у него были друзья, он наслаждался родным языком, родным воздухом, родным небом. У него были кофейни, отечественные комедии, он мог, как всегда и везде, говорить обо всех великих князьях и лордах, своих старых друзьях. Он цитировал Дюбарри, царицу Екатерину II, Людовика XV, герцогиню Нортумберлендскую, своего друга, короля Польши.
Он вернулся домой, но слишком поздно, в пятьдесят лет, «старик».
Но у этого старого человека его лучшее время, его величие, было впереди. Пятидесятилетний начал, наконец, свою настоящую карьеру — литературную. Для женщин наслаждением был наверное двадцатилетний, тридцатилетний. Для мужчин он стал приятен только теперь, человек зрелый, человек мудрый, знаток мира, «философ», великолепный рассказчик.
В «Истории моего побега» Казанова рассказывает, как он начинал этим наслаждаться, что показал себя целому городу, став разговором целого города. Он посетил каждого инквизитора, каждый приглашал его к столу, чтобы услышать истории его побега и его дуэли в Польше. Он посетил патрициев, которые его особенно поддерживали: Дандоло, Гримальди, Дзагури, Моросини. Возвращение на родину доставило ему несколько счастливейших часов… Но далее каждый ожидал, что службу ему даст Венеция. Девять лет подряд он утруждался напрасно. Тогда он сказал себе: «Либо я не создан для Венеции, либо Венеция не для меня. Придется провести новую схватку, заново покинуть родину, как покидают приятный дом, где есть злой сосед.»
В 1776 году Казанова становится специальным тайным агентом суда инквизиции, который оплачивается в зависимости от важности своих сообщений. А с 1780 года в пятьдесят пять лет он становится платным шпионом той самой инквизиции, которая когда-то приказала заточить его под Свинцовые Крыши. Он служит инквизиции за пятнадцать дукатов в месяц. Его задачей было доносить инквизиции о проступках против религии и добрых нравов. Он жаловался официально, чаще всего тайно, на частоту разводов, на упражнения пальцев молодых людей в темных ложах театров, на обнаженные модели художественных школ. Он доносил на своих друзей, которые читали Вольтера или Руссо, Шаррона, Пиррона или Баффо, Ламеттри или Гельвеция. Он подписывал шпионские сообщения «Антонио Пратолини».