В тот же период времени, предположительно, Мазепа замыслил измену Петру, возможный переход на сторону Карла XII и образование из Малороссии самостоятельного владения под верховенством Польского короля. Точная дата начала переговоров неизвестна, но 17 сентября 1707 года Иван Мазепа открылся своему генеральному писарю Орлику. 16 сентября 1707 года он получил от польского короля, сторонника шведов, Станислава Лещинского письмо, где «Станислав просил, чтобы Мазепа «намеренное дело начинал», когда шведские войска подойдут к украинским границам». Было очевидно, «что речь шла о заранее продуманном плане».
В своей беседе с Орликом Мазепа объяснял свои переговоры с Лещинским исключительно военной угрозой. Он сказал, что «будет оставаться верен царскому величеству, «пока не увижу, с какой силой Станислав к границам украинским прейдет и какие будут успехи шведских войск в Московском государстве».
Таким образом, еще за год до перехода на сторону Карла Мазепа подготовил почву для того, чтобы в случае необходимости (как он говорил, «крайней и последней нужды») перейти на сторону противника, если тот будет побеждать. В противном случае он собирался хранить верность русскому царю: «Без крайней и последней нужды не переменю я верности моей к царскому величеству».
Существуют сведения, что первый замысел измены обсуждался Мазепой и вдовой княгиней Дольской, по первому мужу Вишневецкой, в конце 1705 года (известны письма Дольской). Позже Мазепа вступил в тайные переговоры сначала с княгиней Дольской, затем с королем Станиславом Лещинским, в частности, через иезуита Заленского. Чтобы привлечь Мазепу на свою сторону, в 1706 году «княгиня Дольская передала Мазепе слова Б. П. Шереметева и генерала Рена, что Меншиков намеревается стать гетманом или князем Черниговским и «роет яму» Мазепе». Кроме этого, у Петра I накопилось на Ивана Мазепу несколько серьезных доносов. Часть доносчиков удалось нейтрализовать высокопоставленным друзьям гетмана, но угроза оставалась.
Напуганный нависшим над ним «дамокловым мечом» Иван Мазепа еще энергичнее повел переговоры со Станиславом Лещинским и Карлом XII, закончившиеся заключением с ними тайных договоров. Мазепа предоставлял шведам для зимних квартир укрепленные пункты в Северщине, обязывался доставлять провиант, склонить на сторону Карла запорожских и донских казаков, даже калмыцкого хана Аюку.
Осенью 1708 года Петр I пригласил Ивана Мазепу присоединиться с казаками к русским войскам под Стародубом; гетман медлил, ссылаясь на свои болезни и смуты в Малороссии, вызванные движением Карла XII на юг и его предложениями. В то же время он совещался со старшинами, примкнувшими к нему, и вел переговоры с Карлом через Быстрицкого и дипломатические речи с Александром Меншиковым через Войнаровского.
Меншиков решил навестить якобы больного Мазепу. Опасаясь разоблачения, Мазепа с гетманской казной бежал в конце октября с левого берега Десны к Карлу, стоявшему лагерем на юго-востоке от Новгорода-Северска, в Горках. С Иваном Мазепой было 1 500 казаков. Из шведского лагеря гетман написал письмо Скоропадскому, стародубскому полковнику, разъясняя причины своего перехода и приглашая старшину и казаков последовать его примеру.
К шведам, кроме отряда Ивана Мазепы, позднее присоединилась часть запорожского войска под началом кошевого атамана — Константина Гордиенко в количестве до 7 тысяч человек.
По приказу царя Петра I Запорожская Сечь была уничтожена. 156 запорожцев (атаманов и казаков) были казнены, причем несколько человек были повешены на плотах для устрашения других запорожцев.
8 апреля 1709 года Карл XII и Иван Мазепа заключили формальный договор (фиксирующий, по всей видимости, прежние договоренности, частично уже исполненные, а частично уже невозможные), в котором, в частности, даровалось последнему пожизненное звание «законный князь Украины». В обмен на этот титул Иван Мазепа обещал среди прочего передать Карлу XII «на время войны и опасностей» города Стародуб, Малин, Батурин, Полтаву и Гадяч. Уже накануне разгрома «высокие договаривающиеся стороны» поделили Россию между собой: «Все, что завоюется из бывшей территории Московщины, будет принадлежать на основании военного права тому, кто этим завладеет».
Однако Иван Мазепа осознал свою ошибку почти сразу после своего перехода к шведам. Покинутый своими полковниками, предвидя разгром шведов, он безуспешно пытался предложить Петру I предать в его руки шведского короля и его генералов. Уже в конце ноября 1708 года, менее чем через месяц после перехода, миргородский полковник, будущий гетман Даниил Апостол, один из самых близких Мазепе людей, прибыл с этим предложением к Петру. Следом с письмами Мазепы приехали Шишкевич, цирюльник Войнаровского, и полковник Галаган. Было даже заключено соглашение с гарантиями безопасности Мазепе, но тем все и кончилось. Гетман не был нужен окружению русского царя. Последний больше не доверял Ивану Мазепе.
6 ноября 1708 года царь Петр на Раде в Глухове повелел избрать нового гетмана. Согласно желанию Петра, был избран Иван Скоропадский.
12 ноября 1708 года в Троицком соборе Глухова в присутствии Петра I Иван Мазепа и его приверженцы были «преданы вечному проклятью». В тот же день в Глухове была совершена символическая казнь бывшего гетмана, которая описывается следующим образом:
«Вынесли на площадь набитую чучелу Мазепы. Прочитан приговор о преступлении и казни его; разорваны князем Меншиковым и графом Головкиным жалованные ему грамоты на гетманский уряд, чин действительного тайного советника и орден святого апостола Андрея Первозванного и снята с чучелы лента. Потом бросили палачу сие изображение изменника; все попирали оное ногами, и палач тащил чучелу на веревке по улицам и площадям городским до места казни, где и повесил».
Кроме того, по поручению Петра I, специально для гетмана Мазепы был изготовлен Орден Иуды.
Войска шведов под Полтавой в 1709 году были раздавлены вдвое превосходящими их силами Петра (60 тысяч против 27 тысяч), влияние Швеции в Европе было значительно ослаблено, а влияние России возросло. После Полтавской битвы Карл и Мазепа бежали на юг к Днепру, переправились у Переволочны, где чуть не были захвачены русскими войсками, и прибыли в Бендеры.
Османская империя отказалась выдать Мазепу российским властям. Хотя царский посланник в Константинополе Петр Толстой был готов потратить на эти цели 300 000 ефимков, которые предлагал великому турецкому визирю за содействие в выдаче бывшего гетмана.
Умер Мазепа 22 сентября 1709 года в Бендерах.
Кроме Ивана Мазепы, во времена Петра I были и другие предатели — рангом ниже. Так, в 1708 году в разгар Северной войны армия Карла XII переходит Днепр у Головчина и вторгается на российскую территорию. А в это время в тылу у Петра поднимаются сразу три лихих атамана. Вышедший с отрядом запорожцев из их знаменитой Сечи беглый донской мятежник Кондратий Булавин берет штурмом столицу Войска Донского Черкасск. Присоединившиеся к нему батьки захватывают Царицын, осаждают Саратов и Азов, доходя порой до Тамбова и Пензы. В самой Сечи запорожский вожак Константин Гордиенко открыто переходит на сторону шведов вместе с гетманом Левобережной Украины Иваном Мазепой.