Оставаться в Тифлисе, где все еще шли аресты, было слишком опасно, и Иосиф отправился в Батум. Но, как оказалось, в Батуме его не очень-то ждали. Еще в 1903 году в докладе Тифлисского розыскного отделения Департаменту полиции сообщалось, что «деспотизм Джугашвили многих возмутил, и в организации произошел раскол», так что понадобился эмиссар из Тифлиса, чтобы примирить враждующие стороны. Действительно, если было нужно, добиваться своего Сталин умел, и не всем членам социал-демократической вольницы это нравилось.
После ареста Иосифа верх в организации взяли его противники во главе с И. Рамишвили — в будущем он станет меньшевиком. Трудно, правда, понять, чем отличались в то время кавказские большевики от кавказских меньшевиков, учитывая, что большинство этих «теоретиков» едва ли в силах было разобраться в сути политических разногласий между теми и другими. Но это делу не мешало: кавказские социал-демократы тут же с удовольствием разделились на два лагеря и стали оспаривать друг у друга главенство в каждом городке и на каждом заводе.
Итак, пока Иосифа не было, власть в Батумской организации захватили его противники. Узнав о приезде прежнего лидера, комитет постановил: к работе не допускать. Более того, как вспоминает Н. Киртава, у которой остановился Coco: «Рамишвили вызвал меня в комитет и стал кричать: "У тебя остановился Джугашвили?" — "Да", — отвечаю. "Должна прогнать из дома, в противном случае исключим тебя из наших рядов". Надо думать, крепко был обижен Рамишвили, если для того, чтобы выжить противника из города, он применял такие меры.
Иосиф оказался в отчаянном положении. Он перемещался по Батуму с квартиры на квартиру, а председатель комитета преследовал, требовал, чтобы его не укрывали, угрожал ослушникам исключением. Тогда он решил уехать обратно в Тифлис, но для этого нужны были деньги. Несколькими месяцами ранее, когда Иосифа отправляли в ссылку, батумские рабочие устраивали для него складчину, а теперь было не достать каких-то полтора рубля на дорогу — большинство старых товарищей отказывали в помощи. Наконец, знакомый кондуктор довез Иосифа до Тифлиса.
В чем же дело? Большевики, меньшевики… но нельзя же так обращаться со старым товарищем и, в конце концов, с фактическим создателем организации! Да и странно это, не такими уж дисциплинированными партийцами были батумские рабочие. Исключить! Смотри, друг Рамишвили, как бы тебя самого за такие фокусы не исключили!
Ситуация объясняется просто: именно в то время поползли слухи о том, что Джугашвили — провокатор, и, похоже, распространял их Рамишвили. Нужно же ему было как-то оправдать преследование человека, который, по сути, создал организацию — и, ничего не говоря прямо, он пустил слух, что в организации появился провокатор, а ожесточенным преследованием Иосифа как бы указал, кто этот провокатор. Прием не слишком чистоплотный, но эффективный и часто использовавшийся — как тогда, так и значительно позднее, например, в диссидентской среде.
В самом деле, задуматься было о чем. К побегу Иосифа ни тифлисская, ни батумская организация отношения не имели, а сам он совершенно не горел желанием отчитываться перед комитетом, кто устроил ему этот побег, и понять его можно — стукачи были везде. Он расскажет — кто, что и как, эти еще проверять кинутся, дойдет до охранки, и в итоге пострадают помогавшие ему люди. Да и кроме того, его ведь никто ни о чем не спрашивал и не предъявлял никаких обвинений. Просто пустили слух — и все…
В марте 1904 года в Батуме прошли крупные аресты, комитет был фактически разгромлен. Во главе нового комитета стал близкий друг старого товарища Кобы Ладо Кецховели, к тому времени погибшего в тюрьме. Узнав об этом, Иосиф вернулся в город, рассчитывая наладить отношения с организацией. К нему отнеслись несколько лучше, хотя и ненамного, но столь откровенно, как раньше, больше не преследовали, даже позволяли участвовать в партийных собраниях. Однако его пребывание в городе было недолгим.
К тому времени отношения между большевиками и меньшевиками достигли если и не предельной, то близкой к тому остроты. 1 мая, во время маевки, проходившей на берегу моря, произошла ссора, которую горячие кавказские парни завершили хорошей дракой. Иосиф, естественно, не остался в стороне и был жестоко избит. В Батуме больше оставаться было нельзя, в Тифлисе его тоже не ждали. Снова оказавшись в отчаянном положении, преследуемый страшным словом «провокатор», он уезжает в Гори.
Казалось бы, все кончено, от партийной работы он отлучен, надо переквалифицироваться в учителя. И тогда он решается на последний шаг — апеллировать к вышестоящему органу, благо к тому времени на Кавказе таковой появился. В 1903 году состоялся I съезд кавказских социал-демократов, где было принято решение об образовании Кавказского союза РСДРП, руководящим органом которого стал Союзный комитет. Самым старшим и уважаемым членом комитета был один из основателей грузинской социал-демократии М. Г. Цхакая, находившийся в то время в глубоком подполье.
Разыскав Цхакаю через знакомых, Иосиф обратился к нему с просьбой о свидании. На этой встрече он рассказал все о своей революционной работе, о ситуации в Батуме и попросил помощи, а также предложил свои услуги для работы на комитет. Цхакая дал ему новую партию нелегальной литературе о II съезде партии и посоветовал «отдохнуть», что было не лишним, поскольку, по свидетельству видевших его в то время знакомых, Иосиф выглядел утомленным.
Отдых длился два месяца, во время которых комитет проверял Джугашвили. Только убедившись, что слухи о его провокационной деятельности не подтверждаются, его снова привлекли к работе. Но в Батум он уже не вернулся. В то время резко усилилась деятельность социал-демократов в деревнях и маленьких городках, и Джугашвили отправили на работу в Имеретино-Мингрельский комитет. Так что теперь он уже был деятелем не городского, а губернского масштаба. Но недолго: летом 1904 года, когда после очередной волны арестов большая часть краевого комитета оказалась за решеткой, Цхакая кооптировал в состав комитета Кобу и Каменева. Так Джугашвили стал одним из лидеров социал-демократического движения на Кавказе.
Теперь жизнь его состояла из постоянных разъездов. Тифлис, Баку, потом Кутаисская губерния, где во второй половине 1904 года появилось множество мелких организаций. В то же время в верхах шла острая борьба между большевиками и меньшевиками, и Коба поставил весь свой талант пропагандиста на службу большевикам.
Конец года был чрезвычайно «горячим», рабочий протест явно перешел в какую-то новую фазу и назревали серьезные события. В Баку шла мощнейшая забастовка на нефтяных промыслах, которая длилась три недели и окончилась подписанием первого в истории России коллективного договора между работниками и хозяевами. В Тифлисе, как и по всей стране, либеральная оппозиция выступала с требованием реформ, причем выступления эти проходили в весьма оригинальной форме: в то время всю Россию охватила эпидемия банкетов, на которых принимались петиции с либеральным содержанием. Что бы ни думали по поводу такой формы «протеста» революционеры, но использовали эти банкеты, как и любые прочие скопления людей, для своей пропаганды. Естественно, Иосиф не мог пропустить такую возможность, тем более что он к тому времени был уже достаточно искусным политиком, отточив язык во внутрикомитетских спорах. Но скоро всем стало не до банкетов.