В августе 1857 года Яков Петрович приехал в Женеву, имея в бумажнике тысячу франков, и поселился сначала на частной квартире, а затем перебрался в пансион мадам Пико на улице Роны. Пятиэтажный особняк, в котором размещался пансион, стоял на берегу Женевского озера, и Яков Петрович мог подолгу прогуливаться по зеленой набережной. Полонский снял небольшую меблированную комнату с окнами на улицу, которая располагалась как раз над кафе первого этажа.

Женева очаровала поэта. Стояли медленно угасающие дни катящегося к закату лета. Воздух был сух и настолько прозрачен, что, казалось, можно различить в нем даже мельчайшую пылинку, ненароком вылетевшую из-под копыт коней неспешно проезжавшего по улице экипажа.

Поэт вспоминал: «Утро мое начиналось с того, что я под навесом кофейни, на чистом воздухе, за отдельным столиком пил кофе и читал местные газеты... Черт возьми, как было уютно и спокойно и ново - так жить, как я зажил.

Ко мне, казалась, вернулась и моя юность и моя свежесть и беззаботность - та беспечность, которая придает такую легкость жизни... и добавьте к этому - никаких угрызений совести, никаких страстей, кроме единой -страсти мазать масляными красками.

Прежде всего, разумеется, я хотел знакомства с Калямом».

Но тут Полонского - уже в который раз! - ждало разочарование. Калям устроил ему небольшой устный экзамен и... отказался взять солидного господина в ученики, сославшись на то, что за плечами уже немолодого Полонского не было никакой художественной школы, а был он обычным художником-любителем. О Каляме он писал так: «...В его гениальной личности не было располагающего к откровенности... Разговаривая со мной, он почти не смотрел на меня».

Сергей Тхоржевский так описывал встречу Полонского с Калямом: «В доме Каляма, на набережной озера, первый этаж занимали выставочные залы и магазин. На втором этаже были жилые комнаты и мастерская художника. Калям принял Полонского в своей мастерской. Стены ее были уставлены начатыми и законченными пейзажами. Деревья, горы, ручьи, водопады - все это было выписано тщательно, все было эффектно по освещению.

Художник - низенький, сухощавый, кривой на один глаз - в халате сидел у мольберта. В руках держал палитру и кисть. Он работал. Его новая картина изображала берег озера и полосу вспененных волн, освещенных солнцем.

Полонский представился. И обратился с просьбой принять его в число учеников. «Выслушав меня, - вспоминает он. - Калям извинился и сказал, что мастерская, где работают его ученики, уже переполнена, уже нет ни одного свободного места и что он принять меня не может... Помню затем, как я отворил дверь на пустую лестницу и вышел на набережную».

«Как после объяснили мне, - рассказывает Полонский, - в этом отказе я сам был виноват, назвавши себя дилетантом или просто любителем живописи. - Моя школа, - сказал он кому-то, - не для дилетантов, а только для тех, кто на всю жизнь отдается живописи».

Сам Александр Калям посвятил живописи всего себя. Он происходил из бедного семейства, и лет с пятнадцати, потеряв отца, стал зарабатывать на жизнь тем, что раскрашивал отпечатанные черной краской швейцарские виды для торговцев эстампами. Работа кисточками и красками так увлекла одаренного юношу, что он начал брать уроки живописи у Франсуа Дидэ, в то время считавшегося в Женеве лучшим пейзажистом. Вскоре Калям стал совершать прогулки по окрестностям Женевы и писать виды Альпийских гор. В то время пейзажная живопись пользовалась успехов, и в 1838 году, после одной из выставок, молодой художник получил известность. Любителей живописи привлекали его пейзажи, на которых были запечатлены вершины заснеженных гор, ледники, водопады и горные озера, скалы, почти лишенные растительности, за исключением мхов, лишайников и мелких кустарников. Картины Каляма хранились в различных музеях и собраниях, в том числе и в Петербурге.

Мастерскую художника в Женеве нередко посещали высокопоставленные особы, что льстило самолюбию художника.

Отказ Каляма расстроил Полонского, однако Яков Петрович мечту заняться живописью не оставил и обратился с просьбой давать ему уроки к художнику Франсуа Дидэ, бывшему учителю Каляма. Дидэ занимался искусством живописи с юных лет, вопреки желанию родных, не имевших никакого состояния. Когда юноше было двадцать два года, его талант был замечен, и женевские власти за свой счет оправили его учиться в Италию. После учебы Дидэ обосновался в Париже. Вернувшись в Швейцарию, он основал в 1842 году женевскую школу пейзажистов, сам писал много живописных полотен и добился на этом поприще значительных успехов. Работы Дидэ хранились в музеях Франции, Германии, России, других стран. В Петербурге имелись две картины пейзажиста, одна из которых находилась в Кушелевской галерее, названной так по имени богача и мецената, будущего покровителя Полонского графа Г.А. Кушелева-Безбородко...

Франсуа Дидэ, этот, по словам Полонского, «высокий статный старик с осанкой отставного полковника», внимательно выслушал поэта, посочувствовал, посмотрел его рисунки и благодушно согласился давать ему уроки живописи за умеренную плату. «Сейчас же мне был дан на выбор этюд с натуры, - вспоминал Полонский, - и указано мое место в мастерской перед свободным мольбертом около окна».

Три месяца Полонский не выпускал из руки кисть и с упоением клал аккуратные мазки на холст.

«У меня нет мольберта, - писал он Марии Федоровне Штакеншнейдер, - и я пишу красками на столе, поместивши рисунок или картину на подпорках: стол невелик и завален красками и кистями, заставлен склянками с маслом, склянками с лаком и проч., и проч.».

Перо и бумага были забыты, ему было не до стихов, но поэзия сама стучалась в сердце поэта.

Каждый день, с десяти утра до пяти часов пополудни Полонский копировал предложенные Дидэ картины. «Дидэ не каждый день заходил в нашу комнату, - вспоминал Полонский, - заходя же, со своей трубочкой и в ермолке, он по обыкновению молча глядел на нашу работу или в коротких словах советовал употребить ту или иную краску».
В Женеве Полонский получил письмо от Михайлова, которое ободрило его дружеским участием. «Ты знаешь, что не только во всем нашем кругу, но и вообще нет для меня человека столь близкого, как ты», - признавался Михаил Ларионович, и поэту были дороги слова товарища.

Полонский наслаждался чудесной погодой, занимался живописью, а в свободное время побывал в курортных городах Веве и Монтре, уютно расположившиеся на берегу Женевского озера, посетил средневековый замок Шильон - бывшую резиденцию графов и герцогов Савойских. Яков Петрович гулял по тихим зеленым улицам с видом беззаботного, праздного отдыхающего, а рядом в огромной чаше, окруженной горными склонами, в вечной задумчивости дремало огромное водное зеркало...

Позже он вспоминал: «... Оглядываясь назад, в прошлую жизнь мою, нахожу эти месяцы счастливейшими в моей жизни. Почему? Да потому, должно быть, что я только что избавился от занятий мне не свойственных... Впервые от роду я пользовался свободной жизнью, в надежде, что живопись в будущем даст мне возможность зависеть только от себя и своего таланта».

Яков Петрович и внешне словно преобразился, приобрел благородную осанку и уверенность в походке. Отдыхающие дамы не раз украдкой поглядывали на высокого господина с пышной бородой, в которой уже проглядывали блестки седины, и гадали, кто такой этот молчаливый русский.

Увеселений Полонский не искал, пышного общества чурался, и такое странное, на взгляд отдыхающих, поведение окутывало его облик флером таинственности. Между тем жил он очень скромно, понимая, что денег, выделенных Смирновым, хватит ненадолго.«Моей же хозяйке, хлопотливой и доброй мадам Пико, - вспоминал Полонский, - да и многим из числа моих сожителей почему-то казалось, что я богач; происходило же это оттого, что я не умел торговаться там, где все поражало меня своей баснословной дешевизной, или же потому, что я был щедрее других, или просто оттого, что мне пришло в голову заниматься живописью, иначе сказать - гнаться за мечтой, что, по мнению людей положительных, позволительно только людям вполне обеспеченным.

Впрочем, я так был жизнерадостно настроен, что и сам себе казался богачом и на первых порах не заглядывал вперед, не задавая себе вопроса, надолго ли мне хватит моих благоприобретенных франков, если я буду накануне праздников садиться на пароход и, переплывая живописное, горами обставленное озеро, ночевать в Веве, посещать Монтре и Шильон...»

Как отмечал биограф поэта П.А. Орлов, «Полонский всегда стоял выше мелочных счетов, выше сплетен, зависти и личного недоброжелательства...»