В начале 1850-х годов дела отца Якова Петровича окончательно расстроились, да и сам он тяжело занемог. Узнав о его болезни, Полонский решил покинуть гостеприимный Кавказ, подаривший ему немало вдохновенных минут, и отправился в родную Рязань навестить отца, лелея в душе мысли о поездке в Петербург для устройства своих литературных дел. Отец прислал деньги на дорогу, просил приехать в Рязань, если выдастся такая возможность, и напутствовал сына: «Вполне уверен, что ты, мой друг Яшенька, не изменишь своему слову, с получением их распорядишься об увольнении в отпуск...» Якову Петровичу было стыдно получать деньги от отца. «Ну вот, - с горечью думалось ему, - дожил я до трех с лишком десятков лет, а все еще ничего не имею: ни денег, ни семьи, ни какой-либо определенности в жизни... Да и литературный путь только едва брезжит, словно горная дорога в тумане. А ведь сколько их довелось исколесить!..»

Письма, дневники, рисунки Полонского свидетельствуют о местах пребывания поэта за время службы на Кавказе. Чиновник канцелярии наместника Полонский неоднократно бывал в Кутаиси, Гори, Душети, Ананури, Телави, Атени, Редут-Кале, Марткопи, Манглиси, Алаверди, Коджори, в Белом Ключе; он побывал в Борчалинском уезде, высокогорных аулах и татарских селениях, в Кизляре и Моздоке, проезжал по побережью Черного моря, заглянул в отдаленные уголки Кахетии, Гурии, Имеретии, Менгрелии, посетил Армению и Азербайджан...

Такому списку мест, таким маршрутам мог бы позавидовать и самый рискованный и увлеченный путешественник! Недаром в 1851 году Полонский был избран действительным членом Кавказского отдела Русского географического общества.

«Я был за Кавказом и по целым месяцам колесил верхом сотни верст по горам бывшего грузинского царства... бывал выше туч, прислушивался к ключам», - вспоминал поэт. Он побывал в знаменитом Гелатском монастыре. Его внимание привлекали Сионский собор в Тифлисе и Метехский замок, о котором он писал: «Метех - небольшое укрепление, построенное при главнокомандующем в Грузии АЛ. Ермолове. Метех стоит над Курою, на краю береговой скалы, и господствует над городом. В начале семнадцатого столетия здесь был дворец царя Арчила, им покинутый и потом занятый турками».

Как подчеркивал исследователь творчества Полонского И.С. Богомолов, «знание как прошлой, так и настоящей жизни Грузии у Полонского было столь глубоким, что удивляло даже современников поэта, которые многого еще не знали. Это знание было, разумеется почерпнуто не только благодаря глубокому изучению действительности, но и благодаря общению Полонского с деятелями грузинской культуры».

Пребывание на Кавказе вдохнуло в него поэтические силы. В 1851 году в Тифлисской типографии, вышел новый сборник поэта, озаглавленная непритязательно: «Несколько стихотворений Якова Петровича Полонского». Тираж был скромным - триста экземпляров, но для поэта выход книги стал радостным событием.

В сборнике «Несколько стихотворений» поэт снова обращается к толкованию грузинских слов: «Амкар - община. В отношении к понятию о цехе это слово имеет более обширное значение, ибо цех предполагает только общину мастеров и ремесленников, тогда как в Тифлисе амкары составляют не только ремесленники, но и торговцы, как-то бакалейщики или продавцы фруктов, водовозы и другие».

В Грузии поэт стал своим человеком, но надо было ехать в Рязань к больному отцу. Полонский подал прошение об отпуске, которое было удовлетворено. Вместе с отпуском 22 мая ему была предоставлена подорожная, в которой значилось: «От Тифлиса в Рязанскую, Московскую губернию и в С.-Петербург и обратно чиновнику канцелярии наместника кавказского титулярному советнику Полонскому...»

25 мая 1851 года Полонский тронулся в путь по Военно-Грузинской дороге. Яков Петрович смотрел на горные кручи, словно пытаясь навсегда запечатлеть в памяти величественную красоту Кавказа. Поэт словно предчувствовал, что сюда ему уже не суждено вернуться. Его трогательное прощальное стихотворение «На пути из-за Кавказа» помечено 10 июня 1851 года:

Неприступный, горами заставленный,
Ты, Кавказ, наш воинственный край, -
Ты, наш город Тифлис знойно-каменный,
Светлой Грузии солнце, прощай!
……………………………………………
И душа на простор вырывается
Из-под власти кавказских громад
Колокольчик звенит-заливается...
Кони юношу к северу мчат.
…………………………………………..
В стороне слышу карканье ворона
Различаю впотьмах труп коня –
Погоняй, погоняй! тень Печорина
По следам догоняет меня...

Глаза Полонского наполнились тоскливой грустью. «Душу, к битвам житейским готовую, я за снежный несу перевал», - родились в голове строки будущего стихотворения. Он в последний раз оглянулся на таявшие в туманной дымке очертания тифлисских строений и глубоко вздохнул. Здесь, в Грузии, у него осталось немало хороших друзей и добрых знакомых. Здесь он в полной мере осознал свое литературное призвание. Здесь он получил чин титулярного советника, который, согласно «Табели о рангах», предписывал титуловать поэта «Вашим благородием» Здесь Полонский познал страстную, но - увы! - непостоянную любовь Софьи Гулгаз, подарившей ему столько жарких ночей...

Сердце Полонского гулко и учащенно забилось, подкатывая, казалось, к самому горлу, и глаза поэта повлажнели. Он словно чувствовал, что покидает этот горный край навсегда. Каменистая дорога змеей вилась в предгорьях, уводя неведомо куда. Что ж, ямщик, погоняй коней, погоняй!