Литературным трудом прокормиться не удавалось. «.. .Вообще-то я не мастер делать славу - хоть бы у Данилевского поучился Вот человек!» - сетовал на себя Полонский, доверяя мысли дневнику. Надо было добывать деньги на повседневные расходы, и Полонский снова, как и в студенческие годы, стал давать уроки, готовя детей обеспеченных великосветских семей к поступлению в высшие учебные заведения Должность гувернера и раньше казалась Полонскому унизительной, теперь же, когда ему было за тридцать, она его тем более не прельщала Но делать нечего - надо было зарабатывать на жизнь. Поэт часто не знал, каким выдастся его день, чем он будет питаться, где найдет ночлег. Ему приходилось жить в домах, где он занимался репетиторством, и там его ставили ничуть не выше хозяйских слуг.
Поэт выражал свои нерадостные чувства в стихах:

Воротилась весна, воротилась!
Под окном я встречаю весну.
Просыпаются силы земные,
А усталого клонит ко сну.

И напрасно черемухи запах
Мне приносит ночной ветерок;
Я сижу и тружусь; сердце плачет,
А нужда задает мне урок…

Свою жестокую судьбу поэт изображал сварливой старухой-нянькой, досаждающей ему глупой и однообразной болтовней:

Моя судьба, старуха, нянька злая,
И безобразная, и глупая, за мной
Следит весь день и, под руку толкая,
Надоедает мне своею болтовней.

Заканчивалось стихотворение безысходно-безнадежно:

И болен я - и нет мне сил подняться,
И слышу я; старуха головой
Качая, говорит, что вряд ли мне дождаться
Когда-нибудь судьбы иной.

Полонский отчаялся верить в то, что судьба станет к нему благосклонной и он сможет избавиться от нужды. Круг его общения расширялся. Собратья по перу считали его талантливым поэтом, а в богатых домах смотрели на гувернера с пренебрежением, иногда даже отказывались принять его.

Позднее, уже в годы зрелости, Полонский пришел к горькому выводу: «Слово «гувернер» - клеймо безденежья, а в Петербурге все простят, кроме явной бедности».

Работа гувернера требовала много сил - нужно было готовиться к урокам, ездить в разные районы Петербурга к своим ученикам-воспитанникам. К тому же промозглая погода северной столицы не лучшим образом сказывалась на здоровье поэта. Летом 1853 года, почувствовав усталость, недомогание и внутреннюю опустошенность, Полонский отправился в финские города Гапсаль (ныне Хаапсалу) и Гельсингфорс (ныне Хельсинки), надеясь морскими купаниями восстановить силы и укрепить здоровье. Но неопределенность положения и незавидное материальное положение давили на сердце тяжелым камнем - а это было куда серьезней усталости и недомогания...

Осенью 1853 года Яков Петрович поступил домашним учителем в дом генерал-майора графа Павла Матвеевича Толстого и стал готовить его пятнадцатилетнего сына Павла к поступлению в Пажеский корпус.

С.С. Тхоржевский так описывает этот период жизни Полонского: «В ноябре ему пришлось уехать в Варшаву вместе с семьей Толстых. Дорогой он зябнул в экипаже; от холода - а может, не только от холода - из глаз его катились слезы. В Варшаве Толстой снял квартиру на Крулевской (Королевской) улице. В этой квартире у графа часто бывали гости, но никто не обращал внимания на домашнего учителя, «одинокого посреди многолюдства». Должно быть, знакомства Толстого были тут ограничены узким кругом русских офицеров и чиновников, служивших в Варшаве.

Зимой Полонский написал знакомому литератору Гаевскому в Петербург: «Кланяйтесь от меня Андрею Александровичу Краевскому, спросите его, правда ли, что о Варшаве запрещено печатать, я бы мог прислать ему несколько варшавских писем... да что даром хлопотать - как нельзя!.. Тоска меня не покидает, но я привык к ней, начинаю понимать по-польски, но сам еще плохо говорю...»

Весной он вместе с Толстым вернулся в Петербург.

Летом они ездили в подмосковное имение поэтессы графини Ростопчиной - Вороново. Ростопчина к тому времени разорилась, и Толстой покупал ее имение.

Сын его поступил в Пажеский корпус, и Полонский с Толстым расстался».

Для поэта снова начались скитания по разным квартирам, снова он давал частные уроки в богатых домах. «Живу теперь сам по себе на новой квартире и пробавляюсь уроками, яко и вы, - сообщал он в Москву Николаю Щербине. - Квартира моя находится на Гороховой, близ Адмиралтейской площади... В Питере легче находить труд, чем в Москве. В Москве, напротив, легче жить без труда. Москва гладит - Питер шлифует и нередко зашлифовывает людей до смерти. Много горя я здесь перенес - и этого горя никто не знает. Питер учит притворяться и прикидываться спокойным... Кланяйтесь герою нашего времени Кублицкому».