Первые уроки рисования Полонский получил в Рязанской мужской гимназии. Он показал свою тетрадь с рисунками учителю естественной истории, заслужив его особое расположение. «Он пригласил меня к себе в воскресенье, - вспоминал Полонский, - принес мне какую-то книгу с рисунками, приготовил мне краски и кисти и заставил меня срисовывать…». Любовь к изобразительному искусству не покидала поэта всю его жизнь.

В 1846-1848гг., во время пребывания на Кавказе, Полонский усердно занимается рисованием кавказских пейзажей, которые один за другим появляются в его альбоме. Среди них: «Уголок старого Тифлиса», «Сакля Авлабара», «Караван-сарай в Тифлисе», «Душет» и др. Ценность заключается не только в том, что они реалистически воспроизводят отдельные уголки Грузии 40-х-50-х годов XIX века, но и в том, что эти рисунки позволяют судить о круге интересов Полонского, дополняют его художественные произведения. Его дорожные альбомы являлись своего рода «записными книжками», в которых Яков Петрович стремился зафиксировать все, что его интересовало, запечатлеть все необходимое для дальнейшей работы над художественными произведениями. Не все живописные работы Полонского имеют законченный характер, многие сделаны карандашом или тушью.