Жизнь в столице требовала немалых затрат, а в разросшейся семье Полонского большого достатка не было, и они были вынуждены переезжать с квартиры на квартиру в поисках жилья подешевле. В конце лета 1878 года Полонские переехали в дом на углу Николаевской и Звенигородской улиц.

За окнами квартиры простирался пустынный Семеновский плац. Здесь когда-то давно пережил, пожалуй, самые страшные минуты в своей жизни Достоевский. Писателю, осужденному по делу петрашевцев, первоначально был вынесен смертный приговор. Генерал-аудиториат внес в решение суда поправку: «...Лишить всех прав состояния и сослать в каторжную работу в крепости на восемь лет...»

Николай I наложил на заключение генерал-аудиториата окончательную резолюцию: «На четыре года, а потом рядовым». Однако российский самодержец не просто смягчил приговор, но сделал к нему изуверскую по своей сущности приписку: «Объявить помилование лишь в ту минуту, когда все уже будет готово к исполнению казни».

22 декабря 1849 года, в 7 часов утра, после полугодичного заключения в одиночных камерах, петрашевцев, осужденных на смертную казнь, доставили на Семеновский плац. Среди них был и Достоевский. Стремительно летели секунды. Каждый из осужденных считал их последними в жизни. Было холодно и жутко в морозной мгле. И вот... прозвучали слова помилования. Трагический миг сменился «высочайшим» фарсом...

Полонский смотрел сквозь окна на унылый Семеновский плац, и в голове его теснились безрадостные мысли.

В конце 1879 года Полонские вновь сменили квартиру и переехали на Фонтанку. Сняли комнаты на четвертом этаже - это было дешевле. Здесь окна выходили на унылый серый двор, любоваться было не на что...

Якову Петровичу год от года становилось все труднее ходить, а подниматься на четвертый этаж - тем более. Вспоминались грустные, но верные слова из письма Тургенева: «Душа моя, мы оба - два черепка давно разбитого сосуда». Да, думалось, черепки, как есть - черепки, но ведь археологи и по черепкам могут охарактеризовать эпоху. А мы-то - черепки литературные, от нас еще книги останутся...

8 квартиру на Фонтанке, как и в прежнее жилье, к писателю стали часто наведываться друзья и знакомые из числа литераторов, артистов, музыкантов. Со временем эти собрания превратятся в знаменитые «пятницы» Полонского, а пока Яков Петрович стеснялся беспокоить друзей, приглашая их к себе в гости (самому наносить визиты было уже тяжело). «... Не смею приглашать Вас... - писал он Достоевскому. - Ведь я очень хорошо знаю, какую бездну нервной и нравственной силы исстрачиваете Вы на Ваш труд, - и я буду претендовать, чтобы Вы лезли ко мне на четвертый этаж, и я буду назначать время, когда Вам быть у меня... Я Вас не приглашаю в такой-то день и в такой-то час, потому что во всякий день и во всякий час буду рад Вашему посещению».

9 марта 1879 года Полонскому довелось выступать вместе с Достоевским и другими писателями на вечере в пользу «Общества нуждающихся литераторов и ученых», где великий романист читал главу из «Братьев Карамазовых».

В 1879 году Полонский отправился лечиться грязями на остров Эзель (ныне Сааремаа, Эстония), расположенный на Балтийском море, у входа в Рижский залив. Лечить пришлось не только все сильнее дающую о себе знать ногу, но и печень, болезнью которой страдал с молодых лет. После принятия ванн наступило облегчение, но ненадолго.