Осенью 1883 года семья Полонского переехала в дом № 26 по улице Знаменской, на пересечении с Бассейной, их квартира № 36 располагалась на пятом этаже, куда вела крутая лестница, насчитывающая более ста ступеней. Преодолеть такую высоту престарелому поэту было уже не по силам, поэтому домашние и друзья иногда выносили его в кресле подышать свежим воздухом...
Якову Петровичу было трудно с больной ногой спускаться со своего «поэтического Олимпа», зато к нему по пятницам приходило много людей - друзей, приятелей, знакомых, а то и вовсе случайных гостей. На двери квартиры блестела медная табличка с надписью: «Яков Петрович Полонский». Из передней гости попадали в просторную «залу», или столовую. Дверь налево вела в комнату дочери Полонских, Наташи, у которой собирался свой кружок друзей. Сыновья Александр и Яков тоже принимали участие в «пятницах» поэта.
«Сам Полонский, пока шумели, играли и спорили гости в большой зале, просиживал в кабинете, где стоял полумрак, курил крепкие сигары, пил чай и кому-нибудь из любителей поэзии читал свои, еще не вышедшие в свет, стихотворения загробным, певучим голосом», - вспоминал посетитель «пятниц» И.И. Ясинский.
В кабинете поэта возвышались два массивных, но недорогих книжных шкафа. Возле рабочего стола, как обычно, заваленного книгами, газетами и бумагами, стоял легкий журнальный столик. По стенам были развешены семейные фотографии, виднелись акварели художника Трутовского и работы самого хозяина квартиры. «Литературное настроение» создавали два бюста - Пушкина и Тургенева (последний был выполнен Жозефиной Антоновной). «И чего-чего, бывало, не наслушаешься здесь в один вечер!..» - восторгался молодой в ту пору барон Н.В. Остен-Дризен (он был моложе поэта на целых полвека!). Барон со временем стал известным театральным деятелем и историком русского театра. Николай Васильевич пробовал заниматься и живописью. В одном из писем Полонскому он спрашивал совета поэта и художника: можно ли использовать фотографии для написания пейзажей. Яков Петрович отвечал, что фотография может быть полезна для живописца. Пейзажист должен изучать природу, но для того, чтобы правильно положить тени, можно использовать фотографию, так как в природе постоянно меняется освещение и трудно запечатлеть на холсте игру света и тени...
Яков Петрович и в дальнейшем обменивался письмами с бароном Остен-Дризеном и в одном из них (от 5 июля 1893 года) делился заветными мыслями: «Люблю я покой, тишину, книгу, перо такую-либо беседу с немногими». Очевидно, молодой барон из Рязани был одним из тех немногих, с которыми поэт любил беседовать на своих «пятницах».
Иногда по вечерам в зале устраивали сеансы рисования и лепки. Старший сын поэта Александр и дочь Наталья рисовали с натуры, Жозефина Антоновна лепила.
Наталья Полонская занималась музыкой и часто на вечерах исполняла музыкальные произведения. Услышав, что дочь села за рояль и начала играть, Яков Петрович, обычно укутанный в плед, выходил из кабинета, опираясь на костыль, и с удовольствием слушал музыку.
На вечерах у Полонского в доме на углу Знаменской и Бассейной улиц бывал его младший товарищ, литератор и историк Е.Н. Опочинин, который вспоминал: «Квартира была небольшая: единственной комнатой значительных размеров была зала или, вернее, столовая, служившая главным образом местом пятничных собраний. Здесь подавался скромный ужин. Здесь же иногда поэт читал своим гостям вслух новые свои произведения. Впрочем, никто ничем не был стеснен на пятницах: гости разбредались по всей квартире, ютились по углам небольшими группами и в маленькой гостиной, и в кабинете хозяина, где он обычно сидел за письменным столом, покуривая недорогую сигару...
Вижу я, как сейчас, приземистую фигуру Н.Н. Каразина с длинной седой бородой святочного деда, слышу басистый голос Миши Микешина. Д.В. Аверкиев с лицом дьяка XVII века, лысый, с небольшими умными глазками, сидит перед столом Я.П. и что-то повествует хриплым баском, напоминающим бурлящий самовар. Народу на этот раз было не так много, но все-таки я мог уловить, так сказать, общий тон этих собраний. Здесь царила полная свобода, все могли говорить о чем угодно, но никому бы и в голову не пришло болтать здесь о каких-нибудь пустяках, рассказать пошлый анекдот. Тем не менее вечер проходил оживленно; о скуке, томительном стеснении не было и помину. Каждый чувствовал себя легко, время проходило быстро. Интересные споры об искусстве, о литературных новинках, иногда же и о политических событиях загорались, потухали и вспыхивали вновь...И вдруг все неожиданно притихло: хозяйка приглашала ужинать. Все пошли в большую белую комнату и уселись за длинным столом, стоявшим посередине. Беседа здесь не только не прерывалась, но достигла наибольшего оживления. Разница была лишь в том, что тут она сделалась общей.
Никак не припомню, кто именно из гостей несколько легкомысленно обмолвился мнением, что размер стиха может совершенно не согласоваться с содержанием данного поэтического произведения...
Я.П. прислушался, поднял голову, задумчиво склоненную над тарелкой, и сказал:
- Я вас понимаю. Например, кому-нибудь пришло бы в голову написать надгробные стихи и, по-вашему, он мог бы, воспользовавшись размером веселой песни, написать что-нибудь вроде такого надгробного плача:
Мы хороним мудреца, мудреца,
И мы плачем без конца, без конца.
Я.П. будто пропел эти развеселые стихи.
Все единодушно рассмеялись, а со всеми и автор слишком оригинального мнения. Конечно, он не решился его более отстаивать.
Вскоре после полуночи кое-кто из наиболее старых «пятничков» откланялись хозяевам, а за ними и все остальные».