Полонский был человеком принципиальным и, если его внутренние убеждения не совпадали с мнением кого-либо из литературных авторитетов, откровенно высказывался об этом.

Остро полемизировал Полонский с Львом Николаевичем Толстым по поводу его книги «Царство Божие внутри нас». Толстой утверждал: «Противны же совести христианина все обязанности государственные, и присяги, и подати, и суды, и войско. А на этих самых обязанностях зиждется вся власть государства. Враги революционные извне борются с правительством. Христианство же вовсе не борется, но изнутри разрушает все основание правительства... Христианство в его истинном значении разрушает государство».

Полонский считал подобные выводы великого писателя ошибочными, ведущими к анархии, к разрушению государственности. В 1895 году он вступил в полемику с Л.Н. Толстым по поводу основных принципов его учения о «непротивлении злу насилием», хотя глубоко уважал и ценил его как писателя и человека. «Как великий художник, граф Толстой имеет полное право внушать нам веру в действительность им выведенных на сцепу типов... но, выходя на арену проповедника и утописта, напрасно думает граф, что он один владеет истиной». Лев Николаевич прислал автору статьи письмо, из которого следует, что великий романист на выпад Полонского не обиделся и сохранил к нему дружеские чувства. Статья Полонского «По поводу одного заграничного издания новых идей гр. Л.Н. Толстого» была опубликована в «Русском обозрении» и вызвала совершенно неожиданный резонанс: в правительственных кругах ее восприняли как антиреволюционную и одобрили, хотя Полонский на это и не рассчитывал. Писателя посетил товарищ министра народного просвещения. «От последнего узнал я, - признавался Полонский, - что и министр граф Делянов читал ее и даже выразил желание разослать статью по учебным заведениям, если она будет издана в виде брошюры. Издать, конечно, не долго, да это и не будет дорого стоить, но... Тотчас же пойдет молва, что я писал по заказу, писал, чтоб угодить нашему правительству... Заподозрится искренность моих убеждений...»

Быть неискренним Полонский не мог, но в то же время он не предполагал, что его статья так заинтересует министра народного просвещения.

С.С. Тхоржевский опубликовал выписки из дневника Полонского за 1896 год:

«2января. - Вечером был у меня А.Н. Майков. Говорил о том, что нет ни одного лица, способного быть министром народного просвещения... Поневоле Делянов держится еще на его министерском месте.

30 января. - ...В синодальную типографию послан последний лист моих заметок о графе Л.Н. Толстом».

Благодаря министру Делянову заметки Полонского были изданы отдельной брошюрой и разошлись в течение двух дней, чего сам автор никак не ожидал.

В письме к Толстому Полонский поделился своими мыслями о совершенствовании человеческих отношений: «Проповедуй Вы реформы, я примкнул бы к Вам, как к реформатору, преследующему более или менее усовершенствование того, что... искажено... невежеством и человеческими пороками». Все ту же мысль о связи общественных учреждений с «прогрессом» Полонский выразил в неопубликованной статье «В каком смысле я монархист и республиканец», хранящейся в Пушкинском доме Российской академии наук. П.А. Орлов, изучивший рукопись, писал: «Основные мысли этой статьи сводятся к следующим положениям. Политический строй любого государства обусловлен, по мысли автора, степенью культуры населяющего его народа. В силу этого форма правления зависит «от статистических данных, а не от теорий и прокламаций»... Полонский даже делает попытку определить примерные условия для той или иной формы государственного строя... Само существование монархии объясняется автором статьи исключительно невежеством подданных. Россия, по мысли писателя, еще нуждается в монархе, ибо народ (имеется в виду прежде всего крестьянство) не уяснил себе «никаких понятий о том, что такое государство и общество», потому без царя «все превратится в хаос, из которого нам не дадут и выйти враги наши, а воспользуются им, чтобы... покорить своему влиянию». Иными словами, Полонский считает себя монархистом не потому, что ему вообще нравится эта форма правления, а только потому, что вынужден признать временную ее необходимость для России».

...Как-то Жозефина Антоновна вошла в кабинет поэта с серым пакетом в руке:

- Яков, посмотри, Лев Николаевич тебе письмо прислал из Москвы.

- Граф Толстой? Ну-ка, ну-ка... Что это он надумал? Жозефина, прочитай, пожалуйста.

Жозефина Антоновна вскрыла конверт, присела рядом и начала читать:

«Дорогой Яков Петрович!

По разным признакам я вижу, что вы имеете ко мне враждебное чувство, и это очень огорчает меня.

...Я всегда, как полюбил вас, когда узнал, так и продолжал любить... Я мог ошибаться в этом искании лучшей жизни и более полного исполнения воли Бога, но я знаю, что руководило и руководит мною одно это желание, и потому хороший и добрый человек, как вы, никак не может за это разлюбить человека.

Очевидно, тут есть какое-то недоразумение, и я очень желал бы, чтобы оно разрушилось...

Так, пожалуйста, дорогой Яков Петрович, простите и не любите меня.

Любящий вас Л. Толстой».

Письмо великого писателя растрогало Якова Петровича до слез. За что просит прощения Толстой? Ну, были разногласия, была полемика, так что из того? Ведь, в конечном счете, одному Богу ведомо, кто прав, кто виноват...

- Жозефина, надо Льву Николаевичу немедленно ответить - ишь, как он переживает... Напиши, пожалуйста, я продиктую...

«Я уже настолько слеп, что не могу сам писать, - признавался поэт, -и поневоле должен диктовать это письмо.

Напрасно думаете Вы, что я разлюбил Вас или имею к Вам враждебное чувство... Но Вы и Ваши идеи и Ваши поучения для меня не одно и то же... Любя Вас и поклоняясь Вам как гениальному художнику, я не могу рядом с Вами идти даже в царство Божие...

Не думайте, что я желаю застоя или поворота назад, - нет, и проповедуйте Вы реформы, я примкнул бы к Вам как к реформатору... Но не могу же я раскаиваться в том, что душа моя несет свои идеалы, иные, несовместимые с Вашими...»

Полонский отправил письмо Толстому, но чувствовал: осталось что-то недосказанное. Хотелось примирения, теплоты чувств и врачующего душу всепрощения. И он снова принялся за письмо: «Не удовлетворился я моим длинным и многословным ответом на Ваше доброе, воистину братское послание, и Вы, конечно, недовольны им, но спрошу Вас: мешает ли Вам это недовольство по-прежнему любить меня? Так и мне недовольство слишком резкими страницами Вашей книги «Царство Божие внутри вас» не мешает любить Вас по-прежнему... В Вашей статье об искусстве страницы о Вагнере так хороши и превосходны, что я не могу им вполне не сочувствовать, но Ваше заключение, где Вы говорите о науке, непонятно мне. Наука верит только опыту, анализу... До веры, какой бы то ни было, ей никакого дела нет, да и не будет. Что касается веры, то она перестает быть верой, если вдается в научные рассуждения, так как знать и верить - две вещи несовместимые: тому, что я знаю, я уже не верю, а знаю. И область веры доходит только до границ знания и никогда безнаказанно не переступает их».

Толстой не пожелал продолжать полемику с Полонским и прислал короткий ответ: «Спасибо, дорогой Яков Петрович, за ваше доброе письмо. Я не был недоволен и тем письмом, но вы, как чуткий и добрый человек, захотели растопить последние остатки льда и вполне успели в этом».

Полонский, получив письмо, облегченно вздохнул: «Ну, наконец-то окончательное примирение с Толстым состоялось...»