4 декабря 1796 года император Павел I издал указ об освобождении Радищева из илимской ссылки с обязательным проживанием под надзором полиции «в своих деревнях», т.е. в деревнях отца Радищева Николая Афанасьевича.
В феврале 1797 года Радищев объявляет иркутскому губернатору, что он назначает своё пребывание в сельце Немцово Калужского наместничества Малоярославецкой округи. 3 марта в сопровождении фельдъегеря Радищев с семьёй выехал из Илимска.
22 июля писатель с детьми прибывает в Москву. Он понимает, что оставаться надолго в Москве небезопасно, ведь в случае доноса можно было тяжело поплатиться за ослушание. Он провёл в Москве всего четыре дня, пока были сделаны некоторые покупки, необходимые для предстоящей жизни в деревне, но не решился повидаться со знакомыми.
В середине июля Радищев приехал в Немцово. Подъезжая к селу, он радовался, как человек, доехавший наконец после долгого пути до места, где сможет жить, пользуясь некоторой свободой. Но уже в первые дни понял, что его ждёт нищета. «Немцово я нашёл в великой расстройке и, можно сказать, в разорении. Каменного дома развалились даже стены, хотя не все. <…> Немцово заложено в банке, и оброк весь идёт туда. Посуда вся вывезена, новопостроенная связь продана, лес в значительной степени вырублен», писал Радищев отцу через несколько дней поле приезда в деревню. Через месяц в письмах к сестре Марии и брату Моисею он уже сообщал о том, что поставил две избы без крыш, в которых намеревался сделать зал и кабинет.
Голод, в прямом смысле этого слова, не угрожал, но тяжёлая и постоянная нужда была неизбежна. Жизнь в Немцове шла почти так же однообразно, как в Илимске, но её не скрашивала заботливость Елизаветы Васильевны.
Уже в первые дни жизни в Немцове Радищев начал думать о том, как бы встретиться с двумя старшими сыновьями и родителями. Для того, чтобы получить разрешение съездить к отцу и матери, Радищев был вынужден послать прошение императору Павлу. Разрешение было получено. В начале марта 1798 года Радищев с детьми выехал в Верхнее Аблязово и прожил там до конца года.
В марте 1799 года Радищев возвращается в Немцово. Жизнь под надзором полиции в убогой деревушке без права выезда часто казалась Радищеву хуже Сибири. «Когда гроза и дождь не позволяют выходить из дома, — писал он своему другу Воронцову, — печаль охватывает все мое существо…». Общение с природой постепенно восстанавливало духовные и физические силы Радищева. «Я ухожу в небольшой лесок, который находится недалеко от моего сада, где нет ничего, кроме яблок. Я гуляю в лесу, не для того, чтобы стрелять дичь, которой там нет, а для того, чтобы собирать грибы». В письме к Воронцову, написанном в сентябре 1797 года Радищев утверждал, что читает мало и не пишет совсем: «Эта страсть у меня прошла». Казалось бы, прежние мечты и желания оставили Александра Николаевича, но, незаметно для него самого новые впечатления давали толчок мысли. Здесь он начал обрабатывать свои записи наблюдений над крестьянским хозяйством, положив их в основу исследования, которому дал предварительное название: «Вот описание моего владения, поместья, вотчины, деревни или назови, как хочешь». Рукопись начиналась художественным описанием полей за Малоярославцем и жатвы, после которой крестьяне возвращаются в деревню. «Описание моего владения» осталось незаконченным. Те части, которые Радищев успел написать, составляют самостоятельное и новое исследование. Радищев проявил себя в этой работе как замечательный учёный-экономист.
Новые мысли о стихосложении высказал Радищев в рукописи о творчестве Тредиаковского «Памятник дактилохореическому витязю». «Радищев, будучи нововводителем в душе, силился переменить и русское стихосложение. Его изучение «Тилемахиды» замечательны», написал Пушкин через тридцать четыре года после смерти Радищева.
Именно здесь рождается поэма «Бова». Он написал одиннадцать песен, но сохранилось только начало поэмы, написанной белым стихом. Возможно, в Немцове он начал ещё два произведения: «Песнь историческую» и «Осьмнадцатое столетие».
В 1800 году исполнилось 10 лет с тех пор, как Радищев был приговорен к десятилетней ссылке. Он решил попытаться получить на этом основании позволение вернуться в Петербург. Разрешение покинуть Немцово он получил при Александре I. Через три дня после восшествия на престол Александр I подписал указ, которым восстанавливались в правах осуждённые по делам, производившимся в Тайной экспедиции. В одном из списков, приложенных к указу, значилось имя Радищева: ему возвращались дворянство и чин, он мог жить, где захочет.
Как только это известие было получено в Немцове, Радищев выехал в Петербург.
В настоящее, время от усадьбы Немцово сохранились озеро, окаймленное старыми ивами, фрагменты липовой аллеи вдоль речки Карижки. Полуразвалившийся деревянный барский дом существовал на берегу пруда до 1930 г. и в годы войны был окончательно уничтожен. В 1949 году на месте дома установлен обелиск, на котором написано: «Здесь жил с 1797 по 1801 годы Радищев Александр Николаевич, выдающийся русский революционер и писатель».
На улице Радищева в Малоярославце Калужской области в наше время расположена школа имени Радищева, перед которой установлен бюст писателя.