Центром построек села Сергиевского к концу XIX века был дворец и ансамбль построек усадьбы князей Гагариных, включая церковь Сергия Радонежского Чудотворца и торговые ряды с торговой площадью перед ними.

     В конце ХIХ века территория княжеской усадьбы увеличилась почти до 15 гектаров. Прямо перед главным домом вниз  по склону к Плаве устраивается великолепнейший парк с нижним прудом. Старожилы помнят, что пруд был оборудован фонтаном, в нём водилась рыба. Продольные и поперечные, регулярные и кривые аллеи парка делили его территорию на микрозаказнички с великолепным разнообразием растительности.

   Помимо дворца и парка, к рубежу XIX - XX веков усадьба князей Гагариных насчитывала громаднейших размеров каретный двор при въезде (в послевоенное время здесь располагалось здание 1-й городской школы,снесён), здание казначейства - "Терем", электростанцию, различные хозпостройки, двое ворот (в том числе - главные, княжеские, выходящие на московское шоссе чуть севернее аспиды Сергиевского храма) и домик садовника. Последний стоял у основания регулярного паркового партера с прекрасной центральной клумбой в центре (сейчас на этом месте - Плавский дом культуры и главная площадь).

   Вся территория этого ландшафтно- градостроительного комплекса была окружена двухметровой оградой из "дикого" белого камня - полуобработанной белокаменной местной плинфы. Остатки ограды кое-где ещё виднеются.