Участок приобретает Абрам Петрович Ганнибал, прадед
А. С. Пушкина. Для него возводятся два небольших дома — с этого момента начинается история особняка.
Дом переходит по наследству сыновьям Ганнибала — Петру, Исааку, а затем Ивану Абрамовичу Ганнибалу.
Именно в эти годы в дом приезжала племянница Ивана Абрамовича, Надежда Осиповна, с новорождённым сыном — будущим поэтом Александром Пушкиным.
В особняке размещается Литейная продовольственная управа, что спасает здание от разграбления после революции.
Во время реставрационных работ в потайной комнате между этажами обнаружен один из крупнейших кладов в истории Петербурга: свыше 2000 предметов из серебра — сервизы, ордена, украшения работы Фаберже, Сазикова, Хлебникова и других мастеров.
Клад, спрятанный семьёй Нарышкиных в 1917 году, сегодня выставлен в Екатерининском дворце Царского Села.
Особняк занимает Центр международных культурных инициатив.
Владельцами становятся тайный советник И. Н. Неплюев, а позже его дочь М. И. Енгалычева.
В 1832 году два первоначальных дома объединяются в единое здание.
По его заказу архитектор Роберт Гедике, ученик Боссе, расширяет и перестраивает дом: появляются ротонда, танцевальный и театральный залы, парадная мраморная лестница.
Здесь работает детская театральная студия при ТЮЗе, а затем художественная студия имени З. И. Лилиной — в ней начинал будущий композитор Исаак Шварц.
Для перестройки приглашён архитектор Гаральд Боссе — он формирует парадную анфиладу и фасад дома. Именно в этот период создаётся салон Елизаветы Трубецкой, славившийся на весь Петербург.
Компания «Интарсия» проводит полномасштабную историческую реставрацию: восстановлены интерьеры парадных залов, лепнина, плафоны и мраморная отделка.
Особняк находится в частной собственности у компании Ломоносов Групп — мы бережно сохраняем историческое наследие дома.
Особняк приобретает князь Пётр Никитич Трубецкой с супругой Елизаветой Эсперовной Трубецкой.
Особняк приобретает Василий Львович Нарышкин, страстный коллекционер искусства.
В здании располагается кабинет политпросвещения Дзержинского райкома КПСС, а флигели переоборудуют под коммунальные квартиры.