В 1901 году это место купил Иван Панов, который работал чиновником в Казенной палате. Вместе со своей женой Ниной, дочерью известного генерала и историка Ивана Попко, он вскоре начал строительство нового дома на месте старого здания Федюшина, которое было снесено.