Собор Святого Андрея Первозданного изначально представлял собой небольшую деревянную церковь, которая, по словам краеведа И. В. Бентковского, была построена на средства общества под контролем епископа Иеремии с намерением в будущем создать здесь Архиерейский дом и мужской монастырь.
