Но,они смогли накопить немалый капитал, и открыть собственное ткацкое и красильное дело, основав в 1829г. небольшую фабрику на берегу Хапиловского пруда. На фабрике делали драдедамовые платки (драдедам — легкое дешевое сукно).
Позднее братья переключились на обычное сукно, которое требовалось для армии. Одной из самых распространенных изделий фабрики Носовых были кавказские сукна, из которых на Кавказе делали местные черкески. Фабрика процветала и росла.
Возглавлял фабрику в течение многих лет сын одного из братьев-основателей Василий Дмитриевич Носов. В 1880-е годы он купил у купца Н.О.Жучкова недалеко от фабрики земельный участок, где он построил деревянный жилой дом для себя и своей семьи. Позже к нему неоднократно добавлялись различные пристройки, как деревянные, так и каменные.
После того, как его сын Василий женился, В.Д.Носов отдал ему этот особняк, а себе решил построить деревянный дом в стиле модерн на улице Электрозаводской. Особняк В.Д.Носова 1903 года постройки по проекту Л.Н.Кекушева больше напоминало альпийское шале. Внук владельца вспоминал, что он был неравнодушен ко всему новому и «задумал свой дом со всеми последними достижениями комфорта — водяным отоплением, горячей и холодной водой из кранов и тому подобным. Вместе с тем здание возводилось не из кирпича, а из дерева — это, по мнению деда, и ускоряло стройку, с которой он спешил, и имело свои преимущества для житья — более здоровый воздух в помещениях, сохранение тепла и так далее... Дом был разделен на две половины — мужскую и женскую. Внизу жил дед и располагалась мужская прислуга — наверху тетка-барышня и женская прислуга».
После революции 1917 года в доме купца Носова располагались различные учреждения. Сейчас особняк Носова — памятник архитектуры. Он прекрасно сохранился, и в нем разместился филиал Российской Государственной библиотеки для молодежи и и музей отечественного предпринимательства.