Принадлежала сначала князьям Долгоруковым (до середины XIX в.), затем семейству графа и писателя В. А. Соллогуба. Состоит из главного дома и обширного двора, со всех сторон окруженного одноэтажными служебными постройками и двухэтажными жилыми флигелями. Главный дом — двухэтажный с мезонином, а боковые части соединены с центральной открытыми галереями на уровне второго этажа, украшенными тонким кованым ограждением.
На рубеже XVIII—XIX вв. усадьба Долгоруких была значительно расширена (в частности, надстроили мезонин, добавили портики на парадном и заднем фасадах), и все здание получило строго классическую обработку. В 1859 г., когда усадьба перешла во владение барона М. К. Бодэ-Колычева (гербы его рода красуются на главном фасаде), к дому были пристроены домовая церковь в «русском» стиле (ее можно увидеть с Б. Никитской улицы) и флигель. Интерьеры главного дома сохранились почти без изменений. Дом внутри богато декорирован деревянной резьбой, его украшают причудливые лестницы и переходы.
В начале 1920-х гг. в доме располагался Дворец искусств, где проходили литературные вечера, встречи писателей, выступали В. В. Маяковский, С. А. Есенин, А. А. Блок, М. И. Цветаева. С 1921 г. здесь находился организованный В. Я. Брюсовым Высший литературно-художественный институт, а в 1932 г., когда был создан Союз писателей СССР, в здании разместилось правление Союза писателей СССР, находящееся здесь и поныне. Ансамбль усадьбы с необычным для города простором и уютом с давних пор стал в литературе олицетворением «усадебной Москвы».
Традиция называет его «домом Ростовых», в котором Лев Толстой поселил героев романа «Война и мир»: об этом напоминает и мемориальная доска. В 1958 г. во дворе был установлен памятник писателю скульптора Н. Г. Новокрещеновой.