Центральная часть дома сооружена из дерева, боковые двухэтажные флигели — из кирпича. В них сделаны арки-ворота, ведущие во дворы. Этот замечательный шедевр русского зодчества ярким образцом городского усадебного строительства. Широкое пространство двора отделяет основной корпус от улицы и позволяет видеть этот памятник во всем великолепии. С исключительной художественной выразительностью решена центральная входная часть: полукруглая ниша, переходящая вверху в полукупол, отделена легкими, изящными колоннами, оттеняющими её глубину. Строгого рисунка фронтон выразительно завершает композицию входа.
Дом А. К. Разумовского был некогда окружен грандиозным парком. Этот парк, доходивший до реки Яузы, славился как «место, которое прелестью неискусственной природы заставляло бы его (посетителя) забывать, что он в городе».
Осенью 1812 года при пожарах во время захвата Москвы армией Наполеона усадьба не пострадала, поскольку была временной резиденцией маршала Мюрата и её тщательно охраняли.
В 1816 году граф Разумовский вышел в отставку с поста министра народного просвещения Российской империи и переехал в Москву. Дом графа Разумовского продолжал оставаться самым примечательным домом на улице. А. К. Разумовский летом давал для знати балы и гулянья в парке. В «Путеводителе по Москве» 1831 года указывалось, что на лугах парка для знатных гостей графа устраивался показательный сенокос, на котором крестьяне и крестьянки в праздничных одеждах косили и убирали сено, пели песни, а по окончании сенокоса и угощения танцевали и водили хороводы. Слишком дорогостоящее содержание дворца и огромные долги тяготили графа, и несколько раз просил он императора Александра I купить имение за 850 тысяч рублей, из которых 800 тысяч сразу уходили на оплату долгов.
После смерти графа в 1822 году усадьба стала приходить в запустение. В 1826 году в коронацию Николая I в нём останавливалась вдовствующая императрица Мария Фёдоровна со своим двором. В 1827 году в одном из флигелей усадьбы жил польский поэт Адам Мицкевич. В 1829 году здесь поселили персидского принца Хозрев-Мирзу с посольством, приехавших извиняться за убийство Грибоедова. Старший сын Разумовского Пётр, с давних пор живущий за границей, успел наделать столько долгов, что великолепную усадьбу вскоре пришлось продать за бесценок. В 1828 году её владельцем стал купец из Одессы М. Е. Юрков.
Через пять лет, в 1833 году, усадьбу выкупил Московский Опекунский совет для размещения «приюта для призрения сирот обоего пола чиновников, умерших от холеры». С тех пор в продолжение почти всего XIX века в бывшем дворце находились всякого рода благотворительные и учебные учреждения. В 1834 году из приюта был создан Московский Александровский (Александринский) сиротский институт для детей обоего пола, называвшийся в обиходе «Разумовским пансионом».
В 1842 году комплекс усадьбы был расширен А. Г. Григорьевым. Тогда же открылось «малолетнее отделение Института обер-офицерских сирот», переименованное в Александринское сиротское малолетнее отделение. Позже, в 1867 году, там же обосновались фельдшерская школа на 300 питомцев Воспитательного дома и богадельня на 100 престарелых женщин. Также в продолжение десяти лет, с 1876 по 1886, тут находилась учительская семинария, некоторое время отдавали здание внаём.
В 1882 году — малолетнее отделение Александровского сиротского дома, в 1884 году — малолетнее отделение Николаевского сиротского института.
С 1901 года в здании усадьбы поместилось «убежище государыни императрицы Марии Федоровны для заслуженных воспитательниц учреждений Императрицы Марии».
29 мая 1918 года в бывшей усадьбе Разумовского по распоряжению Ленина был открыт Московский институт физической культуры. В здании разместились общежития и учебные аудитории для студентов. Пруды были засыпаны, вместо них устроены стадионы и спортплощадки.
В декабре 1920 года институт получил статус центрального института — Государственный центральный институт физической культуры (ГЦИФК).
В 1927 году в бывшем саду Разумовского на р. Яузе ещё сохранились остатки каменной беседки XVIII века. Доклад о ней читал в Московском археологическом обществе художник Аполлинарий Васнецов.
В 1968 году начался перевод института из здания усадьбы на улице Казакова в новое здание на Сиреневом бульваре. После арендатором стал ВНИИФК, началось превращение в сооружение, удобное для размещения лабораторий ВНИИФКа, а в центральной части главного дома соорудили баню-сауну для личного пользования руководства. Баня функционировала более 10 лет, за это время с фасада отлетела штукатурка, и начали разрушаться кирпичные стены.
При подготовке Москвы к Олимпиаде 1980 года дворец был включен в список олимпийских объектов и к концу 1979 года помещения были полностью освобождены. Начались строительные работы, которые нельзя было назвать реставрационными. К Олимпиаде не успели и работы были прекращены на долгие годы.
После 1980 года в здании усадьбы находились различные спортивные организации Госкомспорта СССР, главным из которых являлся ВНИИФК (Всесоюзный научно-исследовательский институт физической культуры).
В начале 1990-х с созданием различных новых руководящих структур физкультуры и спорта в этих помещениях, наряду с ВНИИФКом, находился Национальный фонд спорта и его структуры.
В начале 1999 года главное здание усадьбы было передано Российской академии художеств З. К. Церетели. Через несколько месяцев, в июле 1999 года, произошёл пожар, значительно повредивший часть главного здания.
С осени 2008 года в здании усадьбы располагается Министерство спорта, туризма и молодёжной политики Российской Федерации.
Музей физической культуры и спорта на территории усадьбы занимает три чердачные комнаты общей площадью 50 кв.м. под офисные помещения. Музей переезжал в усадьбу под твёрдое обещание руководства Госкомспорта СССР передачи ему нескольких залов центральной части дворца Разумовских после их реконструкции и ремонта. Ныне центральная часть находится в ещё худшем состоянии, чем в 1990-е годы. Помещение №2 на территории усадьбы, на которое претендует музей, в советские времена всегда являлся столовой и актовым залом. Данное помещение в настоящее время пустует.