Владельцем этой резиденции был граф Алексей Григорьевич Орлов, который был братом Григория Орлова, а также идеологом и авантюрным гением их семейства. В истории он известен как участник дворцового переворота 1762 года. С его именем также связана загадочная и трагическая история княжны Елизаветы Таракановой, выдававшей себя за дочь Елизаветы Петровны и претендовавшей на русский престол. Эти истории полны тайн и загадок.
Строился этот особняк как загородная резиденция графа. Строительством руководил архитектор Матвей Казаков. Особняк построен на возвышении, он очень светлый и легкий. К его входу ведет красивая парадная лестница.
На каменном квадратном в плане цокольном этаже поставлена ротонда. Ее тонкие деревянные колонки обходят по кругу верхний объем, образуя широкую окаймляющую второй этаж крытую террасу. Над домом высятся крыша с люкарнами и небольшой купол.
Страстью Орлова были голуби, а потому на даче он отвел им верхний ярус. Известный знаток Москвы Н. П. Чулков в 1920-е годы сообщал, что по преданию в этом доме устаивали заседания масоны, и из него есть тайный подземный ход.
О здании не сохранилось почти никаких документов. В москвоведческой литературе высказывается предположение, что здание было выстроено для А. Г. Орлова-Чесменского как один из корпусов его летней усадьбы.
Происхождение современного названия неизвестно. Согласно одной версии, название образовалось просто из-за необычного внешнего облика. По другой версии, здание действительно использовалось как голубятня. А. Г. Орлов был любителем голубей.
На картах в этом месте в разное время можно найти обозначения "Миткальная фабрика" (Миткаль — суровая тонкая хлопчатобумажная ткань полотняного переплетения), "Дача К. Симонова" и "Свечной завод".
До революции здание принадлежало скульптору К. Ф. Крахту, где у него была мастерская. В советский период здание занимали художественная коммуна «Венок» и воинская часть, позже в нём разместилась детская библиотека. По окончании периода перестройки в здании расположился ресторан «Граф Орлов».