Комплекс возведён в 1776—1780-х годах и представляет собой образец русской неоготической архитектуры. Долгое время дворец служил резиденцией для знатных особ.
В 1830 году комплекс был переоборудован под холерный карантин, но после реконструкции конца 1830-х годов дворец использовался как загородная резиденция императорской семьи.
После событий 1917 года здесь располагались лазарет, районный комитет, милиция. Позднее во дворце обосновалась Военно-воздушная академия имени Жуковского, одним из выпускников которой был Юрий Гагарин.
С 2011 года на втором этаже и флигелях дворца располагается гостиничный комплекс, а первый этаж передан музею. Также дворец является официальным Домом приёмов правительства Москвы.
