عمارت «عشرت‌آباد» در دوره‌ی قاجار هر چند از همان زمان سازمان میراث فرهنگی و گردشگری که متولی حفظ و نگهداری آثار تاریخی است در کنار مالک این بنا، مسوولیت حفاظت از این مجموعه را عهده‌دار شد و بنا جزو آثار تاریخی شهر تهران قرار گرفت، اما حالا از همه‌ی خانههای کوچک، محوطه و کل مجموعه‌ای که «عشرت‌آباد» نامیده می‌شد، فقط کاخ اصلی باقی‌مانده است.به‌دلیل پادگان بودن محوطه و جریان نداشتن زندگی، به‌تدریج خانههای نقلی در مجموعه‌ی «عشرت‌آباد» عناصری دردسرساز دانسته شدند و با وجود این‌که در فهرست آثار ملی ثبت شده بودند، ولی در هر دوره‌ای، بخشی از آن‌ها تخریب شد. شهرداری تهران نیز در حدود سال‌های 1385 عملیات ساخت و عبور بزرگراهی که از سال‌های قبل مطرح بود، را از کنار این مجموعه آغاز کرد. اجرای این طرح برخلاف بسیاری دیگر از طرح‌های شهرداری که معمولا برای بخش‌های تاریخی مشکل‌ساز است، باعث شد تا بخشی از حصار پادگان که با وجود آن، کاخ عشرت‌آباد دیده نمی‌شد، برداشته و پس از سال‌ها، این کاخ دیده شود.