ساخت عمارت‌های بزرگ در باغ‌هایی که بعد از شکستن حصار صفوی در دوران ناصرالدین‌شاه در محدوده حصار ناصری قرار گرفتند مرسوم بود. در آن روزگار زمین‌های بایر و مواتی اغلب مورد توجه رجال سیاسی قاجار قرار می‌گرفت، از جمله زمین‌های یوسف‌آباد.
به گزارش همشهری آنلاین، علیرضا زمانی تهران پژوه دراین‌باره می‌گوید: «در این باغ‌ها عمارت‌های بزرگی ساخته می‌شد که دورتادورش حجره‌های کوچکی بود. خانواده کشاورزانی که در باغ‌ها کار می‌کردند در این حجره‌ها ساکن می‌شدند. این عمارت‌ها محصور بود و خانه اربابی در نزدیکی آن‌ها قرار داشت.»
قلعه یا همان عمارت بزرگ یوسف‌آباد هم از این قاعده مستثنی نبود. ۲۰ تا ۳۰ خانوار در آنجا ساکن بودند. عمارت با دیوار‌های بلند و در بزرگی محصورشده بود و این برای امنیت ساکنانش بود تا در آن بیابان در امان باشند.
محسن شاعری پیرمرد ۸۰ سالهای است که تا ۷ سالگی در قلعه یوسف‌آباد زندگی کرده است. او هنوز خاطرات قلعه را به یاد دارد. خاطره دیوار‌های بلند و حوض‌های آب. خاطره قهوه‌خانه بیرون قلعه و تنها دکتر آنجا.
او می‌گوید: «بیشتر اهالی قلعه کارکنان، پرستاران و خدمه بیمارستانی بودند که در باغ‌های یوسف‌آباد قرار داشت. پدرم به‌عنوان پزشکیار در همین بیمارستان که الان به نام ۵۰۱ ارتش می‌شناسیم کار می‌کرد. برای همین ما ساکن قلعه شدیم. قلعه هیچ‌گونه امکانات رفاهی نداشت، در این حد که یادم می‌آید در گوشه‌ای از آن تنها یک مستراح وجود داشت و همه ساکنان از آن استفاده می‌کردند. از حمام هم خبری نبود. یک دکتر بهزادی نامی هم در قلعه بود که در هر شرایطی فقط آسپرین تجویز می‌کرد و بین اهالی به دکتر گردی معروف بود. در‌های قلعه ساعت ۹ شب بسته می‌شد. بیرون آن قهوه‌خانه‌ای وجود داشت که اگر کسی پشت در می‌ماند تا شب را در قهوه‌خانه سپری می‌کرد.»
از حدود سالهای ۱۳۴۵ اداره ثبت طی اعلامیه‌ای به ساکنان قلعه دستور تخلیه داد. شاعری می‌گوید: «طبق آن اعلامیه زمین‌ها به قطعه‌های ۴۰۰ متری تقسیم می‌شد و کسانی که توانایی مالی داشتند می‌توانستند بمانند و صاحب ملک شوند و به کسانی که پول زمین را نداشتند زمین‌های رایگان در نازی‌آباد تعلق گرفت. پدرم وضع مالی خوبی داشت و با ۱۴ هزار تومان زمینی در قلعه خرید و ما ماندگار شدیم. اما کم‌کم دیوار‌های قلعه را خراب کردند و زمین‌های قلعه جزء املاک یوسف‌آباد شد و خیابان‌بندی‌ها شکل گرفت و وضعیت تغییر کرد.»