باشگاه کارگران از اول خلقتش به این شکل و شمایل نبوده. خیلی اتفاق‌ها افتاده تا باشگاه به شکل کنونی دربیاید. در سالیان نه چندان دور و قبل از اینکه بهشت زهرا (س)، خانه آخر تهرانی‌ها شود، شهر تهران چندین و چند قبرستان داشته که یک بخشی از آن خیابان باغ آذری و فرح‌آباد جای کنونی باشگاه کارگران بوده است.
به گزارش همشهری آنلاین، در دفاتر و اسنادی که درباشگاه کارگران محله باغ آذری هنوز موجود است بر این قضیه صحه گذاشته شده و شاهد امر، این قضیه بوده که تا سال‌های مدید بعد از ساخت هر بار گوشه‌ای از باشگاه را می‌کندند یا چاله‌ای حفر می‌کردند، اسکلتی در آن یافت می‌شد! «ایوب بوچانی» از امناء و معتمدان قدیمی محله باغ آذری می‌گوید: «یکی از بزرگان محل برایم تعریف می‌کرد که درسال‌های اولیه ساخت باشگاه، پیرمردی ۸۰ساله هرچند وقت در میان شب‌های جمعه نزد ما در این باشگاه می‌آمد. ساعتی را کنارمان می‌نشست، چایی می‌خورد و بعد از اینکه برای کل اموات قبرستان فاتحه‌ای می‌خواند، اگر سر کیف بود برای ما از خاطراتش تعریف می‌کرد و ما تازه متوجه شدیم که این محل چه گذشته جالبی داشته است.»
یکی از خاطراتی که برای بوچانی تعریف می‌کند درباره گور دسته‌جمعی بود که در کنار چاه عمیق ورزشگاه جای داشت: «پیرمرد گفته بود که آن زمان بچه بود که با پدر و مادرش به اینجا می‌آمدند سر قبر امواتشان برای فاتحه‌خوانی‌ـ به گفته این شاهد عینی، چاه عمیقی که درضلع شمالی باشگاه کارگران و موتور آب کنار آن؛ درست حوالی چاه، محل گور دسته‌جمعی بوده‌است. گویا آن سال‌ها در پایتخت وبا شیوع پیدا کرده بود و دوا و درمانی هم نداشت؛ بنابراین خیلی از مردم از این مرض می‌مردند و در کوی و برزن می‌افتادند. از طرف بلدیه مرده‌ها را جمع می‌کردند و ۴۰_۵۰ جسد را روی هم در گاری می‌ریختند و می‌آوردند قبرستان؛ همین‌جا چاله بزرگ و عمیقی کنده بودند و چند نفر گاری را بلند کرده و مرده‌ها را با همان لباس و بدون هیچ غسل و کفنی می‌ریختند داخل گودال، بعد روی آن‌ها را آهک ریخته و بعد با خاک می‌پوشاندند. تا مدت‌ها تعدادی سنگ قبر بزرگ هم در ضلع شمالی باشگاه بوده که ورزشگاه را به یک مکان مخوف با تعداد مردگان فراوان تبدیل کرده بود.»
ظرفیت قبرستان اینجا بالاخره کامل می‌شود. تا اینکه حدود ۸۰سال پیش‌بلدیه، قبرستان قدیمی را صاف می‌کند و به جایش «پارک مختارالسلطنه» را درست می‌کند که در نقشه‌های وزارت کار بوده است، سال‌ها می‌گذرد و حسن‌علی منصور می‌شود نخست‌وزیر مملکت. اوایل سال ۱۳۴۳ در جلسه هیئت دولت وقت خسروانی، وزیر کار از «حسن‌علی منصور» درخواست می‌کند برای استفاده کارگران و خانواده‌هایشان، باشگاهی بسازند. منصور هم می‌گوید شما خودتان جایی را شناسایی کنید و ما آن را می‌سازیم. وزارت کار هم می‌گردد و می‌گردد و جای پارک مختارالسلطنه را شناسایی می‌کند و پیشنهاد می‌دهد به هیئت وزیران. شهرداری، وزارت کشور و وزارت کار، یک نماینده تام‌الاختیار انتخاب می‌کنند تا به امور ساخت باشگاه رسیدگی کند.
این نماینده تام‌الاختیار یکی از کارمندان وزارت کار به نام «مهدی نجم» (که چند سالی هم رئیس فدراسیون وزنه‌برداری کشور بود) نام داشت. نجم با دقت همه چیز را زیر نظر داشته است و نخستین ساختمانی که می‌سازند همان بنای اصلی است که شکل کشتی بوده، بقیه سالن‌ها از جمله سالن سینما و آمفی‌تئاتر که حالا شده سالن کشتی، به اضافه خوابگاه و زمین فوتبال که قصه جداگانه‌ای دارند، ساخته می‌شوند. بالاخره ورزشگاه ساخته شده و واگذار می‌شود به وزارت کار. اگرچه ورزشگاه نه به این وسعت بوده و نه این‌قدر تجهیزات داشته است.
ساختمان مرکزی و نگهبانی باشگاه کارگران (شهید معتمدی) در تعریض خیابان خزانه شمالی در محدوده باغ آذری و نرسیده به خیابان شوش اضافه شده و بعد مدتی از شروع ساخت‌وساز، ۱۱ اردیبهشت سال ۱۳۴۹ همزمان با روز جهانی کارگر، باشگاه افتتاح می‌شود و این روز جهانی کارگر بهانه‌ای می‌شود که هر سال فرزند او که آن زمان عهده‌دار دبیرکلی المپیک ایران بوده و به خاطر ساخت شهرک تختی در محل کنونی کلانتری خزانه، دفتر و دستکی برای خود داشته در مراسمی به برندگان و قهرمانان مسابقات کارگری و المپیک جایزه می‌داده و به این طریق سعی در تقویت روحیه ورزشکاران کارگری و رونق ورزشگاه را داشته است.
کار باشگاه کارگران شهید معتمدی بعد از انقلاب کماکان ادامه می‌یابد و یکسری ساختمان به آن اضافه می‌شود، از جمله ساختمان ضلع شمال غربی وسالن کشتی. سالن سینما و آمفی‌تئاتر هم که قبل از انقلاب ساخته شده بود کارایی چندانی نداشته و تنها اداره «تاکسیرانی تهران» سالی یکی، ۲ بار همایش‌هایش را در این سالن برقرار می‌کرده که تمام خیابان‌های باغ آذری پر می‌شده از تاکسی‌های نارنجی و سبز رنگ پایتخت!