تاج‌السلطنه که خود یکی از ساکنان حرمسرای قاجار بوده است، با شرح و تفصیل دقیق اوضاع آنجا، انگار ما را با خود به درون دربار و حرمسرا می‌برد و تصویری زنده و جالب توجه از آن محیط را پیش چشم ما ترسیم می‌کند.
یکی از مواردی که تاج‌السلطنه در خاطرات خود به آن پرداخته، وضع خواجه‌ها یا همان نوکران اخته‌شده‌ای است که خصوصا به عنوان خادمان حرمسرا در دربار خدمت می‌کردند. یکی از مهم‌ترین و بانفوذترین این خواجه‌ها، شخصی به نام آغانوری بوده است. در اینجا توضیحات تاج‌السلطنه را دربارۀ وضع و حال و وظایف آغانوری ملاحظه خواهید کرد.
عکسی که خود ناصرالدین‌شاه از همسران و خواجه‌های حرمسرا گرفته؛ آغا نوری در سمت راست تصویر ایستاده است...
این عمارت را «خوابگاه» می‌نامیدند و مخصوص پدرم بود؛ و این عمارت سپرده شده بود به آغانوری خان خواجه، که در واقع معاون اعتمادالحرم بود؛ و همینطور تمام کلید‌های عمارت سلطنتی و درب‌های حرم سپرده به این خواجه بود.
در اینجا لازم است شرحی از این خواجه بنویسم. سن او تقریبا چهل با چهرۀ زردرنگ، خیلی کریه و بدصورت، با صوتی ناهنجار؛ مخصوصا در مواقعی که به اصطلاح قرق می‌کرد، صدای او را از مسافت خیلی زیادی می‌شد استماع نمود. همیشه شال سفیدی به روی لباس آبی‌رنگ چرک کثیفش بسته و دسته‌کلید خیلی بزرگی را به او آویزان نموده، چوبدست بسیار ضخیمی هم در دست داشت؛ و خیلی سفاک بی‌باک [بود]و با عموم به یک رسمیت فوق‌العاده رفتار می‌نمود؛ و مخصوصا درب اندرون به این خواجه سپرده شده بود و با کمال دقت مواظب عابرین بود؛ و هر کس به حرمسرا داخل می‌شد یا خارج می‌گشت، به اجازۀ او بود. حتی خانم‌ها پس از تحصیل مرخصی از اعلیحضرت سلطان باید از آغانوری خان هم اجازه گرفته، اگر صلاح نمی‌دید مرخص نمی‌نمود.... در طفولیت او را به حرمسرا می‌آورند و در زیر دست پدرم تربیت شده و آن جوهر استبداد و سختگیری را از طفولیت ملکۀ خود می‌سازد؛ و همین استبداد و اخلاق جدی او را به مراتب عالیه رسانیده فرمانفرما می‌سازد. مثلا اگر کسی در حالت نزع بود و طبیب لازم می‌شد، اگر بر حسب اتفاق آغانوری حمام بود، آن مریض باید بمیرد بدون طبیب؛ و امکان نداشت مردی داخل حرمسرا شود جز به همراهی او. باری، این بود کلیددار و نایب مناب کل در حرمسرا و عمارت.