میگویند اتابک وزیر، بیسر و صدا از عمارت شهریاش بیرون میزد (غیبش میزد) و بیخبر به فضای روحانگیز، سایهسار درختان و نغمهخوانی دلانگیز بلبلان در این باغ پناه میبرد. همین بود که دوستان و آشنایان خوشذوق باخبر از موضوع به آنجا «باغ غیبی» میگفتند. احمدشاه هم یکی، دو بار برای اقامت کوتاه به باغ غیبی امینالسلطان رفت.