بدخواهی و کینه‌توزی درباریانی که امیرکبیر آن‌ها را از درآمد‌ها و القاب بادآورده‌شان محروم کرده بود نقش مهمی در بر هم خوردن رابطۀ ناصرالدین‌شاه و امیر داشت. سازش‌ناپذیری صدراعظم در برابر سفرای خارجی و قدرت‌های بیگانه نیز می‌توانست عامل دیگری در این میان باشد.
به گزارش فرادید، اما گذشته از این‌ها اتفاق خاصی که آغاز بدبینی ناصرالدین‌شاه به امیر بود در سفر آن‌ها به اصفهان رقم خورد. در جریان این سفر امیرکبیر از برادر ناتنی و کوچکتر ناصرالدین‌شاه یعنی عباس میرزای سوم نیز دعوت کرد تا به همراه مادرش خدیجه چهریقی به اصفهان سفر کنند.
امیر در طول سفر و در مسیر بازگشت نیز رابطه‌ای صمیمانه با عباس‌میرزا داشت و هنگامیکه شاه دستور داد عباس‌میرزا در قم بماند، امیر با دستور شاه مخالفت کرد. این سرآغاز فاصله گرفتن شاه از امیر بود.
دلیل بدبینی ناصرالدین‌شاه این بود که تصور می‌کرد امیر ممکن است تمایل پیدا کرده باشد که او را از پادشاهی کنار بزند و عباس‌میرزا را به سلطنت بنشاند. این بدبینی با بدگویی‌های درباریانی مانند مهد علیا (مادر شاه) تشدید می‌شد.
در نهایت بعد از بالا گرفتن اختلاف و عزل و قتل امیرکبیر، عباس‌میرزا به مدت بیش از بیست سال را در تبعید در استانبول و بغداد به سر برد تا اینکه نهایتا در سال ۱۲۵۵ شمسی با اجازۀ ناصرالدین‌شاه به ایران بازگشت و با دریافت لقب مُلک‌آرا حاکم زنجان شد. البته او بعد از مدت کوتاهی دوباره به قفقاز گریخت و بلافاصله دوباره به ایران برگشت. او در سال ۱۲۷۵ وزیر عدلیه شد و دو سال بعد درگذشت.
تصویر بالا، عباس‌میرزای سوم را در اواخر عمر و در سفری به روسیه جهت شرکت در یک مراسم رسمی و ملاقات با صاحب‌منصبان آن کشور نشان می‌دهد.