رجایی در ساعت ۱۴:۳۰ روز ۸ شهریور ۱۳۶۰ از اتاق کارش خارج شد و به محل جلسه فوق‌العاده دولت رفت. در ساعت ۱۵:۰۰ صدای انفجار مهیبی از ساختمان نخست‌وزیری برخاست. در این حمله، او و محمدجواد باهنر، نخست‌وزیر وقت جان باختند. در این هنگام کمتر از یک ماه از ریاست‌جمهوری او می‌گذشت. این ترور نیز همانند بمب‌گذاری در دفتر حزب جمهوری اسلامی توسط سازمان مجاهدین خلق ایران انجام شد.