تلاش‌های اولیه برای آموزش دادن به هوش مصنوعی عمدتا محدود به آموختن یکسری قواعد و واقعیت‌ها و تجربیات انسانی به سیستم‌های کامپیوتری می‌شد، اما مشکل اصلی آنجا بود که بسیاری از چیز‌ها در جهان هستی را نمی‌توان در قالب قواعد ساده یا نماد‌ها تنظیم و به کامپیوتر منتقل کرد.
به گزارش دنیای اقتصاد، به عنوان مثال، تا چندی پیش امکان تشخیص دقیق اشیا برای پیشرفته‌ترین ماشین‌های هوش مصنوعی وجود نداشت، حال آنکه یک بچه خردسال می‌تواند به راحتی تصاویر را تشخیص داده و نسبت به آن‌ها واکنش نشان دهد. در گذشته، طراحان سیستم‌های هوش مصنوعی می‌کوشیدند تا مثلا با نشان دادن تصاویر گربه‌ها و همچنین تعریف ویژگی‌هایی مانند گوش‌های نوک تیز، داشتن چهار پا و بدن کشیده اقدام به تعریف و به تصویر کشیدن گربه برای هوش مصنوعی کنند. اما مشکل اینجا بود که گربه‌ها که همیشه در حالت ایستا و ثابت قرار ندارند و به طور پیوسته حرکت می‌کنند، خشمگین می‌شوند، می‌دوند و رنگ‌ها و اندازه‌های بسیار متنوعی نیز دارند و همین تفاوت هاست که موجب سردرگمی ماشین‌ها در تشخیص دقیق گربه‌ها می‌شود. بر این اساس، روش سنتی فرموله کردن مدل‌های خاص و پس از آن، همسان کردن این مدل‌ها با ورودی‌های بسیار متنوع نمی‌تواند اثربخش و قابل اجرا باشد.
در نتیجه، چنین سیستم‌های غیرانعطاف پذیری فقط به درد نقش آفرینی در حوزه‌هایی می‌خوردند که انجامشان به رمزگذاری قواعد خاص و سپس رمزگشایی از آن نیاز داشت. متاسفانه در دهه‌های ۱۹۸۰ و ۱۹۹۰ روند پیشرفت هوش مصنوعی بسیار کند و ناامیدکننده بود و به همین دلیل هم از آن دوران با عنوان «زمستان هوش مصنوعی» یاد می‌شود. در اواخر دهه ۱۹۹۰، اما یک اتفاق بزرگ و تاثیرگذار در دنیای هوش مصنوعی افتاد، اتفاقی در قلب آن. در آن زمان هوش مصنوعی وارد انجام دادن کار‌هایی شد که نیازمند طراحی و اجرای راه حل‌های مسائل پیچیده بود. در آن دوره محققان دریافتند که برای جهش هوش مصنوعی به روش جدیدی نیاز است که با استفاده از آن بتوان به ماشین‌ها امکان یادگیری خودکار بدهند؛ یعنی اینکه ماشین‌ها بتوانند خودشان اقدام به یادگیری کنند و به جای اینکه منتظر کد‌های ورودی تهیه شده توسط انسان باشند خودشان دست به یادگیری بزنند. در نتیجه همین تفویض فرایند یادگیری از انسان به ماشین بود که روند یادگیری ماشینی شتاب بیشتری پیدا کرد و برنامه‌هایی برای هوش مصنوعی ساخته شد که می‌توانستند از تجربیات بیاموزند و به معنای واقعی کلمه یادگیری داشته باشند.
پیشرفتهای بزرگ خیلی زود از راه رسیدند. در دهه نخست قرن ۲۱ پیشرفتهای صورت گرفته در زمینه تشخیص اشیا باعث شد تا برنامه نویسان بتوانند هوش مصنوعی قدرتمندی را توسعه دهند که می‌توانست با یادگیری از یکسری تصاویر به طور دقیق اشیا را تشخیص دهد؛ بدون اینکه برای کار نیازی به کدگذاری و کدگشایی داشته باشد.
در هوش مصنوعی پیشرفتهای که توانست آنتی باکتری هالی سین را شناسایی کند نیز از همین فرآیند یادگیری ماشینی استفاده شده بود؛ جایی که محققان MIT یک الگوریتم یادگیری ماشینی پیشرفته را طراحی کردند که می‌توانست ویژگی‌های آنتی باکتریال مولکول‌ها را «پیش‌بینی» کند و برای ایجاد این توانایی به آن الگوریتم از مجموعه داده‌های مربوط به ۲هزار مولکول مختلف بهره بردند.
نتیجه این کار چیزی شد که تا پیش از آن نه از عهده هیچ انسانی و نه هیچ الگوریتم سنتی و کلاسیکی برنیامده بود؛ بنابراین در این حالت الگوریتم یادگیری ماشینی مدل جدیدی را بر مبنای دیتای موجود توسعه داد که قادر به شناسایی و درک روابطی بود که از دید انسان به دورمانده بود و تابع قاعده و قانون مشخصی هم نبود. همان‌طور که پیش از این نیز گفته شد، این هوش مصنوعی مدرن برای یادگیری خود به قواعد و روابط از پیش تعریف شده توسط انسان نیازی ندارد که رابطه علت و معلولی خاصی برای آن تعریف شود. به عنوان مثال هوش مصنوعی مدرن این توانایی را دارد که متقاضیان شغلی دارای بالاترین شانس را از بین انبوهی از افراد برگزیند و علاوه بر این، بر مبنای بازخورد‌هایی که از دنیای واقعی می‌گیرد می‌تواند هم نتایج را پیش‌بینی کند و ابهامات موجود را به درستی مورد تجزیه و تحلیل قرار دهد. درواقع، الگوریتم‌های یادگیری ماشینی به مانند الگوریتم‌های کلاسیک از یکسری مراحل عبور می‌کنند. با این تفاوت که این مراحل به طور مستقیم به نتایجی خاص منتهی نمی‌شوند، بلکه هدف از عبور از این مراحل آن است که کیفیت نتایج احتمالی از قبل‌سنجیده شود و یادگیری معناداری در این میان حاصل آید.
به طور کلی، هر چه شبکه‌های عصبی مورد استفاده هوش مصنوعی دیتای بیشتری را دریافت کنند و از لایه‌های شبکه‌ای بیشتری برخوردار باشند به شکل بهتری قادر خواهند بود تا روابط موجود را کشف کنند. به همین دلیل هم هست که در یادگیری عمیق امروز از شبکه‌های عصبی دارای چند لایه (حدود ده لایه) استفاده می‌شود. بااین حال باید دانست که شبکه‌های عصبی بسیار منبع محور هستند و اجرای فرآیندهایشان به قدرت محاسباتی بالا و الگوریتم‌های پیچیده‌ای نیاز دارد که بتوانند حجم عظیمی از داده‌ها را تحلیل کنند و تطبیق دهند.
درواقع هوش مصنوعی نمی‌تواند مثل انسان آموزش ببیند و سپس آموخته هایش را به مرحله اجرا درآورد، بلکه می‌کوشد تا تلاش هایش را در دو مرحله متمرکز کند: آموزش دیدن و استنتاج. در مرحله آموزش، الگوریتم‌های سنجش و بهبود کیفیت هوش مصنوعی به کار می‌افتند و عملکرد مدل‌های موجود را برای دستیابی به نتایج مطلوب مورد ارزیابی قرار می‌دهند که در مورد هالی سین این مرحله در قالب شناسایی روابط بین ساختار‌های مولکولی و اثربخشی آنتی بیوتیک بر مبنای دیتای آموزشی انجام شد. در مرحله استنتاج نیز محققان از هوش مصنوعی خواستند تا آنتی بیوتیک‌هایی را شناسایی کند که بر اساس پیش‌بینی‌های صورت گرفته در مرحله آموزش دارای اثر آنتی بیوتیکی بالایی بودند. در اینجا هوش مصنوعی با استدلال‌هایی شبیه به استدلال انسانی اقدام به نتیجه گیری نکرد بلکه این نتیجه گیری را با به کارگیری همان مدلی انجام داد که خودش توسعه داده بود.