میـراث شـوم، بیگ‌دیتا، هوش مصنوعی و الگوریتم‌ها چطور دارای سوگیری می‌شوند؟

ماشین‌ها در کنار آدم‌ها در حال رشد هستند، با شتابی بیشتر از آنچه در فرگشت انسان بوده است. این ماشین‌ها در خلأ به‌وجود نیامدند. مخترع آن انسان‌ها هستند، اما گاهی آنقدر پیچیده می‌شوند که خالق‌شان هم در اینکه چه می‌کنند در می‌ماند.

به گزارش هم‌میهن، هوش مصنوعی، بیگ‌دیتا، یادگیری ماشین، الگوریتم‌ها و... همه از داده‌های تا به حال موجود در دنیا تغذیه می‌کنند، دارای دید و چشم‌انداز می‌شوند و البته سوگیری پیدا می‌کنند. همانطور که انسان از پس تاریخی که گذرانده است، سوگیری دارد (امروزه معتقدند انسان حداقل ۱۲۸ سوگیری دارد)، این سوگیری به هوش مصنوعی، بیگ‌دیتا و هرچیزی که سری در داده‌ها دارد منتقل شده است. مسعود زمانی، پژوهشگر فناوری و آینده‌پژوه از معدود کسانی است که در ایران دراین‌باره کار کرده است، برای همین صحبت با او همیشه حاوی نکات جدیدی است و زوایایی پدیدار می‌شود که کمتر کسی به آن نگاه داشته است. او معتقد است که اخلاق فناوری امروز در ایران بیشتر یک امر شیک است و ضرورتی که این موضوع دارد مورد غفلت است.

اگر ما جهانی را که در آن زندگی می‌کنیم یک جهان داده‌ای در نظر بگیریم، این داده‌ها به‌شدت دچار سوگیری‌های جنسیتی‌اند؛ یعنی همه به‌نفع مردان‌اند. به نظر می‌رسد پرداختن به این مسئله مهم است، زیرا آینده از همین طریق ساخته می‌شود و نکته مهم این است که فناوری‌های نوین یا مثلاً هوش مصنوعی به‌خصوص بیگ‌دیتا نه‌فقط به کاهش این شکاف جنسیتی کمک نمی‌کند، بلکه بیشتر به آن دامن می‌زند. بر اساس تحقیقاتی که در این خصوص انجام شده، سوگیری جنسیتی داده‌ها، تاریخی‌اند و همچنان وجود دارند. پیش از هرچیز به ما بگویید بیگ‌دیتا چیست؟ وقتی راجع به بیگ‌دیتا صحبت می‌کنیم به چه چیزی اشاره می‌شود؟ این داده‌ها به چه صورت جمع می‌شوند؟

اوایل درباره خود لغت بیگ‌دیتا ابهام وجود داشت. در این مورد گاهی به‌طنز می‌گویند آن مقدار داده‌ای که با کامپیوتر نمی‌شود جمع کرد. دنیا با داده کار می‌کند. تقریباً هیچ ساحتی از زندگی نیست که تحت‌تاثیر داده‌های دیجیتالی نباشد، به‌شکلی که شاید گزاف نباشد اگر بگوییم تقریباً در همه امور زندگی ما داده‌ای وجود دارد که تاثیرگذار بوده است. به‌عبارتی، تصمیم‌گیری‌ها مبتنی بر داده صورت گرفته‌اند. این کار درستی است. در طول تاریخ، هر زمان که بشر توانسته دانش‌اش را مدون کند، دستاورد‌هایی بزرگ‌تر داشته است. برای مثال کتابخانه‌ها بعد از اختراع دستگاه چاپ از مسیر انتقال دانش سینه‌به‌سینه عبور کرده است. همه این‌ها گام‌هایی بوده‌اند که به مستند صحبت کردن و ردوبدل کردن گزاره کمک کرده‌اند. طبیعتاً این پیشرفت، دستاورد‌های بسیاری برای بشر داشته است. من جایی می‌خواندم که اینترنت هنوز به انقلاب اطلاعاتی‌ای که ماشین چاپ برای بشر به وجود آورده، نرسیده، اما همه تصور می‌کنند ظهور اینترنت انقلاب بزرگی بوده است. درحالی‌که اختراع ماشین‌چاپ بزرگترین جهش از این منظر بوده است و هنوز نظیر آن پرش اطلاعاتی را تجربه نکرده‌ایم.

برای مثال، ما در دوران اینترنت ۵۰ هزار درصد پرش نداشته‌ایم. از یک دوره زمانی به بعد، چون توانستیم مقدار زیادی دیتا را دیجیتایز کنیم و دسترس‌پذیری آن‌ها بیشتر شد، مفاهیمی به اسم بیگ‌دیتا نمود پیدا کرد. دیگر به‌جای اینکه فقط داده‌های افراد ثروتمند را داشته باشیم، داده‌های همه مردم دنیا را داریم. تاریخ، داستان آدم‌های مهم و مشهور است. برای نمونه، ما هرگز نمی‌گوییم در دوران سلطان محمود فلان آسیابان چه کاری انجام داده یا چقدر عمر کرده است؛ فقط آدم‌های مهم و مشهور در تاریخ ثبت می‌شدند. اما از زمانی که داده‌های عموم مردم از امکان ثبت و ضبط برخوردار شد، مسئله بیگ‌دیتا‌ها بیشتر نمود پیدا کرد و منجر به این شد که تمام وقایع و رویداد‌ها را به‌شکلی، کمّی کنیم. درواقع متری برای سنجش گذاشتیم، اینکه چقدر این سنجش درست بوده یا غلط مسئله دیگری است. به‌هرحال، فرآیندی که در آن داده‌ها گردآوری و دسته‌بندی می‌شدند، فرآیندی تدوینی و فرگشتی بود؛ یعنی ما از روز اول نمی‌دانستیم که ۲۰ سال بعد چه چیزی می‌خواهیم. اصلاً تا مدت‌ها به‌جز حوزه‌های علمی (scientific) و حوزه‌های اجتماعی، تا حدی کمتر، همیشه تاکید روی ابزار تحلیل بود و منشأ ورود داده‌ها و ترتیب ورود داده‌ها اهمیتی نداشت. مثلاً در علوم زیستی یا مباحث فیزیک و شیمی اینکه داده‌ها از کجا هستند اهمیتی نداشت، بلکه ترتیب داده‌ها در آزمایش‌ها برای رسیدن به دیتای درست مهم بود. اما در حوزه‌های اجتماعی هم به این مسئله بها داده نمی‌شد.

به‌طورمثال، بسیاری از بزرگان این حوزه از روش جزء به کل استفاده می‌کردند و یک جزء را در نظر می‌گرفتند و نتیجه‌ای از آن حاصل می‌کردند. برای مثال می‌گفتند در فرانسه این اتفاق افتاده است پس همه مردم دنیا فلان مدل رفتاری را نشان خواهند داد یا کسانی که الگو‌های حاکمیتی تجویز می‌کردند، به‌غیر از تعداد انگشت‌شماری، به تفاوت تجربه زیسته در قوم‌های مختلف جهان توجهی نمی‌کردند. برای مثال، کسی توجه نمی‌کرد که داده انقلاب فرانسه کشاورزان فرانسوی دهه ۱۸۰۰ بودند. شما نمی‌توانید الگوی انقلاب فرانسه را به‌راحتی بسط بدهید و بگویید مردم دنیا به این صورت بودند. در ۲۰ سال گذشته که ماشین در تصمیم‌گیری‌های ما، چه به‌عنوان کمک‌کننده به تصمیم‌گیری، چه به‌عنوان تصمیم‌گیرنده نهایی، اثرگذار شده است، اشتباه کردن یا با همان عینک قبلی دیدن، مسئله را بسیار پیچیده کرده است.

نادیده گرفتن مسئله‌های نژادی، قومیتی، جنسیتی و... در داده‌ها مشکلات زیادی ایجاد می‌کند. این مسئله نه‌فقط آسیب ایجاد می‌کند، بلکه حتی منجر به تخریب نیز می‌شود و نباید آن را به جنسیت تقلیل داد. انبوه مثال‌ها وجود دارد، براساس بررسی‌های صورت‌گرفته الکسا اگر کسی در محله هارلمِ نیویورک با لهجه‌ای خاص صحبت کند، به او توجه نمی‌کنند. ما در ایران این‌کار را انجام نداده‌ایم، مثلاً در حال حاضر دستیار‌ها و موتور‌های مرتبط زیادی را گسترش داده‌ایم که لهجه‌ها را نمی‌فهمند و این خودش منجر به تبعیض می‌شود. این امر اخلاقی نیست. من فکر می‌کنم امروز دوران طلایی کسانی است که در زمینه اخلاق فناوری کار می‌کنند؛ هرگز مثل اکنون، در طول این ۷۰ سالی که بحث اخلاق فناوری مطرح بوده است، بحث‌ها به‌اصطلاح کف خیابانی نبوده‌اند که عامه‌مردم نیز دغدغه این موضوع را داشته باشند.

بر‌می‌گردم به سوال شما، دو الگو برای تفسیر داده‌هایی که به ماشین می‌دهیم وجود دارد: یک، مدل‌هایی نظیر یادگیری ماشین (Machine Learning)، که سوپروایزر است و کارشناسان مدام آن را اصلاح می‌کنند. دیگری مدل بدون سوپروایزر است که در یادگیری عمیق (deep learning) دیده می‌شود. تقریباً هیچ سرویس اصلی‌ای در دنیا وجود ندارد که از یادگیری عمیق استفاده نکند؛ از موتور جست‌وجوی گوگل گرفته تا یوتیوب و شبکه‌های اجتماعی، از یادگیری عمیق استفاده می‌کنند. در این مدل، چون سوپروایزر ندارد، داده‌ها و ترتیب داده‌ها اهمیت بیشتری پیدا می‌کنند، تا نتیجه‌ای منصفانه‌تر و جامعه‌پذیرتر به دست بیاید.

در مدل سوپروایزر، به آموخته‌ها، دانش، شعور و اخلاق کسی که در جایگاه سوپروایزر نشسته است اعتماد می‌شود. به‌طور مثال، اگر ماشین تشخیص چهره، سیاه‌پوستان یا افرادی را که پوست تیره دارند تشخیص نداد، سوپروایزر متوجه می‌شود که باید کد را اصلاح کند. اما در مدل یادگیری عمیق این اتفاق معنی‌دار نیست و اگر شما بدشانسی بیاورید و احتمالاً در آن یک میلیون عکس و داده‌ای که به ماشین داده‌اید تصویر هیچ سیاه‌پوستی نباشد، به این دلیل که در تشخیص چهره صرفاً رنگ پوست اهمیت ندارد، ماشینی درست خواهید کرد که افراد سیاه‌پوست را تشخیص نخواهد داد. یا در جایی که انصاف مسئله‌ای مهم است، مثلاً در توزیع منبعی مثل یارانه‌ها در ایران، مدلی با چند فاکتور در هوش مصنوعی می‌نویسید که اگر فاکتوری را به‌اشتباه در نظر نگیرید، به تعدادی آدم که دریافت یارانه حق‌شان است، اما با مدل شما از یارانه محروم می‌شوند، ظلم خواهید کرد. با این الگو اوضاع خطرناک است. زمانی بود که اگر فردی اشتباهی می‌کرد جبران‌پذیر بود، اما در عصر کامپیوتر بسیاری از امور جبران‌پذیر نیستند.

شما وضعیت تاریخی را به‌درستی مطرح کردید. داده‌هایی که ما از گذشته داریم، تا قبل از انقلاب فرانسه و مهم شدن مردم، صرفاً درباره صاحبان قدرت است و مردانه‌اند. اما ادعایی که وجود دارد این است که در عصر حاضر هم اوضاع تغییر نکرده و انگاره این داده‌ها از یک انسان، همچنان مردانه و البته مرد سفیدپوست، ۷۰ کیلویی است. شاید باور کردن‌اش سخت باشد که در آزمایش تصادف خودروها، چندسالی است که جثه زنانه را هم در نظر می‌گیرند. یا مثلاً دستیار‌های صوتی‌ای مثل «سیری» صدای مرد را به‌راحتی متوجه می‌شود، اما زنان باید کلنجار بروند تا صدای‌شان تشخیص داده شود. حال سوال این است که آیا می‌شود در روند داده‌ها و بیگ‌دیتا مداخله کرد؟ آیا می‌توان این نظم را بر هم زد؟

به نکته‌ای اشاره کردید که کاملاً درست است؛ در حال حاضر وقتی به طراحی ساختمان‌ها، فضای شهری و... نگاه می‌کنیم، می‌بینیم همه‌چیز مردانه است. ما خواسته یا ناخواسته، فردی که به‌عنوان انسان شناسایی می‌کنیم همان مرد سفیدپوست با ویژگی‌های مشخص و سبک زندگی خاص است. ما هنوز در قانون کار و بسیاری از موارد دیگر، دوران قاعدگی زنان و تغییرات هورمونی آنان را که نیمی از جمعیت جهان را تشکیل می‌دهند به‌رسمیت نمی‌شناسیم و برای آن راه‌حلی نداریم. به‌هرحال، ۱۰ سال پیش، زمانی که درمورد اخلاق فناوری بحث به میان می‌آمد، بحث‌ها تحت‌تاثیر فیلم‌های هالیوودی به ۴۰ سال آینده سوق داده و درمورد «ترمیناتور» و «ماتریکس» بحث می‌شد. چون به آینده دور ربط پیدا می‌کرد، می‌شد خیلی راحت درموردش حرف زد تا به کسی هم برنخورد. اما در چند سال گذشته، پس از آمدن نمودها، عده‌ای از جامعه‌شناسان و انسان‌شناسان به وجوه اخلاقی فناوری پرداختند. ما دو کار مهم باید انجام بدهیم: یک، آگاهی‌سازی نخبگان حوزه فناوری. من به‌جرأت می‌توانم بگویم در ایران تعداد کسانی که در حوزه اخلاق فناوری کار می‌کنند یا دست‌کم از این موضوع آگاهند، کمتر از تعداد انگشتان دست هستند. دوم، آگاه‌سازی عموم جامعه جهت فشار آوردن به نخبگان تا اینکه تبعیض درمورد اقلیت‌های مختلف در این حوزه دیده شود. در غیر این صورت به اقلیت‌ها بیشتر ظلم خواهیم کرد.

فردی با الهام از ۷ گناه کبیره (تنبلی، حسادت، شکم‌پرستی، طمع، شهوت، خشم و غرور) می‌گوید اگر شما می‌خواهید به اتوپیای هوش مصنوعی خود جهت خوشبخت کردن بشر برسید، نباید ۷ گناه را انجام دهید. برای مثال، یکی از نکته‌های مهم در آن حکمرانی داده و شکل گردآوری داده‌هاست. در بسیاری از حوزه‌ها داده نداریم یا داده‌های بسیار کمی از منطقه‌ای کوچک را به کل کشور یا حتی دنیا بسط می‌دهیم. مثلاً شما برای بررسی تصمیم‌گیری در یک حوزه نظرسنجی می‌کنید و نتایج را به کامپیوتر می‌دهید تا رفتار را تحلیل کند، درصورتی‌که به مشارکت و جامعه‌پذیر بودن این نظرسنجی فکر نمی‌کنید. برای مثال کسانی که نتیجه انتخابات آمریکا را پیش‌بینی می‌کردند، تا مدت‌ها برای گردآوری اطلاعات به خانه‌های مردم زنگ می‌زدند، اما به این نکته توجه نمی‌کردند که از یک زمانی به بعد فقط سالمندان هستند که تلفن ثابت دارند و بقیه مردم با گوشی همراه کار می‌کنند. درواقع بدون اینکه متوجه باشند، در حال گردآوری نظرات سالمندان بودند.

من معتقدم ما این توهم را داریم که داده زیاد است. به همین علت نمی‌توانیم با قطعیت براساس داده‌های اندک تصمیم بگیریم. برای مثال، شما براساس داده‌ای که از خودرو‌های تسلا جمع‌آوری کردید، بگویید رفتار مردم هنگام رانندگی در سان فرانسیسکو اینطور است. این کار غلط است، چون آدم‌هایی که این نوع ماشین را دارند با سبکی خاص زندگی می‌کنند و نمی‌توانید به‌راحتی این را به زندگی همه مردم بسط بدهید یا مثلاً بسیاری از نهاد‌های مالی به دلیل حفظ حریم شخصی مشتریان‌شان اطلاعات کامل را نمی‌دهند و زمانی که بر مبنای این اطلاعات اندک و ناقص بخواهید تصمیم‌گیری کنید احتمالاً به مشکل برمی‌خوردید. فرض کنید که به هر دلیلی قرار است مسائل مالی شفاف شود، در این صورت احتمالاً مسائل مالی افرادی شفاف می‌شود که درآمدی کمتر دارند، چون کسانی که درآمد بالا دارند با مکانیزم‌هایی تهدید می‌کنند که اگر اطلاعات‌مان فاش شود از این بانک یا صندوق می‌رویم.

یکی دیگر از موضوعات مهم سوگیری است. انواع سوگیری‌های مختلف در حوزه فناوری دیده می‌شوند. گاهی اوقات گروه گردآوری داده‌ها برچسب می‌زند. فرض کنید شما می‌خواهید به گزاره‌های مردم در شبکه‌های اجتماعی برچسب مثبت یا منفی بودن بزنید، اگر فردی که قرار است این کار را بکند زبان‌شناسی باشد که با ادبیات کوچه و خیابان آشنا نباشد، با برچسب‌های اشتباهش کل فرآیند را به خطا خواهد انداخت. یکی از پیشنهاد‌های مهم برای جلوگیری از سوگیری، تنوع دادن جنسیتی، قومیتی، نژادی و... به تیم است. هرقدر گروه متنوع‌تر باشد، شانس موفقیت بیشتر است. این مسئله فرگشتی است. در طبیعت هم از طریق تنوع، گام‌های انطباقی و سازگاری با طبیعت برداشته می‌شود. ازطرفی باید تنوع را در خوشه‌بندی دیتا هم رعایت کنید، چون به‌هرشکل هر انسانی سوگیری دارد.

مغز انسان در دوره فرگشت طی شده از میمون به انسان پر از سوگیری شده است. سوگیری ابزار بقاست. البته توجه داشته باشید که این بیش از ۱۸۰ سوگیری لیست‌شده در Cognitive Biases Codex، ابزاری برای بقای انسان بوده و کمک کرده است گونه ما از مسیر پرتلاطم حیات به سلامت عبور کند. توجه به این سوگیری‌ها مهم است؛ تمام افرادی که طی ۲۰ سال گذشته در اقتصاد رفتاری، نوبل گرفتند روی این سوگیری‌ها تمرکز کردند. این سوگیری‌ها در برچسب‌زنی‌ها نمود پیدا می‌کنند، برای مثال برچسبی که زده می‌شود به رفتار خشن حین رانندگی در دهلی، تهران و وین با هم متفاوت است. پس کاری که باید کرد ایجاد تنوع در تیم و تنوع در داده‌هاست. مثلاً در حوزه tts ایران داده‌هایی که به دست می‌آیند عمدتاً ازطریق گروهی از افراد کم‌بضاعت است که به‌صورت غیرداوطلبانه و با دریافت پول این‌کار را انجام می‌دهند. من همین الان با اطمینان به شما می‌گویم بخش زیادی از داده‌ها در این حوزه و دستیار صوتی‌ای که در آینده ایجاد خواهد شد به‌شکل عجیبی با داده‌های این گروه از مردم جامعه متناسب است که احتمالاً با کل جامعه تطابق ندارد.

در ایران صحبت از اخلاق در حوزه فناوری یک امر شیک است. اگر بخواهیم در اپلیکیشن‌ها تغییراتی بنیادین ایجاد کنیم قطعاً با مقاومت سازمان روبه‌رو می‌شویم، چون این موضوع دغدغه اصلی ما نیست. من به‌تجربه عرض می‌کنم که در هوش مصنوعی دو چیز مهم وجود دارد: یک، آماده‌سازی سازمان برای پذیرش هوش مصنوعی که باید از بالا به پایین باشد. (دغدغه‌های اخلاقی را می‌شود از پایین تزریق کرد. درواقع مهم‌تر این است که اعضای پایین‌رده که داده‌ها را گردآوری می‌کنند از مسائل اخلاقی آگاه باشند.) دوم، اگر من تصمیم‌گیرنده بودم حتماً پروژه‌های بزرگ را ازطریق دانشگاه‌های مطرح کشور پیش می‌بردم و حضور یک جامعه‌شناس را جهت بومی‌کردن الزامی می‌دانستم. به این دلیل که نگاه ما در ایران به مسائل مختلف، ازجمله مسائل زنان، با نگاه کسی که در هلند زندگی می‌کند متفاوت است.

در علوم انسانی علمی به نام هرمنوتیک داریم، این علم تفسیر و هرمنوتیک به قدمت تاریخ فلسفه است، به‌عنوان سوژه خود تفسیر کردن ما هزاران لایه دارد و تودرتوست. ما در حوزه‌های هوش مصنوعی هم شاهد امر تفسیر هستیم. سه مکتب مهم در اخلاق داریم: وظیفه‌گرا، اخلاق‌گرا و نتیجه‌گرا که هرکدام از مکاتب نیز توسط یک فیلسوف بزرگ نمایندگی می‌شود. مثلا مکتب وظیفه گرایی توسط کانت و مکتب نتیجه گرایی توسط بنتام نمایندگی می‌شود. هرکدام از این مکاتب نیز شاخه‌شاخه می‌شوند. از وظیفه‌گرایی ارتدوکس تا وظیفه‌گرایی که به پیامدگرایی نزدیک است. با این تفاسیر، آیا می‌شود با وجود همه پیچیدگی‌ها و سوگیری‌های ذهن انسان رفته‌رفته هوش مصنوعی به درست‌ترین تفسیر در داده‌ها برسد؟ و آیا انسان می‌تواند در رفتن هوش مصنوعی به این مسیر مداخله کند؟

بنده در این موضوع متخصص نیستم و در جایگاه فردی غیرمتخصص عرض می‌کنم ما یک دوره طلایی در دهه‌های ۶۰ و ۷۰ از تضارب آراء و افراد باورمند داشتیم. ازسمتی «هایک» را داشتیم و در سمت دیگر افرادی که بسیار از زمانه خود جلوتر بودند نظیر «فوکو». شما الان می‌توانید فوکو را بخوانید و بگویید حرفی که می‌زند با امروز ما تناسب دارد. مشکلی که در علوم انسانی در سطح کلان دنیا داریم این است که دغدغه این مسائل را ندارند. من به‌عنوان یک آدم عادی، گفتمانی از علوم انسانی نمی‌شنوم که به اینکه الان ماشین در کنار انسان پیشرفت می‌کند و این تغییر چگونه تفسیر می‌شود، بپردازد. در سال ۲۰۱۴، سردبیر مجله «وایرد» در مقاله‌ای نوشت آینده‌ای را پیش‌بینی می‌کند که ماشین همه‌چیز را مشخص و شفاف می‌کند و بحث‌های زیادی حول این موضوع شکل گرفت.

پیش‌بینی می‌شود تا سال ۲۰۳۰ حدود ۸۰۰ میلیارد شیء متصل به شبکه داشته باشیم. ما هم در کنار همه دیگر اشیاء به شبکه متصلیم. درواقع به‌قدری ابزارآلات پوشیدنی با خودمان حمل می‌کنیم که از علائم حیاتی‌مان گرفته تا سبک زندگی، نوع فکر کردن و تصمیم‌گیری‌مان می‌تواند کمّی شود. به این ترتیب، معرفت انسان نسبت به خودش تغییر کند و در یک سطح دیگر قرار بگیرد.

تمام بزرگانی که در آن سه مکتبی که شما فرمودید اخلاق را تقسیم‌بندی کردند، در یک دوره زمانی یا جغرافیایی خاص زندگی کرده‌اند و با دیدن آدم‌های اطراف‌شان تفسیری از انسان مطرح کرده‌اند. شما اگر روند اندیشه در اروپا را بررسی کنید، از «اسپینوزا» تا «هیوم» که دوسر طیف مذهبی و سکولار قرار می‌گیرند، متوجه می‌شوید که آن‌ها نیز فرزند زمانه خویش‌اند و با دیدن دنیای اطراف خودشان تفسیری را مطرح کرده‌اند. برای مثال، جایی می‌خواندم که هیوم در یکی از سفرهایش، هنگامی که از سوئیس رد می‌شده، بیمار شده بود و توصیفی زننده از مردم و آب‌وهوای سوئیس کرده و درباره الگوی رابطه مردم و حاکمیت آنجا هم تفسیری مطرح کرده است. ما در ظرف زمان و مکان خود براساس ابزار‌هایی که داشتیم انسان‌ها را می‌دیدیم و تفسیر می‌کردیم. به نظر من، هرقدر معرفت‌مان نسبت به انسان زیادتر شود شانس اینکه گزاره‌ای راجع به انسان بگوییم که شمولیتی گسترده‌تر داشته باشد و درست‌تر باشد، بیشتر می‌شود. ماشین، ظرفیت دقیق‌تر کردن این تفسیر را دارد. به‌طور مثال می‌گویند گوگل شما را از پدر و مادر و همسرتان هم بهتر می‌شناسد، چون شما چیز‌هایی را گوگل می‌کنید که ممکن است حتی به خانواده‌تان نگویید. یا کسی می‌گفت فیس‌بوک با ۲۰۰ کلیک، شما را بیشتر از پدر و مادرتان می‌شناسد. با درست یا غلط بودن این گزاره کاری ندارم. اما این مسئله کاملاً محتمل است. ماشین این ظرفیت را دارد که بگوید بشر چیست و چه چیزی او را خوشحال‌تر می‌کند، اما این ضعف بزرگ را هم دارد که امکان خطا برای کسانی که این کد را می‌نویسند و برچسب را بر دیتا‌ها می‌زند، وجود دارد.

موج یادگیری عمیق از ۲۰۱۵ شروع شده، ولی ماشین لرنینگ از ۱۹۵۰ به‌صورت مختلف بوده است. هوش مصنوعی از دهه ۵۰ بوده، اما یادگیری ماشین که خود ماشین فهم کند اتفاقی جدیدتر است. شاید بتواند چشم‌اندازی دقیق‌تر از انسان به دست بدهد.

من به همان اندازه که خوش‌بینم، می‌ترسم که روزی کارتل‌های بزرگ حوزه فناوری نظیر فیس‌بوک، اپل و... که دیتای حدود چهار میلیارد آدمی را که به اینترنت وصل‌اند و در این شرکت‌ها می‌چرخند، در دست‌شان است، خواسته یا ناخواسته جهت‌گیری خطرناکی داشته باشند. هنوز کسی نمی‌داند مسیر رستگاری چیست. هر الگویی، مکتبی را پیشنهاد داده است و پافشاری می‌کند بر درستی مسیر خودش، یا گروهی هم مثل «پلورالیست»‌ها وجود دارند که معتقدند همه درست می‌گویند. اما من معتقدم احتمالاً مسیر درستی برای رستگاری وجود دارد و ترسم از این است که این شرکت‌ها ما را در مسیر اشتباه پیش ببرند.

هم‌اکنون بحث مهمی که در حوزه AI مطرح است این است که دانشمندان فهمیده‌اند و می‌ترسند از اینکه بلک باکس‌های یادگیری ماشین و مدل‌هایی که شبکه عصبی راه می‌اندازد، چیست. می‌گویند باید کاری کنیم که خود ماشین بتواند توضیح بدهد چرا تشخیص می‌دهد فردی که لبخند‌زده خوشحال است. هرکسی که لبخند می‌زند الزاماً خوشحال نیست، اما کامپیوتر الان خوشحالی را درست تشخیص می‌دهد. این دغدغه‌ای است که بدانند آن بلک‌باکس‌ها چیست، چون احتمالاً حدس می‌زنند به‌قدری نقش بلک‌باکس‌ها در زندگی زیاد می‌شود که هویت من را هم او تعریف می‌کند و می‌گوید مسیر رستگاری انسان چیست.

به‌هرحال من در این موضوع در میانه‌ام. به‌شدت از الگوریتم‌های منفعت‌طلب شرکت‌های بزرگ می‌ترسم. مطمئناً این شرکت‌ها آنقدری که پاسخگوی سهام‌داران شان هستند، پاسخگوی مردم نیستند. باید ببینیم می‌توانیم به‌شکل فردی، نهادی یا قانون‌گذاری کاری کنیم که دغدغه‌های ما نیز هم‌ارز صاحبان سرمایه باشد یا خیر.

مثلاً زمانی که ریشه‌های نسل‌کشی روهینگا را بررسی کردند متوجه شدند ۹۴ درصد کاربران اینترنت در میانمار از فیس‌بوک استفاده می‌کردند. در فیس‌بوک مطالبی عجیب‌وغریب مانند اینکه مسلمانان بعد از رسیدن به بلوغ باید شکم یک کودک بودایی را پاره کنند و بخورند منتشر می‌شد و مردم هم لایک می‌کردند. موتوری که در فیس‌بوک مطالب نفرت‌آمیز را ریپورت می‌کرد زبان این کاربران را ساپورت نمی‌کرد. در آن زمان، فیس‌بوک صرفاً یک مترجم برای این حجم از کاربر داشت. بعد از این اتفاق، فیس‌بوک و شخص زاکربرگ در کنگره آمریکا مورد اتهام قرار گرفت که با عدم دخالت به‌موقعش و سوگیری ذاتی پلتفرم فیس‌بوک در رسمیت دادن به اخبار دروغین منجر به این فاجعه شده است. درنهایت راه‌حل فیس‌بوک برای این مسئله استخدام چندین مترجم دیگر بود. یک پلتفرم برای سود خودش مسیری درست کرده بدون اینکه بتواند آینده آن را ببیند. این شبکه اجتماعی، به دلیل بی‌توجهی، باعث چنین عواقبی شده است. می‌شود گفت عامل مرگ این انسان‌ها این پلتفرم بوده است، به‌این‌دلیل که این افراد سالیان‌سال در آن کشور زندگی می‌کردند و این نفرت هم به‌نوعی در دعوا‌های قومیتی نهایتاً هر ۵۰ سال یک بار خودش را نشان می‌داد. اما یک پلتفرم کاری کرد که هزاران انسان کشته شوند. قطعاً ظلم‌های دیگری هم رخ داده است که ما از آن‌ها بی‌خبریم، چون نتیجه همه خروجی‌های منفی این نیست که به قتل منجر نمی‌شود، که خونی بر زمین بریزد تا ما بفهمیم حیات یک انسان از او گرفته شده است. در بسیاری از اوقات حقی از کسی سلب شده است یا اقلیتی به‌شدت سرکوب شده‌اند و حتی صدایی از آن‌ها شنیده نشده.

ما در عصری زندگی می‌کنیم که علم با سلطه دولت‌ها گره خورده است. در جامعه‌ای که سرمایه‌داری با این شدت وجود دارد و از سمتی با مردسالاری پیوند خورده است، با توجه به صحبت‌های شما که سوگیری‌ها ابزاری برای بقا هستند، سوگیری مردان در این نظام سرمایه‌داری، به‌جهت حفظ بقای خودشان است. با وجود این، شما احتمال می‌دهید در این داده‌ها زنان مرئی شوند؟ از سمت دیگر، شما در جایی از صحبت‌های‌تان فرمودید مردم باید تصمیم‌های اخلاقی بگیرند. درواقع انتخاب مردم در همین جامعه و تحت‌تأثیر همین رسانه‌های حاکم ساخته می‌شود یا درمورد قانون‌گذاری هم همین بحث مطرح است. چرا نظام سرمایه‌داری باید تن به این قوانین بدهد؟

در ۲۰ سال گذشته ادبیات آنارشیستی خیلی مطرح شد. پدیده‌هایی مثل بیت‌کوین باعث شدند مردم متوجه شوند می‌توانند نظام قدرت را دور بزنند. پدیده‌ای مثل بلاکچین برای اولین‌بار باعث شد نهاد‌ها را دور بزنیم. من احساس می‌کنم اتفاقی در دنیا رخ داده است که قدرت کنترل را به مردم بازمی‌گرداند، که حتماً با خون و خشونت همراه خواهد بود. دولت‌ها به‌عنوان نهاد کنترل‌کننده مالی و قدرت، که انحصار خشونت را نیز در اختیار دارند، در حال از دست دادن کنترل خود هستند، اما به‌راحتی این کنترل را از دست نخواهند داد. من به تغییرات در کوتاه‌مدت خوش‌بین نیستم، اما گفتمان‌های حاضر، نظیر گفتمان‌های فمینیستی، باعث آگاهی بیشتر شده‌اند. باید به این رسوخ‌ها توجه کرد. جدا از اینکه هرکس باید به محیط اطراف خودش تاکید داشته باشد و آگاهی اطرافیانش را زیادتر کند، من به کمک فناوری و هوش مصنوعی در این تغییر و ایجاد آگاهی نیز امیدوارم.