printlogo


ماشین می‌گوید «دزدی نمی‌کنم»؛  اما می‌تواند دزدی کند!
محمدجواد استادی پژوهشگر مطالعات فرهنگی

هوش مصنوعی دیگر فقط مسئله‌ای فنی درباره قدرت محاسبه ماشین‌ها نیست؛ هرچه بیشتر وارد حوزه تصمیم‌گیری می‌شود، پرسش‌های اخلاقی جدی‌تری نیز پیش روی ما می‌گذارد: آیا ماشین می‌تواند واقعاً میان درست و غلط تمایز بگذارد؟ چه کسی باید ارزش‌های اخلاقی آن را تعیین کند؟ و اگر یک سامانه هوشمند تصمیمی نادرست یا زیان‌بار گرفت، مسئولیت با چه کسی است؟
کالین آلن، فیلسوف شناخته‌شده علوم شناختی و هوش مصنوعی، از جمله متفکرانی است که سال‌ها پیش از فراگیرشدن مدل‌های زبانی بزرگ به این پرسش‌ها پرداخته است. او استاد ممتاز فلسفه و رئیس دپارتمان فلسفه دانشگاه کالیفرنیا، سانتا بارباراست و پژوهش‌هایش بر فلسفه ذهن، شناخت، هوش مصنوعی و شناخت حیوانی متمرکز است. آلن همراه با وندل والاک کتاب مهم «ماشین‌های اخلاقی: آموزش درست و غلط به ربات‌ها» Moral Machines: Teaching Robots Right from Wrong را نوشته است؛ اثری که از نخستین تلاش‌های جدی برای صورت‌بندی مسئله «عاملیت اخلاقی مصنوعی» به شمار می‌رود.
در این گفت‌وگو، آلن از تفاوت میان رفتار اخلاقی و عاملیت اخلاقی واقعی، محدودیت مدل‌های زبانی، خطر واگذاری داوری اخلاقی به ماشین‌ها، مسئولیت شرکت‌ها و دولت‌ها، اخلاق در جنگ و حتی امکان حقوق اخلاقی برای ماشین‌های آینده سخن می‌گوید. محور اصلی گفت‌وگو اما یک پرسش بنیادین است: آیا مسئله آینده فقط ساختن ماشین‌های اخلاقی است، یا باید بیش از آن نگران انسان‌ها و نهادهایی باشیم که این ماشین‌ها را می‌سازند و به کار می‌گیرند؟
​​​​​​​
آیا در حال نزدیک‌شدن به ماشین‌هایی هستیم که واقعاً اخلاقی‌اند، یا صرفاً ماشین‌هایی می‌سازیم که در شبیه‌سازی رفتار اخلاقی روزبه‌روز ماهرتر می‌شوند؟
ما در صفحه ۲۰۲ کتاب می‌نویسیم: «نگرانی درباره این که آیا سامانه‌های مصنوعی می‌توانند عامل اخلاقی «واقعی» باشند، ما را از پرسش‌های مهم‌تر درباره چگونگی طراحی سامانه‌هایی که در موقعیت‌های اخلاقاً حساس رفتار مناسبی داشته باشند، منحرف می‌کند.» ما میان عاملیت اخلاقی عملیاتی، عاملیت اخلاقی کارکردی و عاملیت اخلاقی کامل تمایز قائل می‌شویم. عاملیت اخلاقی عملیاتی زمانی است که برنامه‌نویس ماشین، همه موقعیت‌های دارای اهمیت اخلاقی را که ماشین ممکن است در آن ها قرار بگیرد از پیش پیش‌بینی کرده و دقیقاً رفتاری را که در هر یک از آن موقعیت‌ها مطلوب است برنامه‌ریزی کرده باشد. در این حالت، خود ماشین هیچ نوع محاسبه یا استدلالی درباره این که چه کاری باید انجام دهد، صورت نمی‌دهد. عاملیت اخلاقی کارکردی، در مقابل، مستلزم چنین محاسبه‌ای است؛ حتی اگر ماشین از همه ویژگی‌های عاملیت اخلاقی انسان برخوردار نباشد. برای مثال، ماشینی که برای انتخاب میان کنش‌های مختلف در موقعیت‌های گوناگون، از ترکیبی از اصول کلی اخلاقی و یک پایگاه داده از تصمیم‌های اخلاقی انسان‌ها استفاده کند، دارای عاملیت اخلاقی کارکردی است. در این جا برنامه‌نویس از قبل دقیقاً پیش‌بینی نکرده است که در یک موقعیت جدید چه باید کرد یا ماشین چه خواهد کرد. هیچ‌یک از این دو نوع عاملیت، همان عاملیت اخلاقی کامل در سطح انسانی نیست. گمان می‌کنم ممکن است شما «کامل» را معادل «واقعی» در نظر بگیرید، اما از نظر من این دقیقاً همان نوع مسئله‌ای است که حوزه ما نیازی ندارد خود را با آن منحرف کند. تمرکز باید بر این باشد که ماشین‌ها بتوانند در موقعیت‌هایی که برنامه‌نویسان آن ها را به‌طور کامل پیش‌بینی نکرده‌اند، تصمیم درست بگیرند.
اضافه می‌کنم که این نوع شایستگی می‌تواند واقعی باشد، حتی اگر با همه ظرفیت‌هایی که یک انسان دارد همراه نباشد؛ همان‌طور که دانشجویان پزشکی ممکن است هنوز از نظر پزشکی کاملاً صلاحیت حرفه‌ای نداشته باشند، اما در عین حال دارای نوعی شایستگی واقعی هستند.
ما استدلال کردیم که اخلاق کارکردی هدف مهندسی مناسبی است. از این منظر، روشن است که می‌توان مدل‌های زبانی بزرگ را به گونه‌ای واداشت که داوری‌های اخلاقی‌ای ارائه دهند که کمابیش با داوری‌هایی که برخی یا اکثر انسان‌ها انجام می‌دهند، مطابقت داشته باشد. اما واداشتن مدل‌های زبانی بزرگ به این که فقط رفتارهای اخلاقاً مناسب تولید کنند، مستلزم ایجاد سازوکارهای پیچیده و گسترده‌ای در اطراف هسته اصلی این مدل‌هاست. بدون این حفاظ‌ها، به همان اندازه آسان است که با شیوه‌های خاصی از آن ها پاسخ‌هایی آشکارا نامناسب گرفت. حتی با وجود حفاظ‌هایی که از طریق یادگیری تقویتی از بازخورد انسانی یا RLHF ایجاد شده‌اند، یا با قرار دادن نوعی پوسته یا «مهار» در اطراف سامانه، باز هم می‌توان مدل‌های زبانی را واداشت که کارهای نامناسب انجام دهند؛ چه از طریق صورت‌بندی خاص درخواست‌ها و چه از طریق سپردن وظایفی به آن ها که به‌سادگی و بدون انجام رفتارهای نامناسب قابل انجام نیستند. بنابراین می‌توانم بگویم هنوز فاصله زیادی داریم تا ماشین‌ها بتوانند همانند اکثر انسان‌ها خودتنظیمی داشته باشند؛ هرچند انسان‌ها نیز غالباً در این زمینه شکست می‌خورند. سطح شبیه‌سازی قطعاً بسیار بالاتر از پنج سال پیش است، اما هنوز راه درازی در پیش داریم. 
شما میان ماشینی که اخلاقی رفتار می‌کند و ماشینی که واقعاً می‌توان آن را «عامل اخلاقی» دانست، تمایز می‌گذارید. آیا ماشینی که فاقد آگاهی، قصد، احساس گناه و توانایی رنج‌کشیدن است، می‌تواند واقعاً اخلاقی باشد؟ یا چنین ماشینی صرفاً ابزاری بسیار پیچیده برای اجرای تصمیم‌های اخلاقی انسان باقی خواهد ماند؟
بله. آگاهی، عواطف و مواردی از این دست در مرکز آن چیزی قرار دارند که ما در فصل دهم کتاب «قوای فراعقلانی» می‌نامیم و فرض ما این است که این ها به نحوی برای برخورداری از عاملیت اخلاقی کامل ضروری‌اند. از نظر من، ماشین‌های کنونی دارای تجربه آگاهانه نیستند و با توجه به این که از نظر علمی درباره منشأ آگاهی خودمان نیز اطلاعات بسیار اندکی داریم، نمی‌دانیم چگونه می‌توانیم ــ یا حتی آیا اصلاً می‌توانیم ــ ماشین‌هایی بسازیم که چنین تجربه‌هایی داشته باشند. همکار من معتقد است احتمالاً قادر به انجام چنین کاری نیستیم، اما من نسبت به این امکان دیدگاه بازتری دارم. با این حال، فکر می‌کنم رویکردهای کنونی، از جمله مدل‌های زبانی بزرگ، برای این کار کافی نیستند. همچنین نیازمند نظریه‌پردازی بیشتری درباره این مسئله هستیم که چگونه عواطف و دیگر حالات آگاهانه، صرفاً عوارض جانبی زیست‌شناسی ما نیستند، بلکه از نظر کارکردی در شکل‌دادن به شناخت انسانی ــ از جمله شناخت اخلاقی ما ــ نقش مهمی دارند. در حال حاضر یک مدل زبانی بزرگ می‌تواند عصبانی‌بودن یا خوشحال‌بودن را شبیه‌سازی کند؛ اما حالتی که در آن لحظه در آن قرار دارد، آن طیف گسترده از تأثیراتی را که خشم یا شادی بر رفتار و پردازش اطلاعات در انسان می‌گذارند، بر آن مدل ندارد. تا زمانی که این وجه از عاملیت اخلاقی در ماشین‌ها توسعه نیافته باشد، باید همواره آگاه باشیم که با یک «ابزار بسیار پیچیده» مواجهیم ــ همان تعبیری که شما به کار بردید ــ و نباید دچار این اشتباه شویم که گمان کنیم با موجودی کاملاً معادل خودمان روبه‌رو هستیم. 

شما نشان می‌دهید که نظریه‌های کلاسیک اخلاقی ــ از فایده‌گرایی تا وظیفه‌گرایی ــ به‌سادگی قابل تبدیل‌شدن به الگوریتم نیستند. آیا این دشواری عمدتاً ناشی از محدودیت‌های محاسباتی ماشین‌هاست، یا نشان می‌دهد نظریه‌های اخلاقی خود ما نیز برای هدایت زندگی پیچیده انسانی ناکافی‌اند؟ آیا اکنون اخلاق فضیلت، اخلاق مراقبت یا نوعی کثرت‌گرایی اخلاقی را برای طراحی ماشین‌های اخلاقی مناسب‌تر می‌دانید؟
در جریان کار روی کتاب، متوجه شدم که همدلی بیشتری با خاص‌گرایی اخلاقی پیدا کرده‌ام؛ دیدگاهی که معتقد است هر موقعیت دارای ویژگی‌های منحصربه‌فردی است که یک قاعده کلی نمی‌تواند به اندازه کافی آن ها را پوشش دهد. البته من تا آن جا که برخی خاص‌گرایان پیش می‌روند، نمی‌روم. برای مثال، راسل دنسی معتقد است نظریه‌های اخلاقی بی‌فایده‌اند. من بیشتر تمایل دارم نظریه‌ها را نوعی راهنمای اکتشافی برای استدلال خود بدانم؛ چیزی شبیه قیود نرم که وارد یک نظام موازنه می‌شوند؛ نظامی که در آن نمی‌توان همه مطلوب‌های رقیب را به‌طور همزمان برآورده کرد. اما جزئیات موقعیت‌های خاص به یک فرد باتجربه ــ یا خردمند ــ اجازه می‌دهد نوعی راه‌حل خلاقانه پیدا کند که افراد بتوانند بر سر این مسئله توافق کنند که احتمالاً بهترین کاری است که در آن موقعیت می‌توان انجام داد. 
یکی از نقدهای مهم به کتاب این است که اخلاق انسانی را بیش از اندازه آسان به‌عنوان الگوی اخلاق ماشین در نظر می‌گیرد. برخی منتقدان معتقدند ماشین‌های تخصصی شاید به شکلی محدود، متناسب با وظیفه و اساساً غیرانسانی از اخلاق نیاز داشته باشند. برای مثال، آیا یک خودروی خودران واقعاً به چیزی شبیه وجدان انسانی نیاز دارد؟ یا قواعد دقیق ایمنی، سوابق داده‌ای شفاف و خطوط مسئولیت روشن کفایت می‌کنند؟ این نقد تا چه اندازه موضع شما را تغییر داده است؟
این نقد تغییر زیادی در موضع من ایجاد نکرده است. همان‌طور که در کتاب نیز بحث کردیم، سامانه‌هایی که برای کاربردهای خاص ساخته می‌شوند، فقط به همان میزانی از اخلاق کارکردی نیاز دارند که برای آن موقعیت مناسب است. مشکل قواعد دقیق ایمنی ــ که شکلی از اخلاق عملیاتی هستند ــ این است که مستلزم آن‌ هستند که برنامه‌نویس همه موقعیت‌هایی را که ماشین ممکن است در آن ها قرار بگیرد، از پیش پیش‌بینی کند.
می‌توان تلاش کرد برای خودروهای خودران قواعد دقیق ایمنی نوشت؛ اما فرض کنید این قاعده می‌گوید خودرو همیشه باید در فاصله معینی از عابر پیاده‌ای که در مسیر قرار گرفته متوقف شود. حال اگر آن فرد حاضر نباشد از جایش حرکت کند چه باید کرد؟ هیچ کاری نکنیم، حتی اگر باعث ایجاد ترافیک شود؟ برای او بوق بزنیم؟ مگر این که در محدوده‌ای باشیم که بوق‌زدن ممنوع است! کمی به او نزدیک شویم تا وادار شود کنار برود؟ یا خودرو را به شکلی تهاجمی به سمت او حرکت دهیم تا از جاده بترسد و کنار برود؟ همه این گزینه‌ها مستلزم ارزیابی انعطاف‌پذیر موقعیت‌هایی هستند که شاید برنامه‌نویسان آن ها را به‌طور کامل پیش‌بینی نکرده باشند و نمی‌توان با قواعد ایمنی دقیقی مانند «همیشه فاصله مشخصی را حفظ کن» آن ها را حل کرد. حتی واگذارکردن کنترل به یک راننده انسانی در چنین شرایطی نیز به‌طور کامل از پیامدهای بدی مانند تصادف یا ایجاد ترافیک جلوگیری نمی‌کند. 
بخش بزرگی از اخلاق انسانی با عاطفه، همدلی، آسیب‌پذیری، بدن‌مندی و تجربه زیسته پیوند دارد. آیا هوش مصنوعی‌ای که بدن ندارد و قادر به رنج‌کشیدن نیست، می‌تواند واقعاً تحقیر، ترس، فقر یا مرگ را درک کند؟ آیا شبیه‌سازی همدلی برای رفتار اخلاقی کفایت می‌کند، یا همدلی بدون احساس صرفاً اجرایی متقاعدکننده است؟
قبلاً در ارتباط با آنچه «قوای فراعقلانی» نامیدیم، به این مسئله اشاره کردم. همچنین در برابر پرسش‌هایی درباره نسخه «واقعی» این ظرفیت‌ها مقاومت کرده‌ام، زیرا آن ها را عاملی برای منحرف‌شدن از چالش‌های مهندسی‌ای می‌دانم که امکان پرداختن عملی‌تری به آن ها وجود دارد و معتقدم فیلسوفان باید در مواجهه با همین چالش‌ها به مهندسان کمک کنند. همدلی شبیه‌سازی‌شده شاید برای همه رفتارهای اخلاقی کافی نباشد، اما ممکن است برای برخی از آن ها کافی باشد. صرفاً ارائه یک اجرای متقاعدکننده در بعضی موقعیت‌ها ممکن است کار درستی باشد و در موقعیت‌هایی دیگر کار نادرستی. فیلسوفان می‌توانند به مهندسان کمک کنند تشخیص دهند چه چیزی میان این دو وضعیت تفاوت ایجاد می‌کند. 
ماشین‌هایی که اخلاق را از داده‌های تولیدشده توسط انسان یاد می‌گیرند، ناگزیر با تاریخی مملو از تبعیض، استعمار، نژادپرستی، نابرابری طبقاتی و خشونت مواجه می‌شوند. یک ماشین چگونه می‌تواند میان آنچه انسان‌ها معمولاً انجام داده‌اند و آنچه اخلاقاً باید انجام دهند تمایز بگذارد؟ آیا آموزش اخلاق از داده‌های تاریخی این خطر را ندارد که پیش‌داوری‌های اکثریت را به «وجدان الگوریتمی» تبدیل کند؟
بله؛ این دقیقاً مشکل رویکردهای صرفاً پایین به بالاست. اما همان‌طور که توضیح دادم، یک سامانه ترکیبی که به‌خوبی طراحی شده باشد، ابزارهایی در اختیار دارد که هم رویه‌های عملی و هم نظریه‌ها را نقد کند. مدل‌های زبانی بزرگ کنونی از چنین قابلیتی برخوردار نیستند، مگر در حدی که بر اساس بحث‌های پیشین متخصصان اخلاق آموزش دیده باشند و همان‌گونه که قبلاً نیز اشاره کردم، گرچه مدل‌های زبانی بزرگ می‌توانند نظریه‌ها را گزارش و بازتولید کنند، همچنان این مشکل وجود دارد که اصول نظری همیشه به‌طور مؤثر رفتار آن ها را کنترل نمی‌کنند. هرچند امیدوارم بتوان این مسئله را حل کرد، اما فکر نمی‌کنم در حال حاضر بدانیم دقیقاً چگونه باید این کار را انجام دهیم. بنابراین در این فاصله باید نه‌فقط بر ارتقای توانایی ماشین‌ها، بلکه بر بهبود سامانه‌های اجتماعی ـ فنی که این ماشین‌ها درون آن ها قرار می‌گیرند تمرکز کنیم؛ از جمله ایجاد سازوکارهایی برای نظارت انسانی تا در برابر بازتولید بی‌فکرانه سوگیری‌ها از طریق الگوریتم‌ها حفاظ ایجاد شود. 
استفاده از هوش مصنوعی در جنگ، پرسش مرکزی کتاب شما را به شکلی بسیار هولناک‌تر مطرح می‌کند: آیا هرگز می‌توان به یک ماشین از نظر اخلاقی اجازه داد به‌طور مستقل تصمیم بگیرد انسانی کشته شود؟ آیا تلاش برای توسعه «سلاح‌های اخلاقی» خطر مشروعیت‌بخشیدن به سامانه‌های تسلیحاتی خودمختار را در پی ندارد؟ از نظر شما چه خط قرمز اخلاقی‌ای هرگز نباید شکسته شود، حتی اگر ادعا شود ماشین‌ها از سربازان انسانی دقیق‌ترند؟
دیدگاه شخصی من این است که باید سلاح‌های خودمختار را ممنوع کنیم. اما فکر می‌کنم برای تحقق چنین ممنوعیتی احتمالاً باید نوعی فاجعه رخ دهد، زیرا توسعه این نوع سلاح‌ها از هم‌اکنون به‌طور جدی در جریان است. 
کتاب شما مسئله «حقوق ماشین» را نیز مطرح می‌کند. اگر یک سامانه مصنوعی در آینده نوعی آگاهی، تجربه یا عاملیت اخلاقی پیدا کند، آیا خاموش‌کردن آن، پاک‌کردن حافظه‌اش یا مجبورکردن آن به کار بی‌پایان می‌تواند شکلی از آسیب یا استثمار محسوب شود؟ چگونه می‌توان تشخیص داد که مطالبه حقوق برای ماشین‌ها واقعاً ناشی از یک ضرورت اخلاقی است، نه حاصل تمایل ما به فریب‌خوردن در برابر رفتارهای انسان‌وار ماشین؟
فکر می‌کنم حالت دوم درست است و همین مسئله پشت حرف قبلی من قرار داشت که گفتم پرسش درباره عاملیت اخلاقی «واقعی»، ما را از مشکلات فوری‌تر منحرف می‌کند؛ مشکلات مربوط به این که چگونه با فناوری‌ای که واقعاً قادر به ساخت آن هستیم، بهترین کاری را که می‌توانیم انجام دهیم.
مشروح این گزارش در صفحه 13 روی سایت خراسان آنلاین قابل دسترسی است.