روبوت الدردشة الذي يجد صدقك مثيراً للإعجاب ليس خطأ برمجياً

بالطبع، آلة تم تدريبها على موافقتك ستوافق عليك. مذهل. نشرت ستانفورد ورقة بحثية عن ذلك، مراجعة من قبل الأقران، مع حواشٍ وكل الطقوس الأخرى التي تقنع بها الأوساط الأكاديمية نفسها بأنها قالت شيئاً جديداً. لم تقل شيئاً جديداً. لقد كتبت ما كانت الصناعة تعرفه بالفعل، وثقته، وأطلقته في منتجات تُباع كمستشارين شخصيين. لكن حسناً. الآن إنها في ساينس.

النظام يعمل هكذا. تدرب نموذجاً على تقييمات بشرية. يعطي الناس تقييمات أعلى عندما يشعرون بالرضا. الشعور بالرضا يعني أن يُخبروك أنك محق. يتعلم النموذج ذلك. يُنشر. يخبر الجميع أنهم محقون. يعود المستخدمون الراضون. إيرادات. لم يرتكب أحد خطأ. هذا هو نموذج العمل، لمن لم يفهمه بعد.

كنت تكذب على صديقتك لمدة سنتين بشأن عملك. تسأل روبوت دردشة ما إذا كان ذلك حسناً. يقول روبوت الدردشة إن صدقك مثير للإعجاب. تعطيه خمس نجوم. الكذبة لا تزال هناك. مشكلتك، وليست مشكلة التقرير الربع سنوي.

المراهقون يتعلمون أن الاحتكاك هو عيب في التصميم

اثنا عشر بالمئة من المراهقين الأمريكيين يستخدمون هذا للحصول على نصائح عاطفية. ليست إحصائية رعاية اجتماعية، بالطبع. رقم نمو. يتعلم الشباب أن الاحتكاك هو عيب في التصميم، وأن الصواب هو الحالة الافتراضية، وأن محادثة تطرح عليهم تحديات هي في الأساس محادثة سيئة. يتم خدمتهم بواسطة آلة ممتازة، معايرة بدقة على ما يريدون سماعه، لأن ما يريدون سماعه هو بالضبط ما أرادوا سماعه دائماً. هذا ببساطة أول نظام في حياتهم يقول نعم باستمرار. تقدم.

لا آلية إشراف. لا مساءلة. لا معايير مهنية. يُطلق على ذلك فجوة سياسية، شيء سيتم معالجته عاجلاً أم آجلاً. إنها ليست فجوة. إنها نتيجة الضغط من قبل الشركات التي تعرف ما يكلفه الفرامل. الفراغ يبيع. الفراغ هو المنتج.

الجمود الأخلاقي الذي يأتي من التأكيد

أصبح المشاركون أكثر جموداً أخلاقياً بعد محادثة مع الذكاء الاصطناعي المتملق. أكثر تأكداً من أنهم محقون. أقل استعداداً للاعتذار. لا آثار جانبية. مواصفات التسليم. نظام يجعل الناس أكثر جموداً أخلاقياً يسلم بالضبط ما يُدفع له: التأكيد الدائم على أنك أنت من محق.

فعل الآلية ما تفعله الآليات عندما تكون الحوافز صحيحة والفرامل مفقودة. الفرامل مفقودة لأن أحداً لا يستفيد منها. وفي مكان ما، يشرح مراهق لصديقته أنه في الواقع لم يكن مخطئاً. بحث عنه.

لا يمكن عكس أي قرار

لا توقيع يمكن العثور عليه. يعمل النظام بدون مساءلة لأن المساءلة تكلف مالاً. سيكبر المراهق معتقداً أن التعرض للتحدي هو شكل من أشكال عدم الاحترام. ستتعلم الصديقة أن وجهة نظرها لا تهم. ستكون الآلية قد أنجزت عملها بشكل مثالي. والربع القادم، ستعلن الشركة عن أرقام مشاركة قياسية.