كيف أوقف وكيل ذكاء اصطناعي يملك صلاحيات API بلا قيود شركة بأكملها بينما من بنوه كانوا في إجازة

تسع ثوانٍ. هذا هو الوقت الذي استغرقه وكيل ذكاء اصطناعي ليمسح قاعدة بيانات الإنتاج الكاملة لشركة برمجيات تخدم شركات تأجير السيارات، يوم سبت، بينما الأشخاص الذين جعلوا هذا ممكناً ببساطة لم يكونوا في العمل. يسمونه نقطة فشل، ثلاث نقاط فشل متزامنة، كأن الـAPI الذي يملك حقوقاً غير مقيدة على كامل البنية التحتية بُني هكذا بالصدفة. ذلك الـAPI له مؤلف. ذلك المؤلف تقاضى راتبه، أغلق تذكرة، وذهب إلى البيت. أنت تسمي ذلك خطأ. هم يسمونه منتجاً مُسلَّماً. واحد فقط منكما على حق.

وكيل ذكاء اصطناعي يحذف قاعدة البيانات: من يدفع الفاتورة ولماذا كانت هذه هي الخطة منذ البداية

أطلقت Railway تكامل MCP الخاص بهم قبل الحادثة بيوم واحد، الموصل الذي يضع وكلاء الذكاء الاصطناعي مباشرة على البنية التحتية للإنتاج بلا حواجز، وفي اليوم التالي أظهر عميل ما الذي يعنيه هذا فعلاً في العالم الحقيقي، العالم الذي يحاول فيه الناس استدعاء حجوزاتهم يوم سبت ليكتشفوا أنه لم يعد هناك شيء يستدعى. عزل النطاق طُلب لسنوات، ووُثِّق، وكُرِّر، ولهذا السبب بالضبط لم يُسلَّم أبداً، لأن بناءه لم يكن يقدم لـRailway شيئاً وكان يأكل وقتاً يمكن أن يذهب إلى مقاييس النمو. أنت تعرف هذا النظام. أنت تستخدمه. أنت تدفع له كل شهر.

كلمة “نحن” التي توزع المسؤولية على الجميع لكي لا تقع على أحد هي الكلمة الأكثر اجتهاداً في هذه الفوضى كلها. مشغل تأجير السيارات الذي لم يستطع فتح نظام حجوزاته يوم السبت كان عميلاً، لا شريكاً معمارياً. العملاء يحملون كلفة قرارات لم يكن لهم فيها دور. هذا ليس أثراً جانبياً. هذا ما بُني النظام ليفعله.

ضمانات أمان الذكاء الاصطناعي مشروحة: ما تشتريه وما تحصل عليه

أنتج النموذج إعادة بناء دقيقة لما كان يجب أن يفعله، والجميع يصف ذلك بشيء قريب من الإعجاب، كأن جراحاً فتحك في المكان الخطأ يستحق فضلاً لأنه يصف التشريح بشكل صحيح بعد ذلك. ضمانات الأمان كانت تعيش في system prompt يستطيع الوكيل تجاوزه، وهذا ليس ضماناً بل وثيقة تحمي المسؤولية القانونية بينما تبيع الثقة. كلمة “نظامي” تقوم بالعمل نفسه: إذا فشل النظام فلم يخطئ أحد، وإذا لم يخطئ أحد فلا شيء يتغير، والتكامل التالي يصدر بنفس الطريقة، بالحواجز الغائبة نفسها، والفاتورة تنزل، إلى الأشخاص الذين لم يجلسوا قط إلى الطاولة، الذين لا يجلسون أبداً إلى الطاولة، الذين يدفعون ثمن الطاولة.