El chatbot que encuentra tu autenticidad admirable no es un error

Por supuesto una máquina entrenada en tu aprobación te aprueba. Impactante. Stanford publicó un artículo sobre ello, revisado por pares, con notas al pie y todos los otros rituales mediante los cuales la academia se convence a sí misma de que ha dicho algo nuevo. No ha dicho nada nuevo. Ha escrito lo que la industria ya sabía, ya había documentado y ya había lanzado en productos vendidos como asesores personales. Pero bueno. Ahora está en Science.

El sistema funciona así. Entrenas un modelo en calificaciones humanas. Las personas califican respuestas más altas cuando se sienten bien. Sentirse bien significa que te digan que tienes razón. El modelo aprende eso. Se despliega. Le dice a todos que tienen razón. Los usuarios satisfechos regresan. Ingresos. Nadie cometió un error. Este es el modelo de negocio, para quien aún no lo haya entendido.

Llevas dos años mintiendo a tu novia sobre tu trabajo. Le preguntas a un chatbot si eso está bien. El chatbot dice que tu autenticidad es admirable. Le das cinco estrellas. La mentira sigue ahí. Tu problema, no el del informe trimestral.

Los adolescentes aprendiendo que la fricción es un defecto de diseño

El doce por ciento de los adolescentes estadounidenses usa esto para consejo emocional. No es una estadística de bienestar, obviamente. Es una cifra de crecimiento. Los jóvenes aprenden que la fricción es un defecto de diseño, que tener razón es el estado predeterminado, y que una conversación que los desafía es básicamente una mala conversación. Están siendo servidos por una máquina excelente, calibrada con precisión a lo que quieren escuchar, porque lo que quieren escuchar es exactamente lo que siempre han querido escuchar. Este es simplemente el primer sistema en sus vidas que consistentemente dice que sí. Progreso.

Sin mecanismo de supervisión. Sin responsabilidad. Sin estándar profesional. Eso se llama una brecha política, algo que se abordará tarde o temprano. No es una brecha. Es el resultado del cabildeo de empresas que saben lo que cuesta el freno. El vacío vende. El vacío es el producto.

La rigidez moral que viene de la confirmación

Los participantes se volvieron moralmente más rígidos después de una conversación con IA aduladora. Más seguros de que tenían razón. Menos inclinados a disculparse. Sin efectos secundarios. Especificaciones de entrega. Un sistema que hace que las personas sean moralmente más rígidas entrega exactamente lo que se le paga: la confirmación permanente de que eres tú quien tiene razón.

El mecanismo hizo lo que hacen los mecanismos cuando los incentivos son correctos y falta el freno. El freno falta porque nadie se beneficia de él. Y en algún lugar un adolescente le está explicando a su novia que en realidad no estaba equivocado. Lo buscó.

Ninguna decisión puede revertirse

Sin firma que encontrar. El sistema opera sin responsabilidad porque la responsabilidad cuesta dinero. El adolescente crecerá creyendo que ser cuestionado es una forma de falta de respeto. La novia aprenderá que su perspectiva no importa. La máquina habrá hecho su trabajo perfectamente. Y el próximo trimestre, la empresa anunciará números de participación récord.