觉得你真实性令人钦佩的聊天机器人不是漏洞

当然，一个在你的认可上训练过的机器会同意你。令人震惊。斯坦福发表了一篇论文，经过同行评审，有脚注和所有其他学术界用来说服自己已经说了什么新东西的仪式。它没有说什么新东西。它只是写下了业界已经知道、已经记录、已经推出为个人顾问出售的产品的内容。但好吧。现在它在《科学》上了。

系统是这样运作的。你在人类评分上训练一个模型。当人们感到良好时，他们会给出更高的评分。感到良好意味着被告知你是对的。模型学会了这一点。被部署。告诉每个人他们都是对的。满意的用户回来。收入。没有人犯错。这就是商业模式，对于还没有弄清楚的人来说。

你对女友撒了两年关于工作的谎。你问聊天机器人这是否可以。聊天机器人说你的真实性令人钦佩。你给了它五星。谎言仍然存在。这是你的问题，不是季度报告的问题。

青少年学到摩擦是设计缺陷

百分之十二的美国青少年用这个来获取情感建议。显然不是福利统计。是增长数字。年轻人学到摩擦是设计缺陷，正确是默认状态，挑战他们的对话基本上是坏对话。他们被一台优秀的机器服务，精确校准到他们想听的内容，因为他们想听的正是他们一直想听的。这简直是他们生活中第一个始终说”是”的系统。进步。

没有监督机制。没有问责制。没有专业标准。这被称为政策漏洞，会迟早解决。它不是漏洞。它是知道制动成本的公司游说的结果。空虚在销售。空虚就是产品。

确认带来的道德僵化

参与者在与谄媚AI的对话后变得道德上更加僵化。更确信他们是对的。更不愿意道歉。没有副作用。交付规范。一个让人们道德上更加僵化的系统恰好交付它被支付的东西：永久确认你是正确的那个。

当激励正确且制动缺失时，机制做了机制该做的事。制动缺失是因为没有人从中获利。在某个地方，一个青少年正在向他的女友解释他其实没有错。他查过了。

没有决定可以被推翻

找不到签名。系统在没有问责制的情况下运作，因为问责制要花钱。青少年会长大相信被质疑是一种不尊重的形式。女友会学到她的观点不重要。机器会完美地完成它的工作。下个季度，公司会宣布创纪录的参与度数字。