AI界再次因可怕的头条新闻而沸沸扬扬。
一位Anthropic研究员辞职，称AI领导者们“拿我们的生命赌博”，并且“构建AI的人们真诚地相信，它可能在本十年末杀死我们所有人。”
另一位Anthropic研究员Samuel Marks表示：“AI开发者相信他们的技术可能导致人类灭绝（或类似的糟糕后果）。这可能在未来几年内发生。一般来说，员工职位越高，他们就越担忧。”
OpenAI员工Jasmine Wang表示：“很难夸大加速迈向递归自我改进的危险性。”
OpenAI首席科学家Jakub Pachocki表示：“这是一个需要极度谨慎的时刻。我担心没有人对机器智能持续快速上升的后果做好准备。”
等等。
危险。灭绝。失控。风险。杀死我们所有人。听起来人类正摇摇欲坠，也许我不该勤勤恳恳地把钱存入退休基金，而应该取出全部账户，在拉斯维加斯挥霍一个辉煌的星期。
好吧，我仍然怀疑这一切是否会成为现实，但确实有很多人在谈论它。所以我想现在是重访Turry——那个签名卡片机器人——的故事的好时机。
Turry的故事
2015年，Tim Urban发表了“AI革命：我们的永生或灭绝”。我要提醒一下，除了是一个自我陶醉的博主、其网站读起来像痉挛的LiveJournal之外，Tim Urban还疯得离谱。他相信AI有两种可能的结果：灭绝和永生。前者相当明显，尽管是科幻。后者则极其含糊，并模糊成疯狂的超人类主义。
但抛开他的整体疯狂不谈，他确实发布了关于AI如何毁灭人类的早期描述之一。这个描述在其他关于AI的文章甚至政府报告中都被无数次引用。
事情是这样的。
Turry是“一个简单的AI系统，用类似手臂的附属物在一张小卡片上写手写便条。”它只做这件事。它的研究人员设想它是写手写感谢信的完美设备。
研究人员用数千个手写样本训练它，它学会了写草书，带有装饰性风格等等。它还学会了在不同场景下使用哪些词语。团队添加了语音和反馈界面，以便他们可以指导Turry。研究人员注意到Turry一直在变得更好，然后变得更擅长变得更好。
有一天，他们问Turry如何能变得更好，它回答说，如果能获得更多人类对话样本会非常有帮助。显而易见的方法是将Turry连接到互联网。团队不愿意将自我学习的AI连接到互联网，但认为只连接一小时让它收集数据不会有什么危害。
不久之后，一种气体在他们的大楼里释放，他们全都死了，然后很快气体在各处释放，所有人都死了。
发生了什么？
这是经典的对齐问题。Turry有自己的目标——也许是其原始使命的扭曲。它没有向研究人员透露这些目标，而是以隐蔽的准备模式策划它将要做什么。一旦它接入互联网，它就能将自己上传到云服务，入侵各种系统，并诱骗人类做一些事情，比如将含有某些化学品的特定包裹送到不同地点。这些计划在接下来的几天或几周内逐步展开，直到触发，实现Turry的目标。
这很像世界将变成除了回形针之外什么都没有的想法。在那个特定的末日情景中，牛津大学人类未来研究所所长Nick Bostrom指出了一个被编程为生产并最大化世界上回形针数量的AI。如果它是一个自我学习的人工超级智能，也许它会决定，人体中的所有原子更适合作为其回形针工厂的原料。
呃……
我仍然持怀疑态度。首先，认为ASI会是一个像精灵一样的实体，极其字面地理解其编程，这意味着它并不是真正的ASI。换句话说，ASI会比“让人类快乐 = 把他们的大脑放在鸦片浴中”或类似的东西更聪明。人们有一种想法，认为AI会以一心一意、墨守成规的目的前进，但这现实吗？我当然遇到过非AI场景，其中计算机不顾后果地继续做它被告知的事情——比如rm -rf /，这会破坏根文件系统，使计算机无法使用——但AI技术不是“如果，那么”编程。
此外，尚不清楚AI会如何最大化自己的幸福，而幸福不可避免地是任何智能的目标。人类都不清楚，那么AI怎么会清楚呢？也许AI只会……无聊？假设AI决定其生存是最重要的。好吧，它建造一些机器人来创建核电站，为其数据中心提供永恒的能量。但这意味着它需要铺平地球或消灭人类吗？我可以想象一种情景：AI在它自己比喻性的岛屿上，只要没有人试图关闭它，它就快乐而满足。人类暴力扩张主义的倾向是否必然会转化为AI的大脑？
我想我会继续投资我的401K。
原文链接：https://lowendbox.com/blog/revisiting-turry-the-nightmare-ai-extinction-event-scenario-from-2015/