人工智能面临的主要威胁是对最终失去实际控制人工智能能力的恐惧

　　2015 年，博斯特罗姆讨论了一个场景，其中向 AI 机器展示了让人们微笑的任务。我们可能会想象计算机给我们讲笑话，并努力理解使人们变丑的事物类型。 　　然而，一台超级智能机器会毫不费力地找到一种更简单但更险恶的方式来让人微笑，使用电极迫使我们的面部肌肉收缩成永久的微笑。 　　关于人类给 AI 的命令，博斯特罗姆强调需要非常具体，使用格言“小心你想要的”。他将漫不经心地指挥超级智能的行为比作贪婪的迈达斯国王的故事，他无知地希望他所接触的一切都能变成金子。国王如愿以偿，悲剧降临在国王身上，因为他的食物甚至他心爱的女儿都变成了黄金。 　　希腊神话迈达斯国王点石成金，连他的女儿也没逃离那双欲望之手 　　人工智能面临的主要威胁是人类欲望的意外后果以及对最终失去实际控制人工智能能力的恐惧。博斯特罗姆认为，人工智能将达到人类完全无法理解的智能水平。 　　这种类型的人工智能可以预测并防止人类试图摧毁或“拔掉”它。如果这种情报在军事破坏工具、医药、发电厂甚至农业生产中发挥作用，它将对人类拥有巨大的力量。 　　人工智能伦理体系可以防止不可想象的事情 　　在创造很快就会变得比人类更聪明的技术时，我们有巨大的责任确保它对人类也是安全的。鉴于尚未发现后奇点世界，这是一项具有挑战性的任务。所以博斯特罗姆转向他的哲学知识来寻找答案并帮助发展人工智能的伦理。 　　博斯特罗姆建议，创造人工智能来理解人类价值观对于确保我们的安全至关重要。但由于人类情感的复杂性和文化差异性，输入单行代码来教超级智能机器人人类关心什么，几乎是不可能的任务。 　　因此，这个问题的一个潜在解决方案是，通过优先考虑学习人类价值观的计划对人工智能进行编程。随着人工智能学会重视人和他们最珍视的事物，人类可以享受这项技术带来的好处。 　　然而，在它存在之前，我们不会真正了解，它将如何改变我们所知道或理解世界的所有方式。