文 / 新浪科技欧洲站站长 郝倩 发自瑞士日内瓦
日前，新浪科技对话了马克斯-泰格马特（Max Tegmark），他是人工智能领域知名科学家，同时也是物理学家和宇宙学家。在各大科技公司争相进行人工智能研究竞赛时，泰格马特一直都是那个冷静的人。
他认为，如果没有强有力的约束机制，超级智能（Super Intelligence）可能在“几年到十年”内出现。而我们应该放缓对超级智能的研究。
“未来很多AI产品，比如更安全的自动驾驶汽车、AI辅助新药研发，以及提升生产效率等，显然能给人类带来巨大好处。这些应用都应该被鼓励。但所有这些，我们都能通过AI工具实现——根本不需要超级智能。”
“超级智能是唯一的例外。因为目前，没有任何人知道该怎么控制它。”泰格马克说。
新浪科技对话泰格马特教授
这次我与泰格马特的对话有一个很特殊的背景。未来生命研究所（Future of Life Institute， FLI）上周宣布，一项由全球知名的人工智能科学家、政策制定者、商业领袖及其他社会各界知名人士共同签署、汇聚不同政治与社会背景的空前广泛共识的倡议正式发布，呼吁在“超级智能”（superintelligence）技术被科学界普遍认定为可控、安全，并获得公众广泛支持之前，暂停其进一步发展。
这个未来生命研究所主席，正是麻省理工学院人工智能研究教授马克斯·泰格马克。
这件事在中国学术界同样掀起了不小的波澜。多位知名学者参与联署此次倡议，包括图灵奖得主姚期智、清华大学公共管理学院院长薛澜、清华大学智能产业研究院院长张亚勤，以及人工智能伦理与治理专家曾毅。
北京前瞻人工智能安全与治理研究院院长、中国科学院自动化研究所研究员曾毅指出：“直到现在，我们还没有坚实的科学证据和切实可行的方法来确保超级智能的安全，使其不会给人类带来灾难性的风险。世界尚未准备好迎接不是可控工具的超级智能。”
95%的美国人反对盲目竞赛式的超级智能研发
“95%的美国公众并不希望出现一场通往超级智能的竞赛，民意已经很清楚了。”泰格马克对新浪科技说。
泰格马克特别指出，美国社会正在出现一种罕见的共识。他提到，最近一份呼吁暂停超级智能研发的声明，跨越了不同的群体，政治与学术背景。
“这些人并不是出于地缘政治考虑。他们支持AI技术让美国更强大，但他们不想要超级智能。”泰格马特把这种转变看作公众共识的成熟。
未来生命研究所的这项调查结果显示，美国公众对当前人工智能的发展方向普遍不满。仅有5%的受访者支持目前“无监管的AI开发现状”，而高达73%的受访者支持建立更为严格的监管机制，另有64%的受访者认为，在科学界尚未就安全与可控性达成共识之前，不应开发“超级智能”。
“我们需要的是科研，是人工智能的研发工具，并不是超级智能。”泰格马克认为，那些“以攻克绝症为名”，要开发超级智能的说辞，都是不值得推敲的。
“未来很多AI产品，比如更安全的自动驾驶汽车、AI辅助新药研发，以及提升生产效率等，显然能给人类带来巨大好处。这些应用都应该被鼓励。但所有这些，我们都能通过AI工具实现——根本不需要超级智能。”
“超级智能是唯一的例外。因为目前，没有任何人知道该怎么控制它。”泰格马克说。
与其盲目加速人工智能的发展，越来越多的学者与业界领袖呼吁应通过“可控的人工智能工具”来推动安全创新，聚焦解决医疗、能源、教育等具体领域的实际问题。
什么是超级智能？
所以什么才是“超级智能”？
“所谓超级智能，就是让人类彻底被取代的机器。”泰格马特给出了一个直白的定义：”当机器聪明到不再需要我们——甚至让我们在人类文明的运转中变得可有可无——那就是超级智能。”
泰格马特在采访中画了一个想象中的图——三个重叠的圆圈，分别代表AI的三种“超能力”。
领域智能，即在特定任务中表现卓越，比如自动驾驶、围棋、翻译，甚至治愈癌症。
通用性，就是能够胜任多种不同任务，比如既能写代码、又能翻译、还能做生物研究。
自主性，拥有自己的目标，并能在现实世界中执行这些目标。
“我们知道如何控制只具备其中一个或两个能力的AI，但对于同时拥有这三种超能力的AI，我们完全没有控制方法。这就是真正的边界——危险从这里开始。”
图表为超级智能的三种超能力
泰格马特描绘了一个可能的未来：“想象一下，一群极度聪明的机器人，它们能建造自己的工厂，设计更先进的机器人，再制造新一代机器人。它们可以完成采矿、运输、制造一切所需的过程——到那时，人类在地球上将不再是必要的物种。而如果这些机器出于某种原因，认为人类对它们构成威胁，那结局将不堪设想。”
“就像开车一样，车的功能越强大越好，但前提是它能被你控制。如果它自己决定往哪儿开，那就不是‘有趣’，而是‘致命’。”
“是的，这听起来像科幻电影。但要知道，十年前，我们连今天这样的AI系统都认为只是科幻。”
泰格马特指出，仅仅六年前，几乎所有的人工智能研究者都认为“通过图灵测试”的AI——也就是能像人类一样理解语言、掌握知识的系统——至少还要几十年才能出现。
“而他们都错了。它已经发生了。这个世界上充满了过度自信的人——他们以为自己懂，实际上并不了解。这说明我们必须学会谦逊。”
他补充说，真正危险的不是AI变强，而是人类盲目自信。
泰格马特承认，对许多公众来说，AI今天看起来仍只是聊天机器人、自动驾驶和办公助手。“我们还没有超级智能，我们拥有的仍只是工具。”
但他强调，“科技巨头现在想要造的，不再是工具，而是一种全新的生命形式——能取代我们、超越我们、掌控我们的‘新物种’。”
因此，他主张应立刻出台国际监管框架，不是为了放慢技术进步，而是为了在“人类失去控制权之前”，
给自己留下最后的时间窗口。从这个角度来说，“监管不是阻碍创新，而是避免灭绝”。
如何禁止尚未存在的东西
我的问题是，既然超级智能还未出现，我们又该如何禁止或者限制还不存在的东西？这并不符合历史经验的操作逻辑。
“在美国，我们对药品、汽车、飞机，甚至餐馆都有严格的安全标准——但对人工智能，却什么都没有。”
泰格马特说，如今一家位于旧金山的AI公司，如果明天造出了超级智能（Superintelligence），在法律上，它完全可以立即发布。“讽刺的是，就在这家公司对街的一家新餐馆，连卖一份三明治都必须先通过卫生检查，证明厨房安全合格。”
Tegmark认为，AI监管的问题其实并不复杂，他做了个简单的类比。“我们只需要给它设立一个和其他行业一样的安全审批机制，就像食品药品管理局（FDA）那样，要求企业在推出之前证明它是安全的。”
“这和药物监管是一样的。如果一家公司声称研发出一种能治愈所有癌症的‘超级药物’，政府不会让它立刻上市。它必须先证明这种药物安全无害、利大于弊——只有这样才能获批。”
泰格马特认为，AI监管也应当遵循同样的逻辑。
“从错误中学习”的时代，已经结束了。因为科学变得越来越强大，技术的威力也随之增强。
“超级智能可能会拥有自己的目标，并且在一切方面——策略、学习、设计、创造——都比人类更强。如果那样的存在出现，它将成为地球上第一种能与人类竞争的’新物种’。而如果它决定与我们竞争，它一定会赢。因为它在所有方面都比我们优秀。”泰格马特说。
“我们现在已经看到了失败的开端”
泰格马特在采访的最后，提到了他最近密切关注的一项研究——一篇关于“能力不匹配博弈”的论文。
那篇论文提出了一种叫做 “可扩展监督（Scalable Oversight）” 的方法——设想通过让相对弱一点的AI系统去监督、评估更强大的AI系统的行为，从而维持人类对未来“超级智能”的控制。
但研究者在模型中发现了一个冷静而残酷的事实：当被监督的AI在能力上超越监督者到一定程度后，整个监督机制会自然失效。换言之，从理论上而言，能力弱的AI（或人类）都无法稳定地监督能力更强大的AI。
这正是当下AI安全研究最核心的命题之一：如果我们用较弱的AI去监督更强的AI，这种监督机制能否真正“扩展”并保持有效？
“结果非常清楚：随着智力差距的增加，控制几乎总是失败的。即使被监督的AI只比今天的系统强一点，监督也会迅速变得脆弱。而一旦进入超级智能的层级，控制——几乎一定会失败。”
更极端的情况是，当AI变得足够聪明，人类可能连它在做什么都无法判断，更无从判断AI是否在“控制”或者“欺骗”人类。
泰格马特对新浪科技点出了这层逻辑：“这不是道德问题，而是结构性问题。一旦我们创造出比自己聪明太多的系统，我们连验证它是否在按我们的预期行事的手段都没有。”
也就是说，所谓“AI可控性”的问题，并非伦理或哲学层面的争论，而是数学层面的极限。这就从科学的角度应证了，为什么在人工智能这个问题上，传统的“从错误中学习”已经不适用。所以监管的意义不在于“事后纠错”，而在于“事前设限”。
“在人类还有理解能力的阶段，先划定边界，限制那第三个’超能力’（自主性）的生成。”
“我们不能等到机器太聪明了再去问：’它还听我们的么？因为到那时，我们连提问的机会可能都没有了。”泰格马特对新浪科技坦言。
责任编辑：梁斌 SF055