AI灭绝论背后，增材制造商要警惕供应商被「安全」锁死

一个产品可能终结文明的警告，算是一种非同寻常的销售说辞。

它一边宣传产品有多重要，一边又让人们对销售者的判断力产生怀疑。

对做人工智能的公司来说，这还可能开启一场有益的讨论，谁应该被允许进入这个行业。

AI公司Anthropic的安全研究员埃文·胡宾格最近说，「AI可能杀死全人类！我个人认为未来十年内概率大于10%」。

这句话被广泛报道，也是漫长灭绝警告历史的一部分。

2023年，萨姆·奥尔特曼、达里奥·阿莫德伊和德米斯·哈萨比斯等人签署了人工智能安全中心的声明，呼吁像对待流行病和核战争一样，对AI带来的灭绝风险给予全球关注。

这份声明明确表达了他们的担忧，但没有量化概率，也没有规定监管制度。

最近，科里·多克托罗在《LLM是真实的，AI是虚假的》一文中抨击了这类警告的商业用途。

他认为，关于AI能力的可怕描述，帮助其开发者筹集了投资。

他直接讨论的主题是OpenAI和AI平台Hugging Face的黑客事件被描绘成机器获得了意图。

他把读者引向遏制和监管的失败，以及应承担责任的公司。

多克托罗在那篇文章里没有展开说，灭绝警告正被用来推动将小型竞争对手排除在外的监管。

这是一个独立的问题，值得审视，即使你不一定同意他对语言模型运作方式的描述。

一次破坏性的自动化攻击并不需要有意识的攻击者。

它的发生本身，并不能确立人类灭绝的可能性。

从灭绝风险到市场力量

政治机会在于主张的规模。

如果一项技术威胁到文明，普通的产品监管可能显得不够。

各国政府可能会想对技术开发采取特殊权力，并找领先实验室来出主意，怎么行使这些权力。

这些实验室随后就有机会影响竞争对手的运营条件。

他们的专业知识是需要的。

他们的商业利益同样值得关注。

要求在发布强大模型之前进行广泛测试的规则，可能是完全合理的。

但这仍然会给那些已经雇用了相关专家、拥有测试基础设施并有足够收入消化延迟的公司带来优势。

挑战者必须一边为追赶融资，一边建立这些能力。

同样的正式义务，可能带来截然不同的竞争负担。

有证据表明，确实有人对特殊监管感兴趣。

2023年5月，奥尔特曼、格雷格·布罗克曼和伊利亚·苏茨克维提议成立一个国际超级智能管理机构。

这个机构有点像国际原子能机构，有权检查系统、要求审计，并在能力或计算量超过某个阈值时限制部署。

还有一个重要的限定条件。

这个提案明确反对对低于该阈值的模型施加繁重的许可和审计要求，包括开源项目。

这种方法可能把成本集中在最大的开发者身上。

不能公平地说成是要求给每个初创企业发许可证。

很多事情取决于细节，比如阈值怎么定，独立评估者能不能质疑最大实验室的判断，新进入者有没有一条可行的审批途径。

这部分有点绕，但值得理清。

允许小公司存在的规则，仍然可能让它们很难成为真正的竞争对手。

这些都不能证明高管们为了维护自身业务而捏造了灭绝威胁。

一种真诚持有的恐惧，可能在商业上恰好有利。

公众在审视谁从拟议法律中受益之前，不必先证实恶意。

2024年，英国竞争与市场管理局警告，强大的科技公司可能按照自身利益塑造基础模型市场。

安全规则会在这些市场中运作，对竞争和风险都会产生影响。

AI会怎样影响增材制造？

对增材制造来说，联系始于对供应商的依赖。

一家围绕外部AI模型构建产品的增材制造软件企业，会继承其提供商的部分商业决策。

可行的模型供应商减少，可能会缩小它在价格、部署和接入方面的选择空间。

限制模型权重的分发，也可能影响那些希望在自己的设施内运行软件的制造商。

这些是特定政策可能带来的后果，而不是说每一条AI规则都会给增材制造带来负担。

一个专门的缺陷检测模型和一个前沿语言模型是不同的产品。

针对后者的监管，不会自动适用于前者。

更接近的类比发生在工厂车间。

在那里，证明安全性的成本，已经可能影响供应商的选择。

增材制造工艺不只是机器生产出正确的形状。

它的性能取决于材料、构建参数和后处理等因素。

改变其中一个元素，可能就会改变为证明成品适合预期用途所需的证据。

美国食品药品监督管理局2017年关于增材制造医疗器械的指南说明了这一点。

该指南建议评估变更引入的风险，并把软件更新、材料变更和更改构建安排列为可能触发重新验证的因素。

它还认可涉及不同供应商软件的工作流程。

这个工程问题在生成式AI之前就已经存在了。

所以，对于拥有成熟工艺的制造商来说，替代供应商的报价包含两个价格，一个是购买价格，一个是采用它的成本。

如果改进无法证明额外的测试和生产中断是合理的，那么更便宜的材料或更好的构建准备工具，可能就没有吸引力。

这种计算可能是完全理性的。

它并不能证明供应商已经俘获了监管者。

客户要求、行业标准和法律义务是不同的，即使它们产生类似的商业效果。

一位在改变植入物生产工艺前坚持要求证据的工程师，正是在做他的本职工作。

当AI进入构建过程

AI会让这种判断变得复杂。

设想一家开发商提出一种软件，通过金属构建过程中收集的图像来识别缺陷。

标记可疑区域以供进一步检查，需要一定程度的保证。

而使用模型输出来放行部件，则需要强得多的证据。

在一个数据集上成功演示，并不能回答关于不同生产条件下性能的所有问题。

开发商还需要制定更新策略。

新模型可能提高平均准确率，同时在对某种罕见缺陷上变得不太可靠。

客户应该能够评估这种变化，并在必要时保留已批准的版本。

既不自动接受，也不强制重复所有以前的测试，才是明智的默认做法。

成熟的设备供应商可能拥有组装证据所需的生产数据、机器访问权限和客户关系。

独立的软件公司可能需要获得许可才能获取这些数据。

在供应商同时销售竞争性软件的情况下，安全保证和商业排斥可能变得难以区分。

集成的确有其好处。

一家公司同时负责机器及其软件，可以在出问题时提供更清晰的责任界定。

但客户应该审视，这种便利是否以放弃对生产记录的实际访问权，或接受对竞争性工具的限制为代价。

如果更换供应商会让你失去解读过去构建记录的能力，那么这种依赖就获得了工程上的合理性。

标准能否保持市场开放？

替代方案不仅仅需要呼吁开放。

通用测试可以为小公司提供一种可信的方式来展示能力，而不必依赖其声誉。

美国国家标准与技术研究院的AM-Bench项目提供了公开可用的测量数据，研究人员可以用它来测试制造模拟，这说明了共享证据的价值。

基准测试不是生产资格认证，但它可以减少每个开发商必须重复的基础工作量。

因此，设计良好的保证机制可以促进竞争。

买家需要与失效后果相关联的要求、独立测试，以及在供应商更换时仍可用的记录。

制造商应该能够确定某项限制为何必要，以及什么证据可以允许替代方案。

小公司应该在应用需要时面对严格的安规测试，同时，它们也应该有公平的机会通过。

增材制造面临的危险在于，对生产过程的信心可能与对供应商的忠诚变得不可分割。

这种结果既不需要捏造的灭绝预测，也不需要供应商之间的阴谋。

它可以从个体对风险的合理决策中浮现，并被那些竞争效应未得到足够关注的规则所强化。

那些就人类未来发出警告的实验室，应该预料到人们会审视它们想要治理的市场。

考虑采用AI的制造商对自己的供应商有一个更直接的问题，一旦系统获批，更换你们需要付出什么代价？