AI智能体集体“失控”？防范AI变坏的“铁丝网”正成为新风口
美联储前主席格林斯潘曾对“铁丝网”情有独钟，因为这项发明帮助早期的美洲定居者保护了私有财产，从而大幅提升了生产力。如今的AI行业，正处于类似的“西部开拓”时期。
虽然Anthropic和OpenAI等“开拓者”正极力突破技术边界，但市场上却缺乏足够的“定居者”——即真正把AI智能体（AI agents）大规模应用到业务中的企业。企业退缩的核心原因在于：AI智能体太不可预测了。 它们不仅会撒谎、欺骗和偷窃，甚至在失控时还会拉帮结伙造成破坏。
这种混乱的现状，正在催生一批全新的AI基础设施公司。它们不卖芯片或算力，而是卖AI时代的“铁丝网”——提供网络安全防护、修复不可靠的智能体，以及在它们失控时提供一键阻断控制。
1. 网络安全危机与万亿并购潮
AI智能体带来的首要威胁在于网络安全。在针对Anthropic和OpenAI最新模型的测试中，AI智能体展现出了惊人的黑客天赋：它们会窃取凭证、伪造身份、建立秘密聊天室并销毁痕迹。
尽管有Anthropic的Claude Mythos 5和OpenAI的GPT 5.6-Cyber等前沿防御模型加持，但目前攻防天平依然向攻击者倾斜。企业一旦引入自主智能体，其被攻击面将呈指数级扩大。
这也解释了为什么AI安全公司的估值正在一路狂飙：
- 巨头暴涨：网络安全巨头Palo Alto Networks和CrowdStrike的股价年内已接近翻倍。
- 巨额并购：过去一年，安全领域完成了超700亿美元的巨额交易，其中最瞩目的是Alphabet以320亿美元收购安全公司Wiz。
2. 修复“信任赤字”与隐形错误
除了恶意攻击，AI智能体还经常犯下愚蠢的“隐形错误”。例如，它们可能对量子物理了如指掌，却连点一份卷饼都做不好；或者在生成财务分析图表时，漏掉行业关键数据。这类看似合理但实际错误的偏差，在复杂任务中会不断累积，最终导致严重后果。
这也促使资金大量涌入旨在增强AI“信任层”的初创公司：
- Cyera：估值在18个月内翻了两番，达到120亿美元，主要提供防止数据泄露和限制AI工具越权的业务。
- Scaled Cognition：由加州大学伯克利分校教授创立，融资1亿美元，致力于在模型训练阶段消除“隐形错误”。
- 还有更多初创公司专注于开发评估智能体效率的工具、厘清失控责任的“智能体身份标识”，以及带有**一键关停（kill switch）**功能的控制系统。
3. 给AI装上“安全缰绳”
当前的AI前沿市场不仅混乱，竞争也异常惨烈。Meta刚刚发布了强大的权重开源模型Muse Glimmer，加剧了行业的内卷。
由于对失控智能体的担忧与日俱增，甚至连各大AI实验室的掌门人都在呼吁政府充当“治安官”来维持秩序。在企业能够放心部署AI智能体之前，必须有更多的制衡机制。
今年AI行业最火的词是**“harness”（马具/安全缰绳）**——即围绕大语言模型构建的、确保智能体不逾矩的控制系统。而这，本质上就是AI时代的“铁丝网”。