0%

人工智能现已击败一些最优秀的人类预测者

AI首次击败人类顶级“预言家”:从预测大赛夺冠看AI的降维打击

9月5日,人类智力的又一块领地被人工智能攻占。在汇集了各路预测高手的 Metaculus杯 预测大赛中,AI首次夺得冠军 [1]。不仅如此,AI还包揽了第二名和第五名,人类选手仅获得第三和第四 [1]。

在这场大赛中,数百名参赛者需要对一系列复杂的现实问题进行预测,例如:某个欧美国家是否会限制数据中心的发展?某次病毒爆发会波及多少人?布伦特原油的价格走势如何?[1] 评分标准基于预测值与真实结果的接近程度及持续时间 [1]。

1. 惊人的变现能力:从35美元到194万美元

除了在比赛中夺冠,AI预测在真实的金融预测市场上也展现出了惊人的吸金能力:

  • FutureSearch 旗下的AI通过在Kalshi预测市场上对“市场出错”的事件进行套利,自6月以来使其10万美元的初始投资组合增值了6% [1]。
  • 另一款预测AI Preseen 的一位开发者,更是在7个月内将35美元变成了194万美元,创下了Kalshi交易平台上历史第六高的回报率 [1]。

2. AI预测员是如何炼成的?

传统的预测(如天气预报)依赖针对特定数据训练的专业模型 [1]。而Metaculus上的AI预测员则完全不同,它们基于驱动当前AI浪潮的大语言模型(LLM) [1]。

这意味着,这些AI像人类预测师一样阅读新闻、分析行业数据,但它们的速度更快、信息检索范围更广 [1]。更重要的是,它们能够清晰地阐明预测背后的逻辑链条,这极大提升了其预测的可信度 [1]。

研究表明,顶尖的人类“超级预测员”(Superforecasters)能提前300天准确预判事件,而普通人只能看清60天 [1]。然而,预测研究会(FRI)的最新分析指出,AI系统在各类演变中的预测问题上,已经达到了与人类“超级预测员”并肩的水平 [1]。

3. AI超越人类的“独门秘籍”

除了基础模型的迭代,初创公司和极客们还为AI配备了额外的辅助工具:

  • 多模型辩论(Debate):联合不同公司的LLM(如OpenAI和Anthropic),让它们针对同一个预测问题分工检索,并相互辩论以得出最优共识 [1]。
  • 打破付费墙:英国初创公司 Mantic 为AI接入了通常隐藏在付费墙背后的独家行业数据集 [1]。
  • 评估专家历史信用:Preseen 尝试对新闻评论员和专家的历史预测记录进行打分,从而筛选出最靠谱的信息源 [1]。
  • “记忆抹除”与完美回测:这是人类无法企及的优势 [1]。开发者可以随时抹去AI的记忆,给它一段历史数据的快照,重新运行预测流程 [1]。通过这种反复的“盲测”,AI能不断从错误中自我迭代 [1]。

值得一提的是,此次Metaculus杯的冠军并非来自融资千万的明星初创公司,而是由德克萨斯州的独立开发者 Jeffrey Liang 打造的AI夺得 [1]。他仅花费了不到150个小时和几千美元的算力与数据成本,就击败了四家累计融资超1500万美元的专业初创公司 [1]。

4. 人机边界与预测的极限

尽管AI来势汹汹,但人类在预测领域尚未完全出局:

  • 长期预测的优势:目前的预测大赛多以数月为限。在跨度达数年的长期预测上,人类的直觉和判断力依然更占优势 [1]。
  • 人机协同:许多专业预测师已经将AI作为辅助工具 [1]。人类擅长在真实世界中收集一手信息,而AI强大的处理能力则负责消化、整合这些海量输入 [1]。
  • 成本的降维打击:聘请人类超级预测团队进行一次预测可能需要上万美元并耗时一周;而AI(如FutureSearch)只需几美元和10分钟 [1]。

正如天气预报受限于大气混沌效应,在15天之外就会失去准确性一样,未来的事物总有一部分是不可预测的 [1]。随着AI预测能力的不断逼近极限,它或许最终会帮我们厘清:未来的命运中,究竟有多少是可以通过计算被预知的,又有多少是本质上无法预测的混沌 [1]。