Agent领导力大考!Einsia AI发布WorkflowArena,行业首个多智能体编排基准
FIELD
NOTE

ARTICLE DETAIL

行业资讯

从事实、趋势与实践出发,为您梳理文章中的关键信息,帮助读者更高效地理解内容重点。

ORIGINAL REPORT

Agent领导力大考!Einsia AI发布WorkflowArena,行业首个多智能体编排基准

JINNIANHUI(金年会)赛事快讯中心-赛程比分与球队动态编辑部
640 阅读
约 5.5 分钟

机器之心发布 智能体正从单打独斗走向多智能体协同。 如今的 Claude Code、Codex 等框架,已经允许模型在运行时自己拉起子智能体,甚至直接写出调度它们的可执行工作流:任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构,正在交给模型自己临场决定。 这意味着,多智能体编排本身成了一项关键能力。同样一批智能体,组织得好可以事半功倍,组织得不好则会互相拖累。但现有评测要么只看任务最终有没有完成,要么在设计者预先规定好的协作结构里测试,始终没有回答一个问题: 「面对真实的长程任务,大模型能不能自己把多智能体系统组织好?」 为此,Einsia AI 旗下 Navers Lab 发布WorkflowArena,专门评测大模型的多智能体编排能力。基准包含145 项长程任务,覆盖软件工程、企业运营、科学研究、数学推导、金融、法律、内容设计与 3D 制作8 大专业领域,对9 个主流前沿模型的 25 种推理配置进行了全面评测。 WorkflowArena 的 145 项任务分布在 8 大领域、17 种任务形态 论文题目:WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems 项目主页:https://lab.einsia.ai/workflowarena GitHub:https://github.com/Einsia/WorkflowArena Arxiv:https://arxiv.org/pdf/2611.12856 不规定怎么分工,只看最终交付 WorkflowArena 的每道题,都是一份真实的专业交付:修改一个开源代码库、复现一项科学结果、完成一套 Lean 形式化证明、编制一份多主体合并报表、分析一起多被告案件,或在 Blender 里搭出一座完整的建筑群。 这些交付物的共同点是,各部分环环相扣:代码改动要通过原有的回归测试,财务数据要在不同主体之间对得上,法律结论要在多份文书间保持一致,3D 场景的各个部件要拼得严丝合缝。每一块单独做对还不够,整合在一起才算数。 能拆、但拆完必须对齐,正是编排能力的用武之地:比如合同组合分析,每份合同可以分头审,但合同之间的冲突必须合起来才看得出。 WorkflowArena 构建流程:真实素材 → 筛选「可拆分但相互耦合」的工作 → 只规定目标、不规定工作流 → 校验结果与整合。 评测中,模型拿到的是一个空白的「指挥台」: 怎么编排,模型自己定。它可以自己动手,也可以通过 Workflow 工具同时调度多个子智能体,并随时查看、终止、修改工作流。要不要分工、怎么分工,完全由模型决定。每个子智能体该知道什么,也由它来交代。 编排也要花时间。主智能体和所有子智能体共享推理预算,规划、调度、返工都算在里面。 判题隐藏,过程留痕。模型看不到判题器和标准答案,评分只看交付结果,与用了多少子智能体无关;同时,每一次调度都被完整记录下来。 这样一来,WorkflowArena 不仅能看到「做得怎么样」,还能看到「是怎么组织起来做的」。 最强系统也只解决 36.95%,没有全能选手 WorkflowArena 采用严格的完全解决率:只有交付物满足全部验收标准,才算真正解决。各部分都做对、却没整合好的提交,同样判为失败。 25 种配置在 8 大领域的完全解决率(%),按总体结果排序。 榜首是Claude Opus 5.5(max),平均完全解决率36.95%。换句话说,即便是当前最强的系统,也有六成以上的任务没能完整交付。 领域之间的差距更加悬殊。形式化数学已接近饱和,Claude Opus 5.5 解决了95.83%;但软件工程最高只有 29.41%,金融最高 18.75%,法律最高仅9.09%。 而且,没有一个系统能通吃全部领域:Claude Opus 5.5 领跑软件工程、科学与数学,Claude Sonnet 5.5 拿下法律和内容设计,GPT-6 Astra 与 Doubao-Seed-Evolving 则拿下企业运营的并列第一。 Claude 与 GPT:两种截然不同的编排风格 由于每一次调度都被记录在案,WorkflowArena 把不同模型「怎么组织多智能体」摆在了同一张图上。 每道题平均调用 Workflow 的次数(左)与每个 Workflow 平均调度的子智能体数(右)。 结果显示出两种鲜明的风格: Claude 系「谋定后动」:调用少,规模大。Claude Opus 5.5 和 Claude Sonnet 5.5 平均每题只调用 0.86 和 0.76 次 Workflow,但每次平均调度

about image
分享这篇内容

让更多人看到有价值的信息

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

继续浏览平台精选内容,发现更多行业观察。

TRENDING NOW

热点内容

从正在发生的行业事件到读者关注的热门话题,我们将值得关注的内容集中呈现,方便您快速了解当前讨论焦点。

查看全部资讯
北大包丽案,男友嫌她不是处女,虐她致死6年后,又迎来新进展

HOT / 1

北大包丽案,男友嫌她不是处女,虐她致死6年后,又迎来新进展

10月23日报道,相信大家还记得北大自杀的女学生包丽,她因为不是处女,被男友各种嫌弃,虐待,最终导致她吃药自杀身亡。 她死于2020年,如今2026年事情又有了新进展。记者从最高人民法院获悉,该案件被当作经典虐待判决案例, 入选了第三批人民陪审员参审典型案例。 这个案件的判决,还是有借鉴意义的。 包丽的北大男友,也就是虐死他这个叫牟林翰的人,在2023年被判了有期徒刑三年两个月,赔偿被害人损失共计

“存款特种兵”最爱的异地存款,没那么好办了

HOT / 2

“存款特种兵”最爱的异地存款,没那么好办了

“ 钱不会因为跨了省,就自动变得不安全,但银行通过线上渠道吸收资金的规模和速度,需要与它的经营和抗风险能力相匹配。” 文 /巴九灵(微信公众号:吴晓波频道) 存银行也有“地域歧视”了? 存定期时,许多人关心的是利率高不高、期限合不合适、提前取出来会不会损失利息。至于银行在哪里,未必特别在意——毕竟,打开手机就能存,隔着一条街,还是隔着几个省,好像也没什么区别。 可最近,一些储户发现,还真有区别。

梅努:在老特拉福德一切皆有可能,我们愿意为球迷拼尽全力

HOT / 3

梅努:在老特拉福德一切皆有可能,我们愿意为球迷拼尽全力

直播吧11月4日讯 本轮欧冠,曼联3-2逆转罗马,梅努接受了亚马逊的采访。 他说:“这简直不可思议,这正是这座球场、这家俱乐部以及这群球迷的魔力所在——在0-2落后的情况下实现大逆转。虽然你可能没预料到,但你知道在这样一个地方,一切皆有可能。” 谈半场休息时教练组的布置 “我们需要被打醒一下。我们之前踢得有些被动,当失去球权时,大家的反应速度没能达到应有的水平。主帅向我们反复强调,必须更有主动性,

曼联逆转背后:幸运内衣成焦点,斯凯承诺脱球衣

HOT / 4

曼联逆转背后:幸运内衣成焦点,斯凯承诺脱球衣

本文策略选择: 切入物:反常识判断 网络亚文化现象观察。 情绪基调:略带荒诞感的困惑与温和的审视,不批判,也不盲目认同,保持一种“吃瓜”时的清醒。 核心矛盾:严肃的竞技体育荣誉与市井迷信/流量狂欢之间的错位。 个人化判断:这种“幸运内衣”的叙事,其实是球迷在绝望后的一种自我解压仪式,也是社交媒体时代的一种低门槛参与方式。 开头方式:直接从那个荒诞的“感谢谁”的视频截画面切入。 结尾方式:停留在一个

日本将于年底修订的国家防卫战略中明确提出“续战能力”

HOT / 5

日本将于年底修订的国家防卫战略中明确提出“续战能力”

近日,日本防卫大臣小泉进次郎公开表示,日本政府计划在今年12月修订的《国家防卫战略》中,正式、明确地写入提高自卫队“续战能力”(持续作战能力)的内容。这一动向迅速引发了国际社会的广泛关注。将“续战能力”这一具有高度实战对抗色彩的词汇首次提升至国家战略高度,暴露了日本政坛在面对地缘政治变局时极度焦虑的真实心态。 然而,要增强“续战能力”,一要钱,二要人。但目前看,日本在这两方面都面临困难。中国民间这