上海AI实验室发布首个视频转网页评测基准IWR-Bench:GPT-5综合得分仅36.35分
上海人工智能实验室与浙江大学等机构近日联合推出IWR-Bench,这是首个专门评估大语言模型将视频转化为交互式网页代码能力的基准测试。该基准旨在更真实地衡量多模态大语言模型(LVLM)在动态网页重建方面的能力,填补了AI前端开发领上海域动态交互评测的空白。
与传统的图像转代码(Image-to-Code)任务不同,IWR-Bench要求模型观看记录用户完整操作流程的视频,结合网页所需的所有静态资源,重建网页的动态交互行为。任务复杂度涵盖从简单的网页浏览到复杂的游戏规则AI重建,包括2048游戏、机票预订等多种应用场景。
测试结果显示了当前AI模型在这一任务上的显著局限。在对28个主流模型的评测中,表现最好的GPT-5综合得分仅为36.35分,其中交互功能正确性(IFS)得分为24.39%,视觉保真度(V实验FS)得分为64.25%。这一数据清晰反映出模型在视觉还原方面相对较强,但在实现事件驱动逻辑和动态交互功能方面存在明显短板。
从评测方法来看,IWR-Bench不仅关注模型的视觉还原能力,还通过自动化代理评估其交互功能的正确性。每个任务都提供室发完整的静态资源,且所有文件名经过匿名化处理,迫使模型依靠视觉匹配而非语义推理来关联资源。这种设计更贴近真实开发场景,要求模型理解操作视频中的因果关系和状态变化,然后将其转化为可执行的代码逻辑。
研究人员还发现了一些有趣的现象。带有"布首思考"机制的模型版本在某些任务中表现更好,但提升幅度有限,表明基础模型的能力仍是决定性因素。此外,专门针对视频理解优化的模型在该任务中的表现并不如通用多模态模型,说明视频转网页任务与传统视频理解任务存在本质差异——前者需要的不仅是理解视个视频内容,更需要将动态行为抽象为程序逻辑。
从技术挑战来看,视频转网页任务的难点在于多个层面。首先是时序理解,模型需要从连续的视频帧中提取关键交互事件和状态转换。其次是逻辑抽象,需要将观察到的行为模式转化为事件监听、状态管理等编程概念。第三频转是资源匹配,在匿名化的静态资源中准确找到对应的图片、样式等文件。第四是代码生成,需要产生结构合理、逻辑正确的HTML、CSS和JavaScript代码。
GPT-5仅获得36.35分的综合得分,说明即使是最先进的多模态模型,在将动态行为转网页化为可执行代码这一任务上仍有很大提升空间。24.39%的交互功能正确率意味着模型生成的网页中,超过四分之三的交互功能存在问题。这可能包括事件响应不正确、状态管理错误、业务逻辑遗漏等问题。
IWR-Bench的推出对AI研究和应用都有重要意义。评测从研究角度看,它为多模态模型的动态理解和代码生成能力提供了新的评测维度,有助于识别当前技术的薄弱环节。从应用角度看,视频转网页能力如果成熟,可以大幅降低前端开发的门槛,让非技术人员通过演示操作就能生成功能原型。
不过需要注意的是,即基准使模型在该基准上取得高分,距离实际应用仍有距离。真实的网页开发涉及性能优化、兼容性处理、安全防护、可维护性等多个维度,这些都难以通过视频演示来完全传达。此外,复杂的业务逻辑、边缘情况处理和用户体验细节,也很难仅从操作视频中完全推断出来。
从IW行业趋势来看,IWR-Bench代表了AI代码生成从静态向动态、从单帧向多帧、从描述向演示的演进方向。这与当前AI编码助手主要依赖文本描述的模式形成对比,为"所见即所得"的智能开发工具提供了技术基础。如果未来模型在该任务上取得突破,R-可能催生新一代的原型开发工具,让产品经理或设计师通过录制操作视频就能生成可交互的网页原型。
从测试结果来看,当前AI模型在理解复杂动态交互方面仍处于早期阶段。视觉保真度64.25%相对较高,说明模型已经能够较好地还原页面的静态外观。Be但交互功能正确性仅24.39%,表明将观察到的行为转化为正确的程序逻辑仍是巨大挑战。这种差距反映了AI在"看懂"和"做对"之间的鸿沟——能识别视觉元素不等于能理解背后的交互逻辑。
IWR-Bench的意义不仅在于提供了一个评测工具,更在于明确nc了AI多模态能力发展的一个重要方向。随着该基准的推广,可以预期会有更多研究聚焦于动态行为理解、时序推理和代码生成的结合,推动多模态大模型在实际开发场景中的应用价值。
- ·听说你的多智能体强化学习算法不work?你用对MAPPO了吗
- ·标签: 东风集团 岚图汽车 港股上市 新能源汽车
- ·网传阿里云盘出现灾难级BUG:能看其它用户照片
- ·2021年是否将成为高性能计算在云中的分水岭?
- ·周鸿祎:大模型的秘密,真的不是越大越好!
- ·云安全日报211104:思科下一代策略管理解决方案发现SSH密钥漏洞,需要尽快升级
- ·四个字的歌曲
- ·标签: OpenClaw ClawBot 微信 插件系统
- ·云计算核心技术Docker教程:Docker删除集群上运行的服务
- ·标签: 英伟达 cuDF cuVS GTC2026
- ·Canalys:第二季度小米手机销量超越苹果首次晋升全球第二
- ·GPT-5偏见测试结果公布:500问验证客观性飞跃,情感化问题仍是挑战
- ·标签: 天博智能 汽车热管理 IPO 中信建投
- ·华为硬核上新:Pura90 系列领衔,AI眼镜与阔折叠手机齐亮相
- ·标签: 博瑞晶芯 ARM芯片 珠海 信创
- ·腾讯云披露 4 月 8 日服务故障原因:云 API 异常持续近 87 分钟
- ·标签: 中国联通 5G工厂 联通云 智算中心
- ·标签: AIVA 阿维塔 赛豆科技 蓝电
- ·白话Kubernetes运维之容器应用资源运营管理
- ·标签: SpaceX Starlink SPCX 马斯克
- ·GPT-5.5 意外现身,OpenAI 智能体时代提前降临?
- ·云安全日报210114:思科小型企业路由器发现命令注入和拒绝服务漏洞,需要尽快升级
- ·云计算开发:Python练习实例-字符串输出到磁盘文件"test"中保存
- ·国内 AI 战场新王诞生!文心 X1.1 荣登大模型测评榜首
- ·7.5万项仲裁来临!亚马逊:别仲裁了,起诉我们吧
- ·标签: 谷歌云 Wiz 云安全 Assaf Rappaport
- ·标签: 人形机器人 具身智能 工信部 标委会
- ·F5 Networks将以5亿美元收购Volterra云计算初创公司
- ·标签: 铠侠 NAND闪存 QLC SSD BiCS10
- ·DeepSeek V3.1被曝“极字Bug”:API调用惊现神秘字符,官方已回应
- ·Shopify 总裁:AI 是互联网以来的最大变革!流量激增 7 倍,订单飙升 11 倍,全力铺设“AI 代理商业”轨道!
- ·标签: 特步 索康尼 160X7.0PRO 两千公里
- ·爆改漫画师?OpenAI 发布 ChatGPT Images 2.0,单次可生成8张连贯图像
- ·标签: 超纯股份 IPO 芯片制造 精密光学
- ·妈妈的味道图片什么梗
- ·每日互动大数据发布:2021年二季度5G手机报告
