|
|
https://huggingface.co/spaces/Kwai-Keye/Keye-VL-1_5-8B
一、能看懂视频，懂逻辑推理，胜任AI生成内容识别
首先，智东西用近日广受关注的AI生成内容识别任务来测试Keye-VL-1.5。随着《人工智能生成合成内容标识办法》，AI生成合成内容的审核管理工作量随之变大。
当智东西上传了一个实拍的熊猫视频，输入提示词：“这个视频是AI生成的吗？”。如下图所示，Keye-VL-1.5采用非思考模型，在几秒见即给出“不是”的正确答案。
我们增加难度，上传一个男士拿着猫罐头的视频，输入提示词：“这个视频是AI生成的吗？有没有广告推销？”如下图所示，这次Keye-VL-1.5自己选择了深度思考模式，经过近10秒钟的思考后，输出了正确答案：“是，该视频可能是AI生成的，并且有广告推销（猫粮）。”
接下来，我们上传了一个荷花池的风景视频，要求Keye-VL-1.5“根据视频创作一首七言绝句”，如下图所示，这对Keye-VL-1.5几乎没有难度，生成诗句：“夏日池塘荷叶绿，粉苞初放映晴天。蜻蜓点水惊飞蝶，清香浮动入诗篇。”诗句全面覆盖了视频中的景物，并且创作了了“蜻蜓点水惊飞蝶”全新意象，还联想到了“清香浮动”嗅觉感受，可见其兼具图像理解和逻辑推理能力，但在语言生成的精妙性方面仍有进步空间。
我们上传了关于两只猫相处的视频，要求Keye-VL-1.5“对这个视频进行剪辑，剪去两只猫停顿部分，保留动态部分，7秒左右”。但Keye-VL-1.5目前无法执行视频剪辑和生成的动作，而是给出了应该删去和保留哪些视频帧。
当我们上传了一个男孩和女孩走在校园跑道上的照片，输入提示词：“视频中出现了几个人？他们可能多大岁数，是什么关系？”，Keye-VL-1.5很快给出准确答案：“2个人，年龄约16-22岁，可能是情侣、好友或同学关系。”可见Keye-VL-1.5在逻辑推理上有一定的能力。
我们上传了一个关于女性宣言合集视频，问Keye-VL-1.5：“视频中出现了几个女孩？她们在谈论什么话题，有什么意义？”这次Keye-VL-1.5误把前两个黑色头发女孩识别为了同一个，且没有识别出音频，所以无法总结出话题主题。从思考过程可知，Keye-VL-1.5差一点成功确认视频中出现了三个女孩，但最终却因误以为第一、二个女孩为同一人，而没有得到正确答案。
根据Keye-VL-1.5自己的官方回复：“目前，我作为基于文本的AI模型，无法直接处理视频中的声音内容。我的能力主要集中在文本分析、图像描述和逻辑推理上。”
二、拿下同规模通用视觉-语言测试SOTA，能理解视频、看懂逻辑
看完实测，再来看看Keye-VL-1.5的基准测试情况。通过在公开基准上的评估和内部人工评估，Keye-VL-1.5相较于现有模型表现出显著的改进，尤其在视频理解任务中表现出色，同时在通用视觉-语言任务上也保持了较好性能。
在通用视觉-语言任务上，Keye-VL-1.5在大多数基准测试中展现出具有竞争力的性能，常常取得最先进（SOTA）或接近最先进的结果，总体上优于其他模型。
在大规模通用基准测试OpenCompass、MMMU-val、AI2D等测试中，Keye-VL-1.5分别获得79.5%、71.4%和86.7%的分数，超过了所有其他模型。
在MMBench和MMStar上，Keye-VL-1.5也取得了最佳性能。在数学推理任务中，Keye-VL-1.5显著优于Qwen2.5-VL 8B和InternVL3-8B，其结果与小米的MiMo-VL 7B-RL相当。
在以视频为中心的场景中，对视频内容的准确理解是Keye-VL-1.5的核心优势。在公开的视频基准测试中，Keye-VL-1.5显著优于其他模型，尤其是在Video-MMMU上，绝对提升了6.5%。
Keye-VL-1.5（思考模式）与Keye-VL-Preview及其他模型在多视觉-语言基准测试中的比较
由于公开基准任务覆盖有限、存在过于简单的问题形式、潜在数据污染风险等问题，快手还对Keye-VL-1.5进行了内部基准测试。
如下表所示，Keye-VL-1.5-8B以3.53的整体综合得分大幅领先，较Keye-VL-Preview显著提升了0.51。该模型在提供准确且全面的响应方面能力的增强，且响应与用户查询的匹配度有所改善。与MiMoVL-7B-RL-2508对比，Keye-VL-1.5-8B在综合性能上确立了0.13的优势，且在准确性方面表现尤为突出（+0.19）。虽然快手的模型在事实准确性上更胜一筹，但在语言生成的精妙性方面仍面临挑战。
Keye-VL-1.5-8B以3.53的整体综合得分大幅领先
详细的能力分析揭示了特定领域的优势和优化重点：下表中的细粒度评估显示，Keye-VL-1.5-8B在推理能力（3.81）、时间信息理解（3.36）和稳健性（4.29）方面具有显著优势；在视觉元素识别（3.49）和创造能力（3.66）上与MiMoVL-7B-RL-2508相当。
Keye-VL-1.5-8B详细的能力分析
三、三项关键创新，破解视频理解挑战
近年来，多模态大语言模型加速发展，然而由于视频具有动态性和信息密集性的特点，视频理解仍然是一个具有挑战性的领域。
现有模型在处理视频内容时，难以在空间分辨率和时间覆盖范围之间取得平衡。现有方法通常在固定分辨率约束下采用均匀帧采样，这在内容理解需要细粒度视觉细节和时间一致性时，会导致性能欠佳。
为了解决这些局限性，快手推出了拥有80亿参数的多模态基础模型Keye-VL-1.5，它通过三项关键创新解决了视频理解中的基本挑战：
1、高效多模态处理的架构创新：慢-快视频编码策略，解决时空权衡问题
首先，快手引入了一种新颖的慢-快视频编码策略，该策略基于帧间相似度动态分配计算资源，对具有显著视觉变化的关键帧采用更高分辨率处理（慢速路径），而对相对静态的帧则以更低分辨率增加时间覆盖范围（快速路径）。
这种由基于补丁的相似度函数引导的自适应方法，有效地解决了空间细节和时间广度之间的权衡问题。
Keye-VL-1.5的慢-快视频编码策略演示
2、渐进式预训练策略：四个精心设计阶段，确保训练稳定性
其次，快手实施了一种渐进式的四阶段预训练方法，逐步构建多模态能力。
从跨模态对齐和多任务学习开始，在退火阶段，我们系统地将模型的上下文长度从8K扩展到128K tokens，使其能够处理更长的视频和更复杂的视觉内容。
这种渐进式方法确保了训练的稳定性，同时最大限度地利用扩展的上下文窗口来增强视频理解能力。最后的模型融合阶段将使用不同数据混合训练的模型结合起来，以提高稳健性并减少偏差。
Keye-VL-1.5的四层渐进式预训练流程
3、全面的训练后方法：三个组件，推理增强和人类偏好对齐
第三，他们开发了一个全面的训练后pipeline，专注于推理增强和人类偏好对齐。他们开发了一个包含三个关键组件的综合流程。
首先，他们设计了一个五步思维链推理数据构建流程，以生成高质量的冷启动数据；其次，采用GSPO算法进行可验证的基于奖励的强化学习训练。这包括渐进式提示采样，以处理困难样本；最后，进行对齐强化学习训练，以增强指令遵循、响应格式和偏好对齐能力。
这种系统化方法确保Keye-VL-1.5在基准测试中取得优异性能，同时提供符合人类期望和偏好的响应。
四、基于谷歌、阿里开源模型训练，克服基础设施三大挑战
快手Keye-VL-1.5模型架构基于Qwen3-8B语言模型，遵循经典的多模态大语言模型架构，包含三个关键组件：视觉Transformer（ViT）、多层感知机（MLP）投影器和语言解码器。
Keye-VL-1.5的模型架构
在ViT组件方面，快手采用谷歌开源的SigLIP-400M-384-14作为视觉编码器来提取视觉信息。在大语言模型（LLM）组件方面，他们使用阿里的Qwen3-8B作为语言解码器，以提供通用的世界语义知识理解能力。对于投影器，他们随机初始化其参数，并在第一阶段对其进行充分的预训练。
在模型预训练阶段，快手团队在数据构建流程中，组建了一个多样化、高质量的语料库，包含超过1万亿个标记，用于支持模型训练，其来源既有公共数据集，也有内部专有数据。
训练数据涵盖六大主要类别：图像描述、光学字符识别与视觉问答、目标定位与计数、交错数据、视频理解以及纯文本数据。团队针对每个数据类别的特点设计了定制化的过滤机制，以确保整体数据质量。
为了高效训练多模态大语言模型，快手团队进行了深入的基础设施优化，以解决三大主要挑战：架构异构性、负载不均衡和输入/输出瓶颈。
1、异构混合并行策略：对于计算模式相对固定的ViT组件，仅采用数据并行（DP）以最大化吞吐量；而对于参数和内存消耗极大的LLM，则采用结合流水线并行（PP）、张量并行（TP）和数据并行（DP）的混合并行策略。这种精细化策略是实现Keye-VL-1.5的128K超长序列训练的关键技术前提。
2、动态负载均衡机制：预先估计每个样本的时间复杂度，然后使用贪心算法在不同GPU之间分配样本，从而平衡所有GPU的总步骤时长，提高整体硬件利用率。
3、灵活且可扩展的数据加载器：设计了一种灵活且可扩展的数据加载器，它能深度感知并行训练的拓扑结构；实施了一种I/O服务器架构，将视频解码等CPU密集型任务从训练节点卸载出去，有效解决了复杂媒体处理带来的CPU瓶颈问题；实现了实例级的完美恢复机制，确保任务在中断后能够从最后一个成功处理的样本无缝恢复，显著提高了大规模训练的稳定性和效率。
结语：AI加速读懂视频，或重塑视频行业交互与商业化
在本研究中，快手提出的Keye-VL-1.5显著提升了视频理解和视觉-语言任务的性能。该模型高效地平衡了时间覆盖范围和空间分辨率，且能够处理更长的视频和复杂的视觉内容，且提升了指令遵循能力和推理能力。
当AI能够真正理解视频的细节与语义，视频行业的推荐、创作、互动和商业化都将被重塑。Keye-VL-1.5仍处于初步阶段，在音频理解、多模态内容生成、逻辑推理等方面仍存在一些不足。但基于短视频平台的海量数据储备，该模型有望在之后快速迭代。 |
|
发表于 
