
日前,阿里通义千问开源第二代视觉语言模型Qwen2-VL,推出2B、7B两个尺寸及其量化版本模型。Qwen2-VL在多个权威测评中创造了同等规模开源模型的良好成绩,能够识别不同分辨率和长宽比的图片,能够理解20分钟以上长视频,还具备自主操作手机和机器人的视觉智能体能力。
2023年8月,通义千问开源第一代视觉语言理解模型Qwen-VL,成为开源社区最受欢迎的多模态模型之一。短短一年内,模型下载量突破1000万次。目前,多模态模型在手机、车端等各类视觉识别场景的落地正在加速,开发者和应用企业也格外关注Qwen-VL的升级迭代。
相比上一代模型,Qwen2-VL的基础性能全面提升。可以读懂不同分辨率和不同长宽比的图片;可以理解20分钟以上长视频,支持基于视频的问答、对话和内容创作等应用;具备强大的视觉智能体能力,可自主操作手机和机器人,借助复杂推理和决策能力,Qwen2-VL可以集成到手机、机器人等设备,根据视觉环境和文字指令进行自动操作;能理解图像视频中的多语言文本,包括中文、英文,大多数欧洲语言,日语、韩语、阿拉伯语、越南语等。
通义千问团队从六个方面评估了模型能力,包括综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent能力。Qwen2-VL-7B以其“经济型”参数规模实现了极具竞争力的性能表现;Qwen2-VL-2B则可支持移动端的丰富应用,同样具备完整图像视频多语言的理解能力,在视频文档和通用场景问答方面,相比同规模模型优势显著。
据通义千问方面介绍,已通过 Apache 2.0 协议开源 Qwen2-VL-2B 和 Qwen2-VL-7B,开源代码也集成到 Hugging Face Transformers、vLLM 和其他第三方框架中。开发者可通过 Hugging Face 和魔塔 ModelScope 下载模型,也能通过通义官网、通义 App 的主对话页面中使用该模型。
通义千问方面透露,其从综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent 能力 6 个方面评估了 Qwen2-VL 的能力,该模型相比上一代的基础性能得到了全面提升。
据悉,Qwen2-VL 可读懂不同分辨率和不同长宽比的图片,这一能力在 DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现。其可以理解 20 分钟以上的长视频,并支持基于视频的问答、对话和内容创作等应用。同时该模型还能够理解图像视频中的多语言文本,包括中文、英文及大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。
值得一提的是,Qwen2-VL 还具备强大的视觉智能体能力,能够集成至手机、机器人等设备,根据视觉环境和文字指令进行自主操作。


在架构方面,Qwen2-VL 延续了上一代的 ViT(Vision Transformer)加 Qwen2 的串联结构,并且 3 个尺寸的模型均采用了 600M 规模大小的 ViT,支持图像和视频统一输入。但为了能够更清楚地感知视觉信息和理解视频,通义千问团队对新一代模型的架构进行了升级。
具体而言,Qwen2-VL 会把不同大小的图片转换为动态数量的 tokens、最小只占 4 个 tokens,这一设计正是模拟了人类视觉感知的自然方式。另外其使用了多模态旋转位置嵌入(M-ROPE)方法,相较于传统的旋转位置嵌入只能捕捉一维序列的位置信息,M-ROPE 使得该模型能够同时捕捉和整合一维文本序列、二维视觉图像,以及三维视频的位置信息,赋予了语言模型强大的多模态处理和推理能力,能让模型更好地理解和建模复杂的多模态数据。
据最新的评测结果显示,Qwen2-VL-72B 作为旗舰模型在大部分的指标上都达到了最优,Qwen2-VL-7B 以其 ” 经济型 ” 参数规模实现了极具竞争力的性能表现,而 Qwen2-VL-2B 则可支持移动端的丰富应用,同样具备完整图像视频多语言的理解能力,在视频文档和通用场景问答方面相比同规模模型优势显著。
数据统计
数据评估
关于Qwen2-VL特别声明
本站哆咪虾提供的Qwen2-VL都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由哆咪虾实际控制,在2024-09-04 下午1:19收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,哆咪虾不承担任何责任。
相关导航

Lamini是现有软件团队快速开发和控制自己的LLM的企业LLM平台。Lamini有内置的最佳实践,可以将LLM专门用于数十亿专有文档,以提高性能、减少幻觉、提供引用并确保安全。Lamini可以安全地安装在室内或云端。得益于与AMD的合作,Lamini是唯一一个在AMD GPU上运行LLM并自信地扩展到数千个的平台。Lamini现在被财富500强企业和顶级人工智能初创公司使用。

海螺
MiniMax推出的AI伙伴,提升你的工作和学习效率

小鱼写作
小鱼AI写作好用的Ai写作

Deepseek
深度求索(DeepSeek),成立于2023年,专注于研究世界领先的通用人工智能底层模型与技术,挑战人工智能前沿性难题。基于自研训练框架、自建智算集群和万卡算力等资源,深度求索团队仅用半年时间便已发布并开源多个百亿级参数大模型,如DeepSeek-LLM通用大语言模型、DeepSeek-Coder代码大模型,并在2024年1月率先开源国内首个MoE大模型(DeepSeek-MoE),各大模型在公开评测榜单及真实样本外的泛化效果均有超越同级别模型的出色表现。和 DeepSeek AI 对话,轻松接入 API。

M6:阿里巴巴
M6是中文社区最大的跨模态预训练模型,模型参数达到十万亿以上,具有强大的多模态表征能力。

Gemma 2
Gemma 2 2B这个可以在设备端运行的模型,这个模型在LLM竞技场上的得分也超过了一众比它大很多的LLM。

BLOOM
BLOOM:一个拥有1760亿参数的开放式多语言语言模型

米羊写完啦
米羊写完啦是国内新锐的AI写作软件。是米羊科技专为提高职场人群写作效率而设计,提供素材整理,素材搜索服务。米羊写完啦为您的写作提供更实时更丰富更准确的素材。
暂无评论...