文心一言
百度推出的知识增强型对话语言模型，千亿级参数量，在知识问答、创意生成等任务上表现出色。
DeepSeek-V3 的综合能力
DeepSeek-V3 在推理速度上相较历史模型有了大幅提升。
在目前大模型主流榜单中，DeepSeek-V3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。
| Benchmark (Metric) | DeepSeek V3 | DeepSeek V2.5 | Qwen2.5 | Llama3.1 | Claude-3.5 | GPT-4o | |
|---|---|---|---|---|---|---|---|
| 0905 | 72B-Inst | 405B-Inst | Sonnet-1022 | 0513 | |||
| Architecture | MoE | MoE | Dense | Dense | – | – | |
| # Activated Params | 37B | 21B | 72B | 405B | – | – | |
| # Total Params | 671B | 236B | 72B | 405B | – | – | |
| English | MMLU (EM) | 88.5 | 80.6 | 85.3 | 88.6 | 88.3 | 87.2 |
| MMLU-Redux (EM) | 89.1 | 80.3 | 85.6 | 86.2 | 88.9 | 88.0 | |
| MMLU-Pro (EM) | 75.9 | 66.2 | 71.6 | 73.3 | 78.0 | 72.6 | |
| DROP (3-shot F1) | 91.6 | 87.8 | 76.7 | 88.7 | 88.3 | 83.7 | |
| IF-Eval (Prompt Strict) | 86.1 | 80.6 | 84.1 | 86.0 | 86.5 | 84.3 | |
| GPQA-Diamond (Pass@1) | 59.1 | 41.3 | 49.0 | 51.1 | 65.0 | 49.9 | |
| SimpleQA (Correct) | 24.9 | 10.2 | 9.1 | 17.1 | 28.4 | 38.2 | |
| FRAMES (Acc.) | 73.3 | 65.4 | 69.8 | 70.0 | 72.5 | 80.5 | |
| LongBench v2 (Acc.) | 48.7 | 35.4 | 39.4 | 36.1 | 41.0 | 48.1 | |
| Code | HumanEval-Mul (Pass@1) | 82.6 | 77.4 | 77.3 | 77.2 | 81.7 | 80.5 |
| LiveCodeBench (Pass@1-COT) | 40.5 | 29.2 | 31.1 | 28.4 | 36.3 | 33.4 | |
| LiveCodeBench (Pass@1) | 37.6 | 28.4 | 28.7 | 30.1 | 32.8 | 34.2 | |
| Codeforces (Percentile) | 51.6 | 35.6 | 24.8 | 25.3 | 20.3 | 23.6 | |
| SWE Verified (Resolved) | 42.0 | 22.6 | 23.8 | 24.5 | 50.8 | 38.8 | |
| Aider-Edit (Acc.) | 79.7 | 71.6 | 65.4 | 63.9 | 84.2 | 72.9 | |
| Aider-Polyglot (Acc.) | 49.6 | 18.2 | 7.6 | 5.8 | 45.3 | 16.0 | |
| Math | AIME 2024 (Pass@1) | 39.2 | 16.7 | 23.3 | 23.3 | 16.0 | 9.3 |
| MATH-500 (EM) | 90.2 | 74.7 | 80.0 | 73.8 | 78.3 | 74.6 | |
| CNMO 2024 (Pass@1) | 43.2 | 10.8 | 15.9 | 6.8 | 13.1 | 10.8 | |
| Chinese | CLUEWSC (EM) | 90.9 | 90.4 | 91.4 | 84.7 | 85.4 | 87.9 |
| C-Eval (EM) | 86.5 | 79.5 | 86.1 | 61.5 | 76.7 | 76.0 | |
| C-SimpleQA (Correct) | 64.1 | 54.1 | 48.4 | 50.4 | 51.3 | 59.3 |
性能对齐海外领军闭源模型
论文链接：
- 百科知识：DeepSeek-V3 在知识类任务（MMLU, MMLU-Pro, GPQA, SimpleQA）上的水平相比前代 DeepSeek-V2.5 显著提升，接近当前表现最好的模型 Claude-3.5-Sonnet-1022。
- 长文本：长文本测评方面，在DROP、FRAMES 和 LongBench v2 上，DeepSeek-V3 平均表现超越其他模型。
- 代码：DeepSeek-V3 在算法类代码场景（Codeforces），远远领先于市面上已有的全部非 o1 类模型，并在工程类代码场景（SWE-Bench Verified）逼近 Claude-3.5-Sonnet-1022。
- 数学：在美国数学竞赛（AIME 2024, MATH）和全国高中数学联赛（CNMO 2024）上，DeepSeek-V3 大幅超过了所有开源闭源模型。
-
中文能力：DeepSeek-V3 与 Qwen2.5-72B 在教育类测评 C-Eval 和代词消歧等评测集上表现相近，但在事实知识 C-SimpleQA 上更为领先。
生成速度提升至 3 倍
数据统计
数据评估
关于Deepseek特别声明
本站哆咪虾提供的Deepseek都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由哆咪虾实际控制，在2024-12-30 上午11:04收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，哆咪虾不承担任何责任。
相关导航
云雀大模型
云雀大模型不仅是一个技术平台，更是一个创作平台。基于云雀大模型，字节跳动推出了多款智能创作的产品和服务，为用户提供了更多的可能性和便利。
M6：阿里巴巴
M6是中文社区最大的跨模态预训练模型，模型参数达到十万亿以上，具有强大的多模态表征能力。
BioMedGPT
清华开源的生物医药基础模型
腾讯混元大模型
腾讯混元大模型（Tencent Hunyuan）由腾讯公司全链路自研，在高质量的内容创作、数理逻辑、代码生成、多轮对话、图像与视频生产上性能表现优越，处于业界领先水平。
悟道
悟道2.0参数达到1.75万亿个，可以同时处理中英文和图片数据。
Mistral AI
我们发布了开放权重模型，供每个人在他们想要的地方进行定制和部署。我们的超高效模型 Mistral Nemo 可在 Apache 2.0 下使用，而 Mistral Large 2 可通过免费的非商业许可证和商业许可证获得。
BLOOM
BLOOM：一个拥有1760亿参数的开放式多语言语言模型
暂无评论...
