大的语言模型（法学硕士）对人工智能研究产生了重大影响。这些强大的通用模型可以承担差异新的language根据用户的指示执行任务。然而，academia、非营利组织和规模较小的组织companies研究实验室发现很难创建、研究甚至使用法学硕士，因为只有少数拥有必要资源和专有权的工业实验室可以完全访问它们。Today，我们发布了BLOOM，first多语言法学硕士接受过培训完全的遗憾，改变这种现状——the result这是人工智能研究人员参与单个研究项目以来最大规模的合作。
凭借其 1760 亿个参数，BLOOM 能够to产生text46 种自然语言和 13 种编程语言。对于几乎所有语言，例如西班牙语、法语和阿拉伯语，BLOOM 将是第一的曾创建过超过 100B 个参数的语言模型。这是来自 70 多个国家的 1000 多名研究人员一年的工作成果countries和 250 多家机构，最终运行时间为 117 天（3 月 11 日至 7 月 6 日）training法国巴黎南部Jean Zay 超级计算机上的 BLOOM 模型得益于法国研究机构 CNRS 和 GENCI 提供的估计价值 300 万欧元的计算资助。
研究人员现在可以下载、运行和研究 BLOOM to调查表现和behavior最近开发的大型language型号下降to他们最深层的内部运作。更一般地说，任何同意该模型的Responsible AI 许可证（在 BigScience 项目本身期间开发）条款的个人或机构都可以在本地使用该模型并在该模型的基础上进行构建。machine或在云提供商上 – 因为它嵌入在 Hugging 中Face生态系统，就像使用Transformer导入并使用Accelerator运行一样简单。本着这种协作和持续改进的精神，我们还发布了first时间，中间检查点和优化器状态培训。没有 8 台 A100 可以玩吗？我们正在最终确定inference即使没有专用硬件或工程，也可以大规模使用 API。与此同时，为了快速测试、原型设计和小规模使用，您已经可以在 HF 集线器上使用早期版本。
这只是开始。 BLOOM 的能力将不断提高the workshop继续试验和修改模型。我们已经开始努力让它像我们之前的那样具有指导意义effortT0++ 过去和现在都计划添加更多语言，将模型压缩成具有相同级别的更可用的版本performance，并将其用作更复杂架构的起点……研究人员和实践者进行的所有实验always想要从 1000 多个参数模型的力量开始运行，现在已经成为可能。 BLOOM 是生命的种子family我们打算发展的模型，而不仅仅是一劳永逸的模型，我们已准备好支持community努力扩大它。
相关文章
