diff --git a/examples/Aquila/Aquila-chat/README.md b/examples/Aquila/Aquila-chat/README.md index 399fa885..c383de0a 100755 --- a/examples/Aquila/Aquila-chat/README.md +++ b/examples/Aquila/Aquila-chat/README.md @@ -3,15 +3,15 @@ -# 悟道·天鹰(Aquila) +# 悟道·天鹰(Aquila) *Read this in [English](./README_en.md).* 悟道·天鹰(Aquila) 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 -- 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 +- 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 - ✍️ **具备中英文知识**。Aquila系列模型在中英文高质量语料基础上从 0 开始训练,中文语料约占 40%,保证模型在预训练阶段就开始积累原生的中文世界知识,而非翻译而来的知识。 - 👮‍♀️**符合国内数据合规需求**。Aquila系列模型的中文语料来自智源多年积累的中文数据集,包括来自1万多个站源的中文互联网数据(其中99%以上为国内站源),以及获得国内权威机构支持的高质量中文文献数据、中文书籍数据等。我们仍在持续积累高质量、多样化的数据集,并源源不断加入Aquila基础模型后续训练中。 -- 🎯**持续迭代,持续开源开放**。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 +- 🎯**持续迭代**,持续开源开放。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 + -**Read this in [English](./README_en.md).** 悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。包括 [FlagAI GitHub仓库](https://github.com/FlagAI-Open/FlagAI/),[FlagAI 知乎账号](https://www.zhihu.com/people/95-22-20-18)、[FlagAI 官方技术交流群](https://github.com/FlagAI-Open/FlagAI/blob/master/wechat-qrcode.jpg)、智源研究院微信公众号、智源社区微信公众号。 @@ -19,12 +19,12 @@ | 模型 | 模型类型 | 简介 | 文件路径 | 单独下载模型权重 | 状态 | 训练所用显卡 | | :---------------- | :------- | :-- |:-- | :-- | :-- | :-- | -| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098) | 已发布 | Nvidia-A100 | +| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098)
[HF仓库地址](https://huggingface.co/BAAI/Aquila-7B) | 已发布 | Nvidia-A100 | | Aquila-33B |基础模型,330亿参数 | 同上 | —— | —— | **敬请期待** | Nvidia-A100 | -| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 | +| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101)
[HF仓库地址](https://huggingface.co/BAAI/AquilaChat-7B)| 已发布 | Nvidia-A100 | | AquilaChat-33B |SFT 模型,基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 | -| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104) | 已发布 | Nvidia-A100 | -| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | 已发布 | Nvidia-A100 | +| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-multi) | 已发布 | Nvidia-A100 | +| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-py) | 已发布 | Nvidia-A100 | 悟道·天鹰Aquila系列模型将持续开源更优版本,大家可以先删除原来目录下的`checkpoints_in/aquilachat-7b`,再下载新权重,其他使用方式不变。 diff --git a/examples/Aquila/Aquila-code/README.md b/examples/Aquila/Aquila-code/README.md index 61fd1a57..e6327f95 100755 --- a/examples/Aquila/Aquila-code/README.md +++ b/examples/Aquila/Aquila-code/README.md @@ -3,15 +3,15 @@ -# 悟道·天鹰(Aquila) +# 悟道·天鹰(Aquila) *Read this in [English](./README_en.md).* 悟道·天鹰(Aquila) 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 -- 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 +- 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 - ✍️ **具备中英文知识**。Aquila系列模型在中英文高质量语料基础上从 0 开始训练,中文语料约占 40%,保证模型在预训练阶段就开始积累原生的中文世界知识,而非翻译而来的知识。 - 👮‍♀️**符合国内数据合规需求**。Aquila系列模型的中文语料来自智源多年积累的中文数据集,包括来自1万多个站源的中文互联网数据(其中99%以上为国内站源),以及获得国内权威机构支持的高质量中文文献数据、中文书籍数据等。我们仍在持续积累高质量、多样化的数据集,并源源不断加入Aquila基础模型后续训练中。 -- 🎯**持续迭代,持续开源开放**。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 +- 🎯**持续迭代**,持续开源开放。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 + -**Read this in [English](./README_en.md).** 悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。包括 [FlagAI GitHub仓库](https://github.com/FlagAI-Open/FlagAI/),[FlagAI 知乎账号](https://www.zhihu.com/people/95-22-20-18)、[FlagAI 官方技术交流群](https://github.com/FlagAI-Open/FlagAI/blob/master/wechat-qrcode.jpg)、智源研究院微信公众号、智源社区微信公众号。 @@ -19,12 +19,12 @@ | 模型 | 模型类型 | 简介 | 文件路径 | 单独下载模型权重 | 状态 | 训练所用显卡 | | :---------------- | :------- | :-- |:-- | :-- | :-- | :-- | -| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098) | 已发布 | Nvidia-A100 | +| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098)
[HF仓库地址](https://huggingface.co/BAAI/Aquila-7B) | 已发布 | Nvidia-A100 | | Aquila-33B |基础模型,330亿参数 | 同上 | —— | —— | **敬请期待** | Nvidia-A100 | -| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 | +| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101)
[HF仓库地址](https://huggingface.co/BAAI/AquilaChat-7B)| 已发布 | Nvidia-A100 | | AquilaChat-33B |SFT 模型,基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 | -| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104) | 已发布 | Nvidia-A100 | -| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | 已发布 | Nvidia-A100 | +| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-multi) | 已发布 | Nvidia-A100 | +| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-py) | 已发布 | Nvidia-A100 | 悟道·天鹰Aquila系列模型将持续开源更优版本,大家可以先删除原来目录下的code模型路径,再下载新权重,其他使用方式不变。 diff --git a/examples/Aquila/Aquila-pretrain/README.md b/examples/Aquila/Aquila-pretrain/README.md index 743b6c18..e6a1889c 100755 --- a/examples/Aquila/Aquila-pretrain/README.md +++ b/examples/Aquila/Aquila-pretrain/README.md @@ -3,27 +3,28 @@ -# 悟道·天鹰(Aquila) +# 悟道·天鹰(Aquila) *Read this in [English](./README_en.md).* 悟道·天鹰(Aquila) 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 -- 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 +- 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 - ✍️ **具备中英文知识**。Aquila系列模型在中英文高质量语料基础上从 0 开始训练,中文语料约占 40%,保证模型在预训练阶段就开始积累原生的中文世界知识,而非翻译而来的知识。 - 👮‍♀️**符合国内数据合规需求**。Aquila系列模型的中文语料来自智源多年积累的中文数据集,包括来自1万多个站源的中文互联网数据(其中99%以上为国内站源),以及获得国内权威机构支持的高质量中文文献数据、中文书籍数据等。我们仍在持续积累高质量、多样化的数据集,并源源不断加入Aquila基础模型后续训练中。 -- 🎯**持续迭代,持续开源开放**。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 +- 🎯**持续迭代**,持续开源开放。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 -**Read this in [English](./README_en.md).** -悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现,预计 2023 年 6 月底发布。请关注官方渠道更新。包括 [FlagAI GitHub仓库](https://github.com/FlagAI-Open/FlagAI/),[FlagAI 知乎账号](https://www.zhihu.com/people/95-22-20-18)、[FlagAI 官方技术交流群](https://github.com/FlagAI-Open/FlagAI/blob/master/wechat-qrcode.jpg)、智源研究院微信公众号、智源社区微信公众号。 + + +悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。包括 [FlagAI GitHub仓库](https://github.com/FlagAI-Open/FlagAI/),[FlagAI 知乎账号](https://www.zhihu.com/people/95-22-20-18)、[FlagAI 官方技术交流群](https://github.com/FlagAI-Open/FlagAI/blob/master/wechat-qrcode.jpg)、智源研究院微信公众号、智源社区微信公众号。 | 模型 | 模型类型 | 简介 | 文件路径 | 单独下载模型权重 | 状态 | 训练所用显卡 | | :---------------- | :------- | :-- |:-- | :-- | :-- | :-- | -| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098) | 已发布 | Nvidia-A100 | +| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098)
[HF仓库地址](https://huggingface.co/BAAI/Aquila-7B) | 已发布 | Nvidia-A100 | | Aquila-33B |基础模型,330亿参数 | 同上 | —— | —— | **敬请期待** | Nvidia-A100 | -| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 | +| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101)
[HF仓库地址](https://huggingface.co/BAAI/AquilaChat-7B)| 已发布 | Nvidia-A100 | | AquilaChat-33B |SFT 模型,基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 | -| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104) | 已发布 | Nvidia-A100 | -| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | 已发布 | Nvidia-A100 | +| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-multi) | 已发布 | Nvidia-A100 | +| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-py) | 已发布 | Nvidia-A100 | 悟道·天鹰Aquila系列模型将持续开源更优版本,大家可以先删除原来目录下的`checkpoints_in/aquila-7b`,再下载新权重,其他使用方式不变。 diff --git a/examples/Aquila/README.md b/examples/Aquila/README.md index 6228dbf6..a2d4ee3c 100755 --- a/examples/Aquila/README.md +++ b/examples/Aquila/README.md @@ -3,7 +3,7 @@ -# 悟道·天鹰(Aquila) +# 悟道·天鹰(Aquila) *Read this in [English](./README_en.md).* 悟道·天鹰(Aquila) 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 - 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](../../BAAI_Aquila_Model_License.pdf),使用者在满足许可限制的情况下,可用于商业目的。 @@ -11,7 +11,7 @@ - 👮‍♀️**符合国内数据合规需求**。Aquila系列模型的中文语料来自智源多年积累的中文数据集,包括来自1万多个站源的中文互联网数据(其中99%以上为国内站源),以及获得国内权威机构支持的高质量中文文献数据、中文书籍数据等。我们仍在持续积累高质量、多样化的数据集,并源源不断加入Aquila基础模型后续训练中。 - 🎯**持续迭代**,持续开源开放。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。 -**Read this in [English](./README_en.md).** + 悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。包括 [FlagAI GitHub仓库](https://github.com/FlagAI-Open/FlagAI/),[FlagAI 知乎账号](https://www.zhihu.com/people/95-22-20-18)、[FlagAI 官方技术交流群](https://github.com/FlagAI-Open/FlagAI/blob/master/wechat-qrcode.jpg)、智源研究院微信公众号、智源社区微信公众号。 @@ -19,12 +19,15 @@ | 模型 | 模型类型 | 简介 | 文件路径 | 单独下载模型权重 | 状态 | 训练所用显卡 | | :---------------- | :------- | :-- |:-- | :-- | :-- | :-- | -| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098) | 已发布 | Nvidia-A100 | +| Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098)
[HF仓库地址](https://huggingface.co/BAAI/Aquila-7B) | 已发布 | Nvidia-A100 | | Aquila-33B |基础模型,330亿参数 | 同上 | —— | —— | **敬请期待** | Nvidia-A100 | -| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 | +| AquilaChat-7B |SFT 模型,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。

例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101)
[HF仓库地址](https://huggingface.co/BAAI/AquilaChat-7B)| 已发布 | Nvidia-A100 | | AquilaChat-33B |SFT 模型,基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 | -| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104) | 已发布 | Nvidia-A100 | -| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | 已发布 | Nvidia-A100 | +| AquilaCode-multi | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-multi) | 已发布 | Nvidia-A100 | +| AquilaCode-py |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的 10~40%。通过参考官方提供的操作指南,开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103)
[HF仓库地址](https://huggingface.co/BAAI/AquilaCode-py) | 已发布 | Nvidia-A100 | + + + 悟道·天鹰Aquila系列模型将持续开源更优版本,大家可以先删除原来目录下的`checkpoints_in/aquila-7b`,再下载新权重,其他使用方式不变。