效果可达 OpanAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布

IT之家6月8日消息，国产多模态大语言模型TigerBot近日正式发布，包含70亿参数和1800亿参数两个版本，目前已经在GitHub开源。

据悉，TigerBot带来的创新主要在于：

提出指令完成监督微调的创新算法提升模型可学习性

运用ensemble和probabilisticmodeling的方法实现可控事实性和创造性

在并行训练上突破deep-speed等主流框架中的内存和通信问题

此外，该模型还针对中文语言更不规则的分布，从tokenizer到训练算法上做了更适合的优化。

研究人员陈烨在虎博科技官网表示：“该模型在只使用少量参数的情况下，就能快速理解人类提出了哪类问题。根据OpenAIInstructGPT论文在公开NLP数据集上的自动评测，TigerBot-7B已达到OpenAI同样大小模型的综合表现的96%。”

据称，其中TigerBot-7B-base的表现“优于OpenAI同等可比模型”，开源代码包括基本训练和推理代码，双卡推理180B模型的量化和推理代码。数据包括100G预训练数据，监督微调1G或100万条数据。

IT之家小伙伴们可以在这里找到GitHub的开源项目。