0
0

百川智能发布Baichuan-13B：参数量130亿

科技admin 2023-07-11 收藏 0 评论 0

7月11日，百川智能正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。

这是百川智能发布的第二款通用大语言模型，而在前不久的6月15日，百川智能就已经推出了首款70亿参数量的中英文语言模型Baichuan-7B。

百川智能在发布预训练模型Baichuan-13B-Base的同时还发布了其对话模型Baichuan-13B-Chat，Baichuan-13B-Chat部署简单、开箱即用，极大降低了开发者的体验成本。

百川智能表示，相比此前发布的Baichuan-7B，Baichuan-13B在1.4万亿token数据集上训练，超过LLaMA-13B 40%，是当前开源13B尺寸下训练数据量最大的模型，

据百川智能介绍，Baichuan-13B上下文窗口长度为4096，不同于Baichuan-7B的RoPE编码方式，Baichuan-13B使用了ALiBi位置编码技术，能够处理长上下文窗口，甚至可以推断超出训练期间读取数据的上下文长度，从而能够更好的捕捉文本中上下文的相关性，做出更准确的预测或生成。

百川智能表示，Baichuan-13B是一款中英文双语大模型，采用了相对平衡的中英文语料配比和多语言对齐语料，在中英两种语言上表现均很优异.

Baichuan-13B-Base目前不仅对学术研究完全开放，所有开发者均可通过邮件向百川智能申请授权，在获得官方商用许可后即可免费商用；此外，为了降低模型的使用门槛，百川智能同时开源了Baichuan-13B-Chat的INT8和INT4两个量化版本，在近乎无损的情况下可以很方便的将模型部署在如3090等消费级显卡上。

百川智能创始人王小川表示，“Baichuan-13B是百川智能为科技强国送上的一份礼物，我们期待国内大模型行业以及垂直领域能够在此基础上开发出更多优秀产品及行业应用，让技术在真实、丰富的应用场景中快速迭代创新，我们愿与众多企业、开发者一道为国内开源社区的生态繁荣贡献自己的力量。”

全部评论 0

admin 346篇文章关注

热门推荐