力压ChatGPT?!阿联酋推出“最强”开源大模型FalconLM

先做个广告:如需代注册ChatGPT或充值 GPT4.0会员(plus),请添加站长微信:gptchongzhi

比LLaMA更小,比LLaMA(65B)更强!
5月27日,阿拉伯联合酋长国技术创新研究院(TII)发布了史上最强大的基础模型:FalconLM。
值得注意的是,该模型目前在Huggingface排行榜上排名第一
除了不断增大的模型外,TII还发布了一个用于训练模型的数据集。该数据集包含1.5万亿个参数。‍
Falcon LLM是一个基础性的大型语言模型(LLM),在一万亿个令牌上训练了400亿个参数。TII现已发布猎鹰LLM——40B型号。
该模型仅使用GPT-3训练计算的75%、Chinchilla的40%和PaLM-62B的80%。
可以肯定的是FalconLM模型目前超越所有其他开源模型(如Redpajama、MPT、LLaMA等)。
该模型使用RoPE嵌入、闪电注意力和多查询注意力进行训练,因此其推理效果得到了优化。它有7B和40B两个版本可用。此外,该模型还提供了针对指令执行进行优化的Instruct版本,但不适用于微调。
另外,他们还推出了一个前瞻性的许可证。它允许商业使用,但对于任何使用该模型的用例所产生的收入超过100万美元的部分,他们要求收取10%的版税。

chatgpt plus(GPT4)代充值

推荐使用GPT中文版,国内可直接访问:https://ai.gpt86.top 

本文链接:https://shikelang.cc/post/710.html

LLaMAFalconLMHuggingfaceFalconLM模型

更多ChatGPT相关文章

网友评论