热点资讯钞能力: 阿联酋的Falcon-40B语言模型OpenLLM排名第一、持续霸榜
发布日期：2023-07-11 点击次数：160
IT之家6月13日消息，众所周知，阿联酋在科技及教育产业方面投入的预算一直不菲，近日，阿联酋科技创新研究所（TII）打造出了400亿参数的语言模型Falcon-40B，在HuggingFace的OpenLLM排行榜上排名第一，并持续霸榜，赢过此前LLaMA、StableLM和RedPajama等竞争者。
▲ 图源 阿联酋科技创新研究所（TII）
据称，Falcon-40B使用了384颗GPU来进行2个月的训练、利用将近5亿个Token训练而成。为提高训练过程的质量，团队还自己组建了一套工作流程来筛选出“最高质量的的资料”供给AI模型训练。经多个基准测试，表现比LLaMA、Vicuna和Alpaca更加出色。
此外，团队还采用了“多重查询注意力”（Multiqeryattention）机制，来提高模型的效率。“多重查询注意力”机制即模型可以对每个Token进行多个查询，来更好表示同一序列中，不同token之间的关系，以在加速模型运算效率的同时，降低模型的复杂性，进而提高模型整体的可维护性。
阿联酋科技创新研究所首席执行官RayO.Johnson博士表示：“2023年将是人工智能之年。Falcon模型对我们来说具有里程碑意义，但这仅仅是个开始”。
IT之家注意到，Falcon模型已经在huggingface上开源，目前开源的版本有Falcon-7B-Instruct和Falcon-40B-Instruct等，IT之家的小伙伴们可以在这里访问。