发现者网
产业经济 科技业界 3C数码 文化传媒 移动智能 家电行业 产业互联网 AI大模型 汽车出行

创新之作!微软发布Orca 2语言模型,性能超越同尺寸模型

2023-11-22来源:发现者网编辑:芳华

【发现者网】11月22日消息,微软研究院最近发布了一份新闻稿,正式推出了一款名为Orca 2 LLM的语言模型,该模型相较于当前主流语言模型更为精简,但仍然能够回答一些复杂问题。

Orca 2分为两个版本,分别包含70亿和130亿个参数,其中部分参数融合了Llama 2 LLM。通过整合定制的高质量合成数据,该模型能够提供更为准确和优质的合成数据,为用户带来更出色的体验。

据发现者网了解,Orca 2在训练过程中采用了扩展的、高度定制的合成数据集。该模型支持多种推理技术,包括分步处理、回忆然后生成、回忆-原因-生成、提取-生成和直接回答等多种任务处理策略。

与Llama 2和WizardLM等大型语言模型相比,Orca 2在痛苦理解、常识推理、多步推理、数学问题解决和阅读理解等方面表现更为出色。微软表示,初步研究结果显示,Orca 2的性能明显优于类似尺寸的模型,并且在推理能力方面达到了与至少大10倍模型相似或更好的水平,展现了为较小模型赋予更强推理能力的潜力。