微软可能已经与 OpenAI 及其 GPT 大语言模型合作，帮助创建Copilot(以前称为 Bing Chat)等生成式 AI 服务。然而，该公司也在开发自己的语言模型。本周，微软研究院宣布发布 Orca 2，这是其 Orca 语言的第二个版本

微软在一篇博客文章中表示，Orca 2 是专门为较小的 LM 而设计的，但仍然可以用来回答像 LLM 这样的复杂问题。Orca 2 有两种尺寸(70 亿和 130 亿参数)，它们部分是通过今年早些时候与 Meta 一起推出的Llama 2 LLM制作的。该公司“根据定制的高质量合成数据”对基于 Llama 2 的模型进行了微调。

微软表示，这使得 Orca 2 模型能够处理与其他“5-10 倍大”语言模型的性能相匹配的问题，它表示：

Orca 2 使用扩展的、高度定制的合成数据集进行训练。生成的训练数据可以教授 Orca 2 各种推理技术，例如逐步处理、回忆然后生成、回忆-推理-生成、提取-生成和直接答案方法，同时还教它选择不同的推理方法。不同任务的解决策略。

我们的初步结果表明，Orca 2 的性能明显优于类似尺寸的型号。它还达到了与至少大 10 倍的模型相似或更好的性能水平，展示了为较小模型配备更好推理能力的潜力。

虽然微软承认 Orca 2 确实有局限性，但迄今为止的测试显示了“未来进步的潜力”。Microsoft 将 Orca 2 作为开源项目发布，以便其他人也可以使用它。