英伟达，全球AI技术的领头羊，近期宣布开源其最新研发的超强模型——Llama-3.1-Nemotron-70B-Instruct。据测试数据揭示，此模型在性能上已成功超越GPT-4o、GPT-4turbo、Gemma-2等140多个开源及闭源模型，其表现仅次于OpenAI最新发布的o1模型。
Nemotron的基础架构源自Llama-3.1-70B，但其独特之处在于采用了一种创新的混合训练方法，该方法融合了Bradley-Terry与Regression两种策略，用于训练奖励模型，显著提升了模型效果。
业界观察家指出，英伟达频繁开源先进模型，不仅得益于其雄厚的科研资金支持，更深层次的目的在于推动GPU销售与开发生态的繁荣。相比之下，meta凭借其社交帝国的商业化和资金优势，亦在AI领域占据一席之地。然而，这一趋势对于大模型初创企业而言，无疑构成了巨大挑战，它们在资金、商业化及知名度方面均面临严峻考验。
Nemotron的成功，部分归功于其创新的混合训练方法。该方法旨在优化奖励模型，使其更精准地理解并执行用户指令，无论是翻译、文本生成还是问答任务。Bradley-Terry与Regression的结合，既考虑了用户偏好，又兼顾了响应质量的细致评估，从而克服了单一方法的局限性。
为了实施这一混合方法，英伟达开发了包含评分和偏好注释的HELPSTEER2-PREFERENCE数据集，通过严格的注释和预处理步骤，确保了数据的质量和一致性。测试结果显示，使用该数据集训练的模型在RewardBench评测中取得了94.1的高分，表现出色。
一位高级AI用户分享了使用Nemotron模型的心得，表示在商业写作方面，该模型相较于Claude3和ChatGPT展现出更高的智能水平，尽管仍会犯一些错误，但整体表现更为出色。
英伟达的创新混合训练方法不仅体现在技术层面的突破，更在数据集的构建上展现了独到之处。HELPSTEER2-PREFERENCE数据集的多元化注释过程，不仅增强了数据的透明度，也为后续分析提供了丰富的背景信息。
英伟达以极低的成本实现了这一技术飞跃，若其愿意，将难以有竞争对手匹敌。这一创新不仅推动了AI技术的进步，也为行业树立了新的标杆。
总体而言，AI领域的竞争正以惊人的速度推动着行业的进步，而英伟达的这一开源举措无疑为这一进程注入了新的活力。
