美国AI初创公司Thinking Machines Lab近日推出首款多模态混合专家（MoE）开放权重模型Inkling，凭借其可定制性、成本可控性和多领域任务处理能力引发行业关注。该模型总参数量达9750亿，激活参数量410亿，支持最高100万token的上下文窗口，成为当前参数规模最大的开放权重模型之一。
Inkling采用创新的MoE架构设计，每个处理层包含256个路由专家和2个共享专家，每个输入token仅激活6个专家参与计算。这种设计使模型在保持高性能的同时显著降低计算成本。技术团队通过无辅助损失负载均衡策略，确保不同专家被调用的频率更加均衡，有效提升了资源利用率。在注意力机制方面，模型采用滑动窗口与全局注意力结合的方式，按照5:1比例交替使用局部窗口层和全局层，配合8个KV Head设计，使其在处理长文本时具有更高效率。
该模型的多模态处理能力是其核心亮点之一。预训练阶段使用4500万亿token规模的数据集，涵盖文本、图像、音频和视频四种模态。与传统模型不同，Inkling从训练初期就实现多模态数据的深度融合，使模型能够直接处理不同类型的信息输入。在音频处理方面，模型将音频信号转换为dMel频谱后输入；视觉处理则采用40×40像素Patch编码方式，最终所有模态信息映射到统一隐藏空间进行推理。这种设计使Inkling能够同时完成图片理解、语音转写、音频内容分析等复杂任务。
Thinking Machines Lab特别强调模型的可控推理特性。通过引入"可控思考努力程度"机制，开发者可以根据任务需求动态调整模型推理强度。当需要高精度输出时，可增加计算资源投入；当注重响应速度时，则减少推理token消耗。测试数据显示，在达到相近任务效果时，Inkling的平均token消耗比同类模型减少30%-40%，有效降低了实际部署成本。这种灵活性使其特别适合对成本敏感的企业级应用场景。
在基准测试中，Inkling展现出均衡的综合性能。在大模型评测榜单Artificial Analysis中，该模型以41分的综合得分位居美国开放权重模型首位，超过Nemotron 3 Ultra和Gemma 4 31B等模型。在通用智能测试GDPval-AA v2中取得1238 Elo分，优于Kimi K2.6和DeepSeek v4 Flash（max）。代码能力测试显示，其在SWE-bench Pro Public测试中达到54.3%的修复率，Terminal Bench 2.1测试中使用最佳Harness时达到63.8%的完成率。多模态测试方面，MMMU Pro视觉推理测试得分73.5%，VoiceBench语音理解测试得分91.4%，MMAU音频理解测试得分77.2%。
实际应用测试中，Inkling展示了强大的多任务处理能力。有开发者仅用一句需求描述，就通过模型生成了完整的求职网站，并驱动浏览器Agent自动填写求职表单。在长流程任务测试中，模型根据用户反馈持续优化多人在线贪吃蛇游戏，经过40轮迭代后开发出包含实时服务器、AI Bot和排行榜的完整游戏系统。文学创作测试显示，模型能够根据同一提示词生成风格统一的多篇短篇科幻文本，展现出良好的文本生成能力。不过也有测试指出，模型在处理复杂编程任务时仍存在输出不稳定的情况。
目前，Inkling完整权重已在Hugging Face平台开放下载，开发者可获取原始checkpoint和NVFP4 checkpoint用于部署或调整。Thinking Machines Lab旗下Tinker平台提供模型微调服务，支持64K和256K两种上下文长度，并限时推出五折优惠。同时上线的轻量版Inkling-Small预览版将激活参数量压缩至120亿，在保留核心能力的同时降低了部署门槛。公司表示将持续迭代产品线，未来计划在模型效率优化和特定领域适配方面进行深入探索。
