当前位置:首页 > Deepseek最新资讯 > 正文内容

一个模型超了DeepSeek R1、V3,参数671B,成本不到350万美元

3周前 (08-04)Deepseek最新资讯168

  Deep Cogito,一家鲜为人知的 AI 初创公司,总部位于旧金山,由前谷歌员工创立,如今开源的四款混合推理模型,受到大家广泛关注。

  Deep Cogito 的核心方法是迭代蒸馏与增强(Iterated Distillation and Amplification,简称 IDA),它不依赖手工设计的提示词或静态教师模型,而是利用模型自身不断演化的洞察力来引导训练。

  这是一个全新的扩展范式,使模型逐渐形成更强的直觉,并成为 AI 自我提升(AI 系统自我改进)概念的有力验证deepseek

  由于 Cogito 模型在搜索过程中对推理路径有更好的直觉,其推理链比 DeepSeek R1 缩短了 60%。

  与普遍认为技术创新需要大量基础设施投入的观点相反,这种方法效率极高 —— Cogito 系列模型(总共 8 个,本文是其中的 4 个)的训练总成本不足 350 万美元,其中已包含合成与人工数据生成、超过一千次训练实验的所有成本。

  说到 Deep Cogito,可能许多 AI 从业者近期才刚刚开始接触这家公司,Deep Cogito 实际上已经默默耕耘了一年多的时间。

  它于 2025 年 4 月正式走出隐身状态,并发布了一系列基于 Meta 的 Llama 3.2 训练的开源模型。那些早期发布的模型就已展现出颇具前景的表现。

  当时最小的 Cogito v1 模型(3B 和 8B)在多个评测基准上都超越了同尺寸的 Llama 3 模型,有时差距甚至相当明显。

  Deep Cogito 的联合创始人兼 CEO Drishan Arora,此前是谷歌大语言模型核心工程师。他将公司的长期目标描述为:构建能够像 AlphaGo 那样通过每次迭代不断进行推理和自我提升的模型。

  该研究最主要的目标是:将推理步骤蒸馏回模型的参数中,也就是把推理时的搜索过程转化为模型的直觉,融入其内在能力中。

  今天发布的 Cogito v2 模型在这一研究路径上进一步拓展到了更大规模的系统上,并将重点放在 IDA 的另一个关键部分上 —— 通过蒸馏实现自我改进。

  在多个特定领域(如国际象棋、围棋和扑克),AI 通过两步循环(two-step loop)实现了超人类表现:

  在这一模式下,AlphaGo 是典型代表,LLM 可视为同类系统,其推理时间计算虽比游戏系统更非结构化(通过生成答案前的「思考过程」实现),但要完成智能迭代提升的闭环,同样需要关键的第二步骤 —— 策略迭代优化。

  也就是说,需要将推理过程蒸馏回模型参数中,使模型拥有更强的智能先验。这意味着应当能够以某种方式利用推理阶段的思考过程,使模型本身变得更有能力或更聪明。模型应该能够直接预测出推理的结果(而不是真的执行整个推理过程),并预判自身推理可能产生的结果。

  尽管近期的 LLM 在推理方面取得了一些进展,但这些进展大多是依赖于延长推理链条,而不是增强模型本身的智能先验。因此,LLM 性能的提升主要依赖于给模型更大的思考预算(即更多的推理 token),也就是多试几种可能,而非模型对哪条搜索路径更合适有真正的直觉。同样地,LLM 在非思考模式下的改进,也主要依赖于加入回溯等启发式策略,其本质上与穷举更多路径没有本质区别。

  提升模型本身的智能是一个更加困难的根本性问题,尤其是面对语言模型中那种非结构化的推理路径。要解决这个问题,需要在迭代式策略改进方面取得技术性突破。Cogito v2 就是该研究在这个方向上迈出的下一步。

  该研究相信,在迭代式策略改进方向上持续研究,将有望实现远超单纯增加推理 token 所能带来的模型能力跃升。

  团队公布了一些标准基准测试的评估结果,但特别强调,这些公开基准测试固然有其参考价值,但它们的结果与团队的内部评估时常存在差异。

  在他们的内部评估中,Cogito 模型的表现持续优于大多数开源模型。因此他们相信,自家模型在应对真实世界的应用和评估时会表现出色。

  此外,像 o3 和 Claude 4 Opus 这类前沿的闭源模型,它们的实力也早已超越了这些基准测试所能衡量的范畴。

  报告中还提到了一个有趣的「涌现能力」。尽管 Cogito v2 的训练数据完全是文本,但由于其基座模型具备多模态能力,它似乎通过纯粹的迁移学习,学会了对图像进行复杂的逻辑推理。

  在一个示例中,模型在被要求对比两张风马牛不相及的图片(一张鸭子和一头狮子)时,其内部的「思考」过程清晰地展示了它如何分析图像的构图、色彩、主体、环境乃至情感氛围,并最终给出了条理清晰的对比。

  这种未经专门训练而自发产生的能力,为研究 AI 的泛化与学习机制提供了新的有趣视角。不过团队尚未通过视觉基准测试评估此功能。原文出处:一个模型超了DeepSeek R1、V3,参数671B,成本不到350万美元,感谢原作者,侵权必删!

标签: deepseek

“一个模型超了DeepSeek R1、V3,参数671B,成本不到350万美元” 的相关文章

数博会1分钟|Deepseek带你速览全球五大顶尖AI大模型

数博会1分钟|Deepseek带你速览全球五大顶尖AI大模型

  来自OpenAI的GPT5,参数千亿级,多模态全能王。科研、金融、医疗决策 样样精通。来自Anthropic的Claude4,安全性天花板,法律、医疗高风险场景首选!长上下文处理超10...

舒华体育打造中国首家AI健身房,重塑健身行业生态

舒华体育打造中国首家AI健身房,重塑健身行业生态

  近日,舒华健身上海中骏广场店完成AI焕新————新增加了舒华V10+智能商用跑步机、BioFit数智力量系列等AI产品,搭配自研的来一场 小程序,实现了AI在健身房内的全面落地应用。本...

中钢洛耐举办DeepSeek应用专题交流会

中钢洛耐举办DeepSeek应用专题交流会

  为深入贯彻宝武“2526”工程战略部署,加速DeepSeek技术在企业场景的落地应用,中钢洛耐于7月30日举办“中钢集团DS推广应用以及竞赛案例交流会”,交流会聚焦DeepSeek平台...

DeepSeek-V3.1模型于日前发布 AI主题投资热度升温

DeepSeek-V3.1模型于日前发布 AI主题投资热度升温

  中证网讯 近期,国产大模型厂商DeepSeek推出V3.1版本,受到市场热议。有基金人士认为,国内AI(人工智能)产品或正迎来新拐点,不妨关注港股科技30ETF(513160)及其联接...

恒扬数据携手华为发布智能计算新品 共筑算力新生态

恒扬数据携手华为发布智能计算新品 共筑算力新生态

  [中国,深圳,2025年8月15日]以“鲲鹏昇腾无处不在,成就商业好生意”为主题的2025华为深圳政企&恒扬数据新品推介会暨展车体验活动成功举办,百余位行业嘉宾齐聚一堂,共同探...

信凯科技(001335.SZ):目前没有与Deepseek在自研国产芯片材料外着

信凯科技(001335.SZ):目前没有与Deepseek在自研国产芯片材料外着

  公司目前没有与Deepseek在自研国产芯片材料外着色供应方面有合作。公司的主要业务集中在有机颜料等着色剂的产品开发deepseek、销售及服务方面;产品广泛应用于油墨、涂料和塑料等领...