配资在线导航官网 AI大模型训练新发现：＂逐字临摹＂式学习短期见效快，长期遗忘更严重

人工智能领域一项突破性研究引发学界震动——由香港、北京及南京多所科研机构联合完成的实验表明，当前流行的AI训练方法可能存在致命缺陷。这项针对大语言模型持续学习能力的系统性研究，在arXiv平台公开后立即引发广泛讨论。实验数据显示，某些被寄予厚望的强化训练方式，反而会导致AI在掌握新技能时系统性遗忘旧知识，极端情况下甚至引发认知崩溃。

研究团队通过对比两种主流训练范式发现，看似高效的"逐字临摹教学法"存在根本性矛盾。以GRPO为代表的"结果导向训练"，仅根据最终答案正确性给予反馈，如同传统考试只关注分数；而SDPO为代表的"过程导向训练"，则要求AI的每个推理步骤都严格模仿教师版本，相当于全程监考并批改每个标点符号。实验数据显示，SDPO训练的AI在阶段测试中表现优异，数学竞赛正确率可达56.42%，但完成全部训练后，其数学能力反而暴跌至34.38%，工具使用能力更是退化到9.93%的近乎失效水平。

科研人员通过神经网络参数追踪技术，揭开了这种"学得快忘得更快"的深层机制。奇异值分解显示，SDPO训练引发的参数变动幅度是传统方法的3倍以上，且集中作用于核心推理模块。更危险的是，当教师模型更新速度超过临界值时，AI会陷入"确认偏差循环"——持续输出重复的数学答案格式标记，最终导致所有任务准确率归零。这种崩溃模式在工具使用训练切换阶段尤为明显，实验中观测到AI在12个训练周期内完全丧失语言生成能力。

研究突破性地用数学模型证明了"在线数据≠抗遗忘"的悖论。理论上存在一种"最小改动策略"，能在完成新任务的同时最大限度保留旧知识。传统强化学习通过奖励机制近似这种策略，而SDPO的逐词监督却引入了额外偏差。实验数据显示，当教师模型包含不确定推理步骤时，AI会错误吸收这些噪音数据，导致回答长度增加47%的同时，正确率下降22个百分点。这种效应在跨领域训练中形成"干涉区"，使与训练任务部分相关但非直接相关的能力遭受最大损害。

针对不同训练场景的优化方案成为研究新焦点。实验表明，在工具使用等格式规范的任务中，SDPO仍能提升训练效率15%-20%；但在数学推理等需要创造性思维的领域，过程监督反而造成性能损耗。研究团队提出的StableSDPO改进方案，通过周期性冻结教师模型参数，将灾难性遗忘率降低38%。更关键的是发现，对格式词元与内容词元实施差异化监督，可使AI在保持新技能掌握速度的同时，将旧知识保留率提升至82%以上。

这项研究正在重塑AI训练的评估标准。传统测试集主要关注单一领域性能，而新提出的"持续学习评估矩阵"包含跨领域干扰度、参数稳定性等12项指标。实验数据显示，经过优化的混合训练策略，能使AI在完成四轮跨领域训练后，所有任务平均正确率提升11.3%，其中未直接训练领域的性能改善达27%。该成果已引发谷歌、OpenAI等机构跟进研究，可能催生新一代抗遗忘训练框架。

完整研究论文可通过arXiv编号2607.01763v1查阅，其中包含对4种基础模型、12个训练领域的系统性实验数据，以及关于教师-学生模型同步策略的详细数学推导。这项发现不仅解释了为何当前AI助手难以同时精通多个领域，更为开发通用人工智能提供了关键理论支撑——持续学习能力的瓶颈配资在线导航官网，可能不在于数据规模或算力，而在于训练信号的精准调控机制。

粤有钱提示：文章来自网络，不代表本站观点。