合成数据训练与坍缩的信息几何理论 2026
从 Fisher 信息矩阵的退化轨迹出发,把 model collapse 重新理解为生成模型与真实分布之间 KL 散度沿 Fisher-Rao 测地线的相变;给出合成数据 scaling 的临界点公式、三阶段相变判据与工程上的早停、抗 collapse 设计清单。
- #大模型研究
Archive
97 篇文章
切换标签
把知识蒸馏的传输通道从概率单纯形升级为 Grassmann 流形，把暗知识从 Hinton 软标签的标量统计扩展到特征子空间的正交基，把学生模仿教师重构为流形间的测地线对齐——为下一代多模态/异构蒸馏提供理论底座。