Blog·Studio
文章系列日历归档关于搜索
Blog·Studio

一个记录思考、笔记与作品的技术博客。

Connect

© 2026 · Blog Studio

鄂ICP备19019526号

crafted with care

stay curious ✦

  1. 文章
  2. ›大模型研究

Archive

标签「大模型研究」

97 篇文章

切换标签

全部555AI 日报36AI 编程51Hermes Agent13AI 工具与产品31AI 原生架构96大模型研究97杂项2AI 行业趋势22行业研究0游戏1Agent 技术123智能体与 AI 应用开发71游戏引擎与渲染4游戏开发4游戏服务架构4
  • 01

    大模型 Scaling Law 的临界相变理论 2026

    把 scaling law 从经验拟合上升到损失景观的临界相变定理,把 Chinchilla 2 维决策扩展到 N-D-Q 三维 Pareto 前沿,给出 70/30 阶段预算切分 + 30-50% 合成占比的统一工程决策框架。

    • #大模型研究
    2026.08.17
  • 02

    大模型涌现能力的相变理论 2026

    把涌现能力重新表述为损失景观上 Hessian 谱退化的拓扑相变——亏格与 Betti 数在临界算子越过阈值时阶跃,给出 5 条可证伪的训练预测与 4 条工程映射,从检测、加速到可控化的统一框架。

    • #大模型研究
    2026.08.16
  • 03

大模型 In-Context Learning 的贝叶斯推断理论 2026

本文从 Bayesian 推断的视角重构 In-Context Learning 的理论框架,把 Transformer 前向计算解释为对隐式任务后验的近似采样,并由此统一 meta-learning、Gaussian Process 与 Gibbs sampling 三条传统路径,推导出 prompt 设计与 ICL 失败模式的工程准则。

  • #大模型研究
2026.08.15
  • 04

    模型合并的线性算子几何 2026

    本文从线性算子的统一视角重写模型合并理论,证明 Task Arithmetic / TIES / DARE 三类主流方法可参数化为同一算子族的三元组,并推出生产决策树、失败模式与可观测性清单。

    • #大模型研究
    2026.08.14
  • 05

    大模型知识蒸馏的信息几何理论 2026

    把知识蒸馏放进 Fisher 信息几何、Grassmann 流形、谱距离的语言里,把 logit、feature、relational 三类蒸馏统一为 teacher 流形的低维等距嵌入问题,并指向蒸馏损失权重、中间层选择、在线蒸馏收敛性的工程依据。

    • #大模型研究
    2026.08.13
  • 06

    Wasserstein 几何下的大模型对齐理论 2026

    把 RLHF、DPO、GRPO 视为偏好流形上的 Wasserstein 测地线,证明梯度方向相同、步长有界;给出对齐税下界与五条可证伪猜想。

    • #大模型研究
    2026.08.12
  • 07

    神经切线核视角下的大模型训练理论 2026

    从无限宽度极限到 μP 标度律与特征学习的二元分解,给出可工程迁移的宽度-学习率-初始化方差联合标度法,并桥接重整化群与信息几何。

    • #大模型研究
    2026.08.11
  • 08

    稀疏注意力机制的理论统一 2026

    把局部窗口、低秩近似、哈希桶三类稀疏路径放进同一个信息论率失真与频谱分析框架里——滑动窗口保留低频局部依赖但牺牲高频长程信号,线性注意力受 softmax 秩拉伸约束,哈希桶在两者之间通过学习桶分配逼近最优,工程选型应基于任务长度、类型与精度预算联合决策。

    • #大模型研究
    2026.08.10
  • 09

    大模型隐式压缩的率失真理论 2026:从 KL 散度到最小描述长度的统一信息论框架

    用率失真函数与最小描述长度这两个互补视角,把自监督预训练、SFT、DPO/RLHF、对齐税、KV 压缩与模型合并统一为同一族信息论约束,揭示大模型在训练与推理全链路上不断做“隐式压缩”的统一机制。

    • #大模型研究
    2026.08.09
  • 10

    扩散语言模型的离散-连续桥接理论 2026:从吸收态、分数匹配到自回归等价性的统一形式化

    当语言建模从离散 token 的自回归过程迁移到连续时间扩散过程,真正的范式跃迁不在“如何去噪”,而在“如何定义吸收态、定义前向-反向过程的对偶、定义去噪得分匹配与自回归似然的等价性”——本文用 CTMC 与吸收态理论,把扩散语言模型的训练目标、采样动力学、与自回归的桥接关系,统一在“离散-连续桥接”的范畴下。

    • #大模型研究
    2026.08.08
  • 11

    MoE 路由理论的形式化 2026:从辅助损失到容量感知

    把 MoE 路由从工程启发式提升为带约束的优化问题,沿着辅助损失、专家正交、容量感知三个里程碑重新叙述这条主线,并以 DeepSeek-V3 与 Qwen3-MoE 的实测作为对照。

    • #大模型研究
    2026.08.07
  • 12

    测试时计算作为离散路径积分 2026:从 CoT、自一致性到最佳推理深度的费曼统一

    把 LLM 的测试时计算重建为离散路径积分——CoT、自一致性、Beam Search、PRM 树搜索是该积分的四种截断阶近似,统一于作用量 S 与配分函数 Z 的离散 Wick 旋转结构。

    • #大模型研究
    2026.08.06
  • 13

    位置编码的谱理论 2026:从 RoPE 外推到 ALiBi 衰减的几何统一

    把 RoPE 相位编码、ALiBi 低通滤波、绝对编码离散频率统一为对注意力内积的频率滤波器,外推性等价于滤波器在未训练频段的衰减率是否可压缩——这一谱视角解释 LLaMA-2 选 ALiBi、LLaMA-3 回归 RoPE 的工程选择,为下一代内容相关位置编码提供设计原则。

    • #大模型研究
    2026.08.05
  • 14

    偏好优化算法的 Fisher 信息几何统一 2026

    从 Fisher 信息度量出发,把 DPO/IPO/SimPO/GRPO/ORPO 这一族偏好优化方法统一为偏好流形上的不同梯度下降路径 — 区别只在 reference 选择、参数化空间、梯度场定义三个自由度,而非优化目标的几何本质。

    • #大模型研究
    2026.08.04
  • 15

    大模型灾难性遗忘的谱理论 2026:Hessian 谱签名与任务向量正交化

    本文提出「谱签名」作为灾难性遗忘的统一几何坐标,把 EWC、LoRA、task arithmetic、rehearsal 等机制纳入 F(θ₀,t₁,t₂) = ‖H^(1/2)ₜ₁(θ*ₜ₂ − θ*ₜ₁)‖² / ‖H^(1/2)ₜ₁‖² 算子的不同范式,并给出 LoRA rank、任务序列、谱裁剪三件套的工程决策表。

    • #大模型研究
    2026.08.03
  • 16

    合成数据Scaling Laws与模型崩溃的统一理论框架 2026

    合成数据的Scaling优势与模型崩溃风险是同一枚硬币的两面——它们都根植于多样性这一核心变量。300B token是关键拐点,真实数据的不可替代性是基本约束。通过修正Scaling Law、崩溃避免定理与Token-Level Editing的统一框架,工程上可建立可控的合成数据Scaling决策体系。

    • #大模型研究
    2026.08.02
  • 17

    RL 后训练的极小极大统一 2026

    把 LLM 后训练形式化为二人零和博弈的极小极大优化,在统一主定理下解释 REINFORCE→PPO→GRPO→RLVR 的演化脉络,并给出奖励可验证性与方差预算约束下的算法选择决策表。

    • #大模型研究
    2026.08.01
  • 18

    大模型对齐税的信息论几何 2026:从表达熵到能力守恒

    把对齐税定义为表达熵损失 D_KL(P||Q) 沿三轴差异流形的几何积分,就能在 ε_c 之前用测地线规划找到 Pareto 最优点;超过 ε_c 表达熵阶跃式塌缩,任何对齐算法都不能消除税的下界,工程上能做的是沿曲线找性价比最高的点。

    • #大模型研究
    2026.07.31
  • 19

    大模型的统计物理理论 2026:从相变、临界性与涌现的统一形式化

    统计物理为理解大模型的涌现、Scaling Laws 与 Grokking 提供了统一的形式化框架——大模型训练是受随机梯度噪声驱动的非平衡统计物理过程,涌现能力对应于相变临界区的幂律行为,这一视角为训练调度优化、模型合并与知识编辑提供了可操作的物理直觉。

    • #大模型研究
    2026.07.30
  • 20

    对抗鲁棒性的形式化:从对抗样本拓扑到特征对齐几何的统一理论 2026

    把对抗鲁棒性重新定义为边界流形的函子结构,统一对抗训练、特征对齐、随机平滑三类方法,给出可证伪猜想与七条工程推论。

    • #大模型研究
    2026.07.29
  • ← 上一页2 / 5
    下一页 →