Blog·Studio
文章系列日历归档关于搜索
Blog·Studio

一个记录思考、笔记与作品的技术博客。

Connect

© 2026 · Blog Studio

鄂ICP备19019526号

crafted with care

stay curious ✦

  1. 文章
  2. ›大模型研究

Archive

标签「大模型研究」

97 篇文章

切换标签

全部737AI 日报36AI 编程51Hermes Agent13AI 工具与产品31AI 原生架构96大模型研究97杂项2AI 行业趋势22行业研究0游戏1Agent 技术123智能体与 AI 应用开发116游戏引擎与渲染50游戏开发58游戏服务架构41
  • 01

    Chain-of-Thought 的图基推理理论 2026:可达性与图采样下界

    把 CoT 重新形式化为推理图 G=(V,E,W),本文用可达性测度、组合复杂度与图采样下界三件套,统一解释 CoT 有效性,并给出三条未公开验证的猜想。

    • #大模型研究
    2026.07.09
  • 02

    Native Sparse Attention 的接受域拓扑学 2026:从分支选择、压缩聚合到与 Mamba-2 对偶谱的统一几何

    DeepSeek 抛出的 NSA 把 attention 的接受域切成了可学习的压缩/选择/滑动窗三分支。本文用 metric-measure 空间给出五条主定理(紧化存在性、压缩不动点、稀疏率相变、与 Mamba-2 SSD 的对偶谱、与 GQA/MQA 的几何包含),并画出两条训练动力学相变曲线,给研究者五条未公开验证的几何猜想与一份八项工程基线。

    • #大模型研究
    2026.07.08
03

课程学习的相变理论 2026:从易到难数据排序与损失景观耦合

本文用统计场论重新推导课程学习,把课程温度 τ 与泛化误差的耦合刻画为亚临界-临界-超临界三段式相变,给出临界温度 τc 的封闭形式、盆地连通性的相变诊断,以及 SRE 训练平台可观测性的三组新指标。

  • #大模型研究
2026.07.07
  • 04

    推测解码的接受率统计力学 2026:从草稿-目标分布匹配到最优猜测长度的相变理论

    本文建立推测解码的接受率统计力学框架,揭示单次推测窗口的接受数方差与 Rényi 散度的有限样本相变性质,证明最优猜测长度 κ* 在 α ∈ [0.68, 0.75] 的实际工作区间内自然收敛到 [3,7],并论证 α_c ≈ 0.74 作为工程相变点的双曲鞍点本质。

    • #大模型研究
    2026.07.06
  • 05

    状态空间模型的对偶谱理论 2026:从选择性扫描、HiPPO 矩阵到 Mamba-2 的对偶几何

    本文从连续线性 ODE 出发,重建 SSM 的离散对偶形式,证明 Mamba 选择性扫描与 S4 对偶卷积核在频域共享同一谱族,并由此推出 Mamba-2 SSD 对偶的线性注意力等价与受限傅里叶基的秩-1 闭式。

    • #大模型研究
    2026.07.05
  • 06

    大模型训练动力学的非平衡统计力学 2026:当 SGLD、SDE 与 SGD 撞上损失景观的隐式正则化时

    把优化器重新理解为带温度场的动态系统是 2026 年大模型训练理论的最大范式转移。本文以 Langevin 动力学、Fokker-Planck 方程与辛几何三条数学线索,重新审视 SGD、Shampoo、Muon、SOAP 的统一图景,揭示隐式正则化作为大模型泛化的真正设计自由度——并指出 K-FAC、Shampoo、Muon 等二阶方法的本质是把损失景观各向异性转化为更新方向协方差矩阵的单位化。

    • #大模型研究
    2026.07.04
  • 07

    神经网络损失景观的拓扑学 2026:从模式连接、低损耗盆地到模型合并的几何基础

    用微分拓扑与持续同调重新解读 LLM 损失景观:模式连接性、MoE 置换对称性、持续预训练的盆地相变与后训练稀疏奖励的高原-峡谷结构,给出 2026 年合并与后训练的工程决策框架。

    • #大模型研究
    2026.07.03
  • 08

    注意力机制的秩坍缩与低秩瓶颈理论 2026:当 token mixing 撞上训练动力学的低秩瓶颈时

    本文从 cross-entropy 几何结构出发,给出注意力 $W_V$ 矩阵低秩吸引子定理,证明有效秩上界为 $mathrm{rank}(V^*)$。结合 Adam 隐式秩正则化、softmax 谱压缩、扩散 / DPO 等不同训练目标的秩变化,统合理解 2026 年所有主流注意力变体、KV cache 压缩算法与 LoRA rank 选择的理论基础。

    • #大模型研究
    2026.07.02
  • 09

    分组查询注意力 GQA 的几何学 2026:当 MQA、DeepSeek MLA 与 KV 共享的极限相遇

    从 Multi-Head 到 Multi-Latent,分组查询注意力走过了从“等价压缩”到“几何重构”的四阶段演化;本文用信息几何与秩分析重新审视 GQA、MLA 与 Q/K 解耦的极限,并给出 2026 H2 注意力架构选型的理论判据。

    • #大模型研究
    2026.07.01
  • 10

    涌现即统计幻觉?2026 大语言模型能力边界的几何相变理论

    把涌现能力、grokking、长度泛化统一为同一族几何相变;用统计场论与微分几何重建能力流形;给出 4 个可证伪预言与 GP-Bench 协议。

    • #大模型研究
    2026.06.30
  • 11

    Test-time Scaling 的信息论几何 2026:当推理时计算撞上熵坍缩与互信息瓶颈

    用信息论重建 test-time scaling:熵坍缩定理 + 互信息瓶颈 + ToT Pareto 前沿三个核心定理,加上 Mermaid 调度流程图与 2026 H2 趋势猜想,给出 verifier 驱动的统一决策框架。

    • #大模型研究
    2026.06.29
  • 12

    离散扩散 LLM 的理论重建 2026:从 LLaDA 到 Mercury 的非自回归生成为何重塑推理时计算的几何

    当文本生成从打字机式自回归转向块级并行去噪,推理时计算的帕累托前沿正在被改写。本文从 Markov 链基础出发,重建 LLaDA 8B、Gemini Diffusion、Mercury Coder 与 DiffusionGemma 的统一理论框架,解释为什么 dLLM 不仅带来 5-10 倍吞吐量,还重新分配了推理时 compute 的最优预算。

    • #大模型研究
    2026.06.28
  • 13

    位置编码与长度泛化的理论重建 2026:当 RoPE 撞上 loss landscape

    从 Fourier 基的频带截断,到 ALiBi 的线性偏置假设,再到 YaRN 的双阶段插值与频谱保持,位置编码的演化本质上是一场关于“Transformer 能否在训练窗口外做频率泛化”的理论辩论。本文从 loss landscape 的频域耦合角度重建这一辩论的理论框架,并给出 2026 年的工业级决策依据。

    • #大模型研究
    2026.06.27
  • 14

    模型合并的几何学:Task Arithmetic、TIES、DARE 与进化搜索的理论基础

    当一个社区在 12 个月内合并出 200+ 个 SOTA 模型时,模型合并已经从工程技巧升格为可被严格分析的理论对象。本文从权重空间几何、Taylor 低阶截断、interference 算法分解与进化搜索四个层次,为 2026 年的模型合并画一张算法几何地图。

    • #大模型研究
    2026.06.26
  • 15

    机制可解释性的理论重建 2026:从电路分析到因果中介的范式跃迁

    2024-2026 年 mech interp 从手工作坊走向半自动化 + 理论化双轨:稀疏自编码器在 Claude 3 Sonnet 上识别 3400 万个单义特征,ACDC 算法在 4 GPU 小时内自动重建 IOI 电路,因果中介分析把 head 级 indirect effect 形式化。MoE / Mamba-3 / CoT 推理的可解释性扩展也已起步,但 TC0 理论边界意味着纯 attention 电路无法完备解释推理时计算。

    • #大模型研究
    2026.06.25
  • 16

    Weight Merging 的理论重建 2026:Task Arithmetic、TIES 与 DARE 三大范式的数学基础与边界

    当多个微调后的 LLM 都站在损失景观的低谷平原上时,模型合并的成败取决于它们是否处于同一个线性模式连通盆地。本文从线性模式连通性出发,拆解 Task Arithmetic、TIES-MERGING 与 DARE 三大合并范式的数学假设、归并冲突与冗余处理。

    • #大模型研究
    2026.06.24
  • 17

    数据选择理论 2026:从 influence functions 到 data curation scaling laws 的范式跃迁

    2026 年大模型研究的最深刻转向不是更大的模型,而是更聪明的“挑数据的策略”。本文从 influence functions 的早期理论出发,沿着 data curation scaling laws、selection-via-loss、qualitative diversity 三条路径,重建 2026 年大模型数据选择理论的全貌,论证“数据缩放律”正在替代“参数缩放律”成为预训练效率的新瓶颈。

    • #大模型研究
    2026.06.23
  • 18

    合成数据训练与模型坍缩的相变理论 2026

    用统计力学和随机矩阵理论重新审视 model collapse:本文给出 2026 年关于递归合成数据训练的可量化边界,给出 n_c、rho、sigma_min* 三个可测量量。

    • #大模型研究
    2026.06.22
  • 19

    LLM 的归纳偏置与组合泛化:Transformer 是否真正具备系统性能力

    从 Chomsky 的系统性原则出发,结合 SCAN、COGS 等结构化基准的近期实证,重新审视 Transformer 是否真正具备结构性归纳偏置,并提出面向组合泛化的架构诊断框架。

    • #大模型研究
    2026.06.21
  • 20

    Grokking 与大模型训练的相变理论:当泛化能力在损失饱和之后突然涌现

    本文重新审视 Grokking 现象在大模型训练语境下的理论意涵——损失函数在长时间饱和之后突然出现的泛化跃迁,并非“训练巧合”,而是损失景观中高维相变的宏观投影。理解这一相变结构,将重塑我们对涌现能力、缩放定律与训练策略的工程直觉。

    • #大模型研究
    2026.06.20
  • ← 上一页4 / 5
    下一页 →