1. 论文核心方法

提出Nabla-GFlowNet框架，通过梯度感知的流平衡条件（Nabla-DB）微调Stable Diffusion模型，在保持生成多样性的同时优化美学评分（Aesthetic Score）等奖励函数。

2. 技术亮点

– 将扩散过程建模为动态水流系统，通过残差去噪网络（Residual Nabla-DB损失函数）平衡奖励梯度与预训练模型先验。

– 创新参数化设计：利用单步去噪估计替代额外网络，简化对数流梯度计算。

3. 实验结果

– 定性分析：相比ReFL、DRaFT等方法，Nabla-GFlowNet生成的图像奖励更高且避免过拟合，保留自然性。

– 定量指标：在Aesthetic Score、HPSv2等任务中，DreamSim多样性指标提升，FID分数更低。

4. 对比优势

– 直接奖励优化方法（如DRaFT）易过拟合，传统强化学习（如DDPO）效率低下；

– Nabla-GFlowNet收敛更快，且能稳定保持预训练模型的多样性和先验分布。

5. 资源链接

– 论文地址：arXiv
– 代码开源：GitHub

1. 数据集背景与意义
在大模型推理时代，数学推理能力成为衡量语言模型智能的关键指标。LLM360推出的MegaMath是全球最大开源数学推理预训练数据集（371B tokens），覆盖网页、代码和合成数据，首次在规模上超越DeepSeek-Math（120B），标志着从“仅依赖网页”到“面向推理”的跨越。

2. 数据集的必要性
开源社区长期缺乏高质量、大规模的数学数据（如OpenWebMath规模过小且多样性不足）。MegaMath以规模×质量×多样性为核心，历时9个月构建，规模是OpenWebMath的20倍，填补了开源领域的空白。

3. 数据构建方法
通过三大“流水线”高效开发：
– 网页数据：优化Common Crawl处理流程，提取高质量数学文本；
– 代码数据：从Stack v2挖掘数学相关代码（28.1B tokens，11种语言），结合大模型评分和小模型筛选；
– 合成数据：开源问答、跨语言代码及文本-代码交错数据，均通过质量检测。

4. 验证与效果
经过50+次预训练验证，在Llama-3.2（1B/3B）上测试显示：GSM8K、MATH等任务性能提升15-20%。关键优化包括文本抽取验证、去重策略调优、代码数据比重调整等。

5. 愿景与致谢
团队希望MegaMath推动开源数学数据的进步，成为强数学模型的起点。特别感谢Hugging Face、DeepSeek等开源社区的支持。

1. 强化学习（RL）在语言模型推理中的作用存在争议：尽管多篇论文（如DeepSeek-R1）指出RL能显著提升蒸馏模型的推理性能，但最新研究发现这些改进可能因评估噪声（如随机种子、硬件差异）被夸大，实际收益有限且统计不显著。

2. 评估不稳定性是核心问题：在AIME24等小型基准测试中，随机种子变化可导致得分波动达15%，硬件差异（如GPU类型）甚至造成8%的性能差异。评估框架（如LightEval vs Evalchemy）也会影响结果，差异达1-2个百分点。

3. 关键影响因素被系统分析：研究者识别出四大变异源：
– 采样差异：多种子评估显示Pass@1标准差高达5-15%
– 解码配置：max_new_tokens和prompt格式显著影响准确性
– 硬件异质性：不同GPU集群导致性能差异达6-8%
– 评估框架：工具链选择可能改变模型排名

4. 重要现象发现：
– 响应长度与错误率正相关：超过1万token的响应错误率显著上升，RL/SFT模型均存在此现象
– 多样性坍缩未被证实：RL模型Pass@1提升时，Pass@k通常同步改善，未发现多样性下降证据

5. 解决方案呼吁标准化评估：研究者提出需控制随机种子（建议10次以上）、统一硬件/框架、规范prompt模板和上下文长度（如32768 tokens），以提升结果的可复现性。

6. 学界反思：Sebastian Raschka指出当前LLM研究普遍存在评估标准不足问题，需建立更严谨的基准验证方法有效性。

1. 华为发布昇腾原生千亿级大模型Pangu Ultra
华为推出基于昇腾NPU训练的1350亿参数稠密模型Pangu Ultra，技术报告显示其性能超越Llama 405B、Mistral Large 2等国际主流模型，并可与DeepSeek-R1等稀疏模型竞争。

2. 突破国产算力瓶颈
研究团队在8192张昇腾NPU集群上实现50%的算力利用率（MFU），通过混合并行策略和虚拟流水线技术将训练空泡率从30.45%降至6.8%，证明国产算力可支撑千亿级大模型训练。

3. 创新训练稳定性技术
提出Depth-scaled sandwich-norm（DSSN）架构和TinyInit初始化方法：
– DSSN通过层深度平方根倒数调控输出尺度，完全消除loss突刺
– TinyInit采用深度/宽度联合缩放策略，加速收敛20%以上

4. 领域感知分词优化
构建153376词元的混合词表，通过独立分析通用文本、代码、数学等领域词频，使专业领域词元覆盖率提升40%，压缩效率保持92%以上。

5. 三阶段课程训练策略
13.2T tokens训练数据分阶段优化：
– 通用阶段（12T）：知识积累
– 推理阶段（0.8T）：数学/代码数据占比超60%
– 退火阶段（0.4T）：指令数据占比提升至20%

6. 强化学习效果显著
在AIME 2024、MATH-500等基准测试中，后训练模型推理能力超越DeepSeek R1，MMLU-pro通用理解得分达82.3%，验证”预训练+强化学习”技术路线的有效性。

1. VAST开源两大3D生成项目
国内创业公司VAST开源了HoloPart和UniRig两大3D工具。HoloPart专注于三维模型部件分割与补全，UniRig则是通用自动绑定框架。

2. HoloPart的核心突破
• 首创三维部件完整语义分割技术，能推断被遮挡部件的完整几何结构
• 采用双重注意力机制（局部+上下文感知），在Objaverse等数据集预训练
• 实验显示性能显著优于现有方法，支持直观编辑/材质分配/动画制作等下游应用

3. UniRig的技术创新
• 通过骨骼树Tokenization将3D骨骼结构转化为Transformer可处理的序列
• 自研Rig-XL数据集（14,000+模型）提升泛化能力
• 实现215%关节预测精度提升，1-5秒快速推理

4. 行业价值
两项技术解决了3D内容生产的部件编辑和自动绑定核心痛点，为国产3D大模型发展奠定重要基础。