分类目录归档：行业

3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布

发表评论
原文链接：
3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布


1. 数据集背景与意义
在大模型推理时代，数学推理能力成为衡量语言模型智能的关键指标。LLM360推出的MegaMath是全球最大开源数学推理预训练数据集（371B tokens），覆盖网页、代码和合成数据，首次在规模上超越DeepSeek-Math（120B），标志着从“仅依赖网页”到“面向推理”的跨越。

2. 数据集的必要性
开源社区长期缺乏高质量、大规模的数学数据（如OpenWebMath规模过小且多样性不足）。MegaMath以规模×质量×多样性为核心，历时9个月构建，规模是OpenWebMath的20倍，填补了开源领域的空白。

3. 数据构建方法
通过三大“流水线”高效开发：
– 网页数据：优化Common Crawl处理流程，提取高质量数学文本；
– 代码数据：从Stack v2挖掘数学相关代码（28.1B tokens，11种语言），结合大模型评分和小模型筛选；
– 合成数据：开源问答、跨语言代码及文本-代码交错数据，均通过质量检测。

4. 验证与效果
经过50+次预训练验证，在Llama-3.2（1B/3B）上测试显示：GSM8K、MATH等任务性能提升15-20%。关键优化包括文本抽取验证、去重策略调优、代码数据比重调整等。

5. 愿景与致谢
团队希望MegaMath推动开源数学数据的进步，成为强数学模型的起点。特别感谢Hugging Face、DeepSeek等开源社区的支持。

扩散模型奖励微调新突破：Nabla-GFlowNet让多样性与效率兼得

发表评论
原文链接：
扩散模型奖励微调新突破：Nabla-GFlowNet让多样性与效率兼得


1. 论文核心方法

提出Nabla-GFlowNet框架，通过梯度感知的流平衡条件（Nabla-DB）微调Stable Diffusion模型，在保持生成多样性的同时优化美学评分（Aesthetic Score）等奖励函数。

2. 技术亮点

– 将扩散过程建模为动态水流系统，通过残差去噪网络（Residual Nabla-DB损失函数）平衡奖励梯度与预训练模型先验。

– 创新参数化设计：利用单步去噪估计替代额外网络，简化对数流梯度计算。

3. 实验结果

– 定性分析：相比ReFL、DRaFT等方法，Nabla-GFlowNet生成的图像奖励更高且避免过拟合，保留自然性。

– 定量指标：在Aesthetic Score、HPSv2等任务中，DreamSim多样性指标提升，FID分数更低。

4. 对比优势

– 直接奖励优化方法（如DRaFT）易过拟合，传统强化学习（如DDPO）效率低下；

– Nabla-GFlowNet收敛更快，且能稳定保持预训练模型的多样性和先验分布。

5. 资源链接

– 论文地址：arXiv
– 代码开源：GitHub

智谱 Agent OpenDay 技术前沿进展总结

发表评论

智谱 Agent OpenDay 技术前沿进展总结

  1. 技术突破方向
    • 功能进化：从单纯对话的 Chatbot 迈向 “有手、有脑、有眼睛” 的自主 Agent，智谱在 Agent 技术革新中成果斐然，为人类与机器互动模式带来质的转变。
    • 模型演进：定义大模型发展五阶段（L1 语言能力至 L5 探究科学规律），Agent 推动工具使用能力提升与自我学习探索，成 LLM – OS 雏形，预示人机交互新纪元。
  2. AutoGLM 卓越性能
    • 复杂任务处理
      • 超长任务：精准领会并高效执行超长指令任务，多步循环任务处理速度优于人工，突破任务长度与效率瓶颈。
      • 跨 App 协作：充当用户与应用间关键调度层，跨越多个 App 无缝执行任务，拓展应用交互边界。
      • 指令简化：“短口令” 功能将复杂任务指令凝练成简洁短语，如 “点咖啡” 替代冗长饮品订单，提升交互便捷性。
      • 智能决策：“随便模式” 化解选择困境，AI 自主决策任务步骤，为用户带来意外惊喜与全新体验。
    • 产品推进规划
      • 大规模内测启动：广泛征集百万用户参与测试，深度优化产品性能与用户体验，为正式上线夯实基础。
      • 市场合作拓展：实施 “10 个亿级 APP 免费 Auto 升级” 战略，携手 App 伙伴挖掘创新应用场景，构建多元生态。
      • 平台试用上线：核心 API 入驻智谱 MaaS 开放平台，供开发者试用，降低开发门槛，加速技术普惠。
    • Web 智能上网革新：智谱清言插件集成 AutoGLM，实现数十网站 “无人驾驶” 式交互，从搜索信息到内容互动全流程自动化，如自动搜索影视、播放剧集并发弹幕打卡，革新网络使用模式。
  3. GLM – PC 创新探索
    • 内测场景多元
      • 会议管理助手：智能预订会议、精准发送总结，提升会议组织与信息流转效率，优化办公流程。
      • 文档智能处理：涵盖下载、发送、内容理解与总结功能，实现文档全生命周期智能管控，助力知识管理。
      • 网络信息整合：跨多平台搜索关键词并深度总结，一站式信息收集分析，成为用户专属信息中枢。
      • 远程智能操控：手机远程指挥，支持定时任务，解锁设备远程管理新维度，增强使用灵活性与自主性。
      • 隐形屏幕协作：后台智能运行任务，释放屏幕资源，达成高效并行处理，提升设备多任务处理能力。
    • 发展愿景展望：虽当前指令精度要求较高，但技术持续迭代，有望成为通用 PC 智能助手，实现 “一句话操作电脑” 愿景，重塑人机交互准则。
  4. 产业协同展望
    • 行业趋势洞察：苹果、Anthropic 等巨头聚焦 Agent，2025 年成行业爆发节点，Gartner 预测其将深度变革工作决策模式，2028 年承担 15% 日常决策，凸显 Agent 战略价值。
    • 智能设备变革：智谱 COO 张帆展望 AI 赋能手机、PC、汽车等设备转型，催生随身助理、生产力工具、智能生活空间，端侧技术升级与协同架构优化将加速 AI 原生设备互联融合，开启智能网络新时代，智谱以技术产品为引擎，驱动行业创新发展。