作者归档:admin

ICLR 2025 | 一行代码!FreDF频域损失稳定提升时间序列预测精度

原文链接:
ICLR 2025 | 一行代码!FreDF频域损失稳定提升时间序列预测精度


1. 研究背景与团队
本文由浙江大学、中南大学、上海交通大学、Tiktok、北京大学、南洋理工大学联合完成,第一作者为浙江大学王浩(发表多篇顶会论文),通讯作者为北京大学李昊轩和南洋理工大学陶大程教授。研究聚焦时间序列预测在气象、工业、医疗等领域的应用价值。

2. 核心问题与创新
现有方法忽略标签序列的自相关性,导致训练目标有偏。论文提出频域标签训练新范式FreDF,仅需一行代码即可在主流模型(如Transformer、MLP)上稳定提升预测精度。

3. 关键理论与方法
• 定理3.1证明:时域标签相关性>0时,传统损失函数有偏;频域中相关性被抑制,损失函数无偏。
• FreDF通过添加频域损失实现:融合时域与频域损失(α=0.8~0.9时效果最佳),显著提升序列高频成分捕捉能力。

4. 实验结果
ETTm1数据集:iTransformer的MSE降低0.019,相当于过去1.5年该数据集性能提升总和。
M4数据集:FreTS模型在3项指标上全面超越基线。
• 消融实验显示:仅频域损失即可显著改进性能,时频域融合进一步优化。

5. 普适性与意义
FreDF在iTransformer、DLinear等不同架构上均有效,具有模型无关性,为时序预测提供通用解决方案,可成为性能优化的”最后一棒”。

继VAE之后,Adam也拿到了ICLR 时间检验奖,OpenAI联创两次获奖

原文链接:
继VAE之后,Adam也拿到了ICLR 时间检验奖,OpenAI联创两次获奖


1. ICLR 2025时间检验奖结果公布

冠军论文:2015年提出的Adam优化算法(被引超21万次),因其革命性地提升神经网络训练效率,成为深度学习领域最广泛应用的优化器之一。作者Diederik P. Kingma(OpenAI创始成员)第二次获此殊荣,其另一贡献VAE曾获2024年该奖项。
亚军论文《Neural Machine Translation by Jointly Learning to Align and Translate》,比Transformer早三年提出注意力机制,为现代序列模型奠定基础,作者包括图灵奖得主Yoshua Bengio。

2. Adam算法的核心贡献

– 结合动量法与RMSProp,通过动态调整学习率实现高效收敛
– 适用于CV、NLP、强化学习等领域,成为SOTA模型的默认优化器
– 论文作者还包括多伦多大学助理教授Jimmy Lei Ba(Geoffrey Hinton学生)。

3. 亚军论文的里程碑意义

– 首次提出软性注意力机制,解决传统编码器-解码器的固定向量瓶颈;
– 灵感源自翻译时的”目光移动”,被Yoshua Bengio命名为”Attention”;
– AI专家Andrej Karpathy曾为其影响力未被充分认可鸣不平。

4. 作者背景亮点

Diederik P. Kingma:VAE、Glow、扩散模型贡献者,现任职Anthropic;
Dzmitry Bahdanau(亚军论文一作)披露研究细节:注意力机制灵感来自中学英语翻译练习;
Kyunghyun Cho(合著者)现为纽约大学教授兼Genentech研究总监。

(注:所有论文链接及参考来源已省略,保留于原摘要中)

35.98万元起售,2025款小鹏X9香港上市,科技旗舰全面升舱

原文链接:
35.98万元起售,2025款小鹏X9香港上市,科技旗舰全面升舱


1. 新品发布与战略布局
小鹏汽车于4月15日在香港举办全球发布会,推出2025款旗舰MPV小鹏X9,共四个版本(售价35.98万-41.98万元),并宣布以技术创新和本地化战略加速全球化。同步展示飞行汽车、AI机器人技术成果,强调AI与能源技术为核心竞争力。

2. 技术突破与未来规划
AI智驾:全栈自研72B参数大模型,2025年实现L3级智驾;推出图灵AI芯片(算力提升3倍),支持汽车、机器人及飞行汽车。
飞行汽车:分体式“陆地航母”获近4000订单,2026年量产,年产能1万台。
机器人:IRON机器人仿人设计,已投入工厂应用。

3. 全球化与补能体系
• 充电网络覆盖31国207万桩,5C超充技术实现“12分钟充80%”。
• 鲲鹏电动体系2025年落地,综合续航1400km。
• 2023年出口销量中国新势力第一,2025款X9将进军欧洲60国。

4. 2025款小鹏X9核心升级
舒适性:全系标配零重力座椅、三排180°躺平、百万级静谧底盘,496项细节重构。
智能化:标配图灵智驾(端到端大模型)、AI底盘(自适应路况)、6D防晕算法。
三电安全:全域800V平台、防弹装甲电池、46000N·m/deg车身刚度。
配置:21.4英寸娱乐屏、车载冰箱、静感空调等。

更长思维并不等于更强推理性能,强化学习可以很简洁

原文链接:
更长思维并不等于更强推理性能,强化学习可以很简洁


核心发现总结:

1. 强化学习训练导致长响应现象
研究揭示,当模型获得负奖励(答案错误)时,PPO算法会通过数学机制鼓励生成长响应,因为更长的回答能稀释每个token的惩罚,降低损失值。即使额外内容无助于解题,模型仍会”学习”这种策略。

2. 两阶段训练法的突破
提出两阶段强化学习策略
– 第一阶段:用高难度问题训练(响应变长)
– 第二阶段:用可解问题优化(响应缩短且准确度提升)
实验证明该方法能显著减少响应长度30%,同时保持或提高准确度。

3. 关键数据验证
– 简洁性与准确度正相关:短回答往往正确率更高
– 小数据集有效性:仅用4个问题训练即可提升模型性能
– 温度敏感性改善:后训练模型在零温度下表现更稳健

4. 理论机制解析
将推理问题建模为马尔可夫决策过程(MDP),揭示PPO损失函数与响应长度的动态关系。错误答案会触发”损失最小化”机制,导致响应自动延长,而非模型主动选择复杂推理。

5. 实际应用价值
该研究对降低大模型计算成本具有重大意义,同时指出当前强化学习存在的根本问题:模型优化目标是奖励最大化而非问题解决本身。

10万奖金×认知升级!OceanBase首届AI黑客松广发英雄帖,你敢来么?

原文链接:
10万奖金×认知升级!OceanBase首届AI黑客松广发英雄帖,你敢来么?


AI技术推动数据库智能化转型:从ChatGPT到GPT-4o的多模态跨越,揭示了数据质量决定智能高度的底层逻辑。OceanBase作为分布式数据库领军者,通过一体化架构(如HTAP混合负载、SQL+AI融合)重新定义AI原生数据库,实现交易与分析的无缝衔接。

OceanBase AI黑客松大赛启动:4月10日开启报名,由OceanBase与蚂蚁开源联合主办,设置10万奖池。赛事聚焦两大方向:1)以OceanBase为数据基座构建AI应用;2)探索OceanBase+AI生态共创(如与CAMEL AI、FastGPT等合作开发问答/诊断系统)。

参赛规则与激励:个人或团队(1-5人)需提交RFC+演示视频+PPT,评审标准包括创新性、技术挑战等。优胜者可获奖金、社区积分、线下展示机会及认证讲师资格。所有参赛者将获得技术导师全程支持。

资源支持:提供OceanBase官方文档、GitHub仓库、AI工作坊等学习资源,并开放专属技术论坛。大赛强调”技术共享,生态共创”,获奖作品将亮相2025 OceanBase开发者大会。

AI诺曼底时刻的“技术破壁者”:九章云极DataCanvas公司亮相2025 AI算力产业大会

原文链接:
AI诺曼底时刻的“技术破壁者”:九章云极DataCanvas公司亮相2025 AI算力产业大会


1. AI技术重构全球格局:前沿技术如”存算一体””云边端协同”正推动智能制造、智慧城市等领域的突破性应用,2025 AI算力产业大会聚焦行业痛点。

2. 九章云极技术方案:提出”弹性调度+智能开发+资源普惠”全栈布局,核心产品包括:
弹性容器集群VKS:基于Serverless架构实现秒级扩缩容,降低50%集群成本
大模型工具Aladdin:提升4倍开发效率,降低75%算力成本
创新算力包:业内首创”按度计量”模式,实现供需动态平衡

3. 技术协同效应:VKS动态伸缩+算力包按量计费+Aladdin开发插件形成完整解决方案,特别适合科技企业快速迭代。

4. 未来愿景:以”算力+算法”双核驱动,构建”弹性、流动、共生”的算力网络生态,突破行业能力边界。

合成数据助力视频生成提速8.5倍,上海AI Lab开源AccVideo

原文链接:
合成数据助力视频生成提速8.5倍,上海AI Lab开源AccVideo


1. 研究背景与问题
扩散模型在视频生成中性能卓越,但传统方法(如HunyuanVideo)需大量推理步骤去噪,导致生成5秒720p视频耗时3234秒(单A100),存在效率瓶颈。

2. 创新解决方案
上海AI Lab提出AccVideo框架,通过合成数据集SynVid和高效蒸馏技术实现:
8.5倍加速:推理速度提升至教师模型的8.5倍
低资源训练:仅需8块A100训练12天(3.84万条合成数据)
质量保持:生成5秒720p视频质量与教师模型相当

3. 关键技术突破
3.1 SynVid数据集构建
利用教师模型生成高质量视频及去噪轨迹,避免传统蒸馏中的无效数据点问题,显著提升训练效率。
3.2 少步指导机制
通过5个关键扩散时间步学习噪声-视频映射,推理步数减少10倍(m=5)。
3.3 对抗训练策略
噪声感知判别器+时间步投影头设计,避免前向扩散操作,稳定提升生成质量。

4. 实验结果
– 定性对比显示伪影更少(如手部细节)
– 较CogVideoX1.5提升画面保真度和背景效果
– 文本匹配度优于HunyuanVideo(如复古SUV呈现)

5. 开源与影响
– 已集成ComfyUI并支持Lora
– 获Reddit等社区广泛关注
– 开源地址:github.com/aejion/AccVideo

《论语·为政》:”君子不器”解

孔子曰:”君子不器。”此四字虽简,然意蕴深远。朱熹注云:”器者,各适其用而不能相通。成德之士,体无不具,故用无不周,非特为一才一艺而已。”

一、字面释义

“器”者,具体工具也。如鼎以烹,舟以渡,各有所专而不能相通。君子则不然,当如《易经》所言”穷则变,变则通,通则久”,不固守一隅。

二、历史镜鉴

三国诸葛亮可为典范。其初隐居隆中,世人只知其”卧龙”之名;及出茅庐,治国则能安邦,用兵则善奇谋,外交可联吴抗曹,内政能发展生产,正是不囿于一技之长的明证。

三、当代启示

今之职场,常见两种弊端:或如韩愈《师说》批评”术业有专攻”而”道之不明”,终成狭隘专家;或如庄子所言”吾生也有涯,而知也无涯”,贪多务得。当取其中道,以”君子不器”为圭臬。

观曾国藩生平,早年专注科举时文,中年后治军、理政、外交、洋务皆有所成,其日记云:”天下古今之庸人,皆以一惰字致败;天下古今之才人,皆以一傲字致败。”此语道破专才易生傲慢之弊。

四、实践要诀

当效法王阳明”知行合一”之道:

  • 首在破除执念,如禅宗”不立文字”般超越形式
  • 次求融会贯通,若苏轼”八面受敌”读书法
  • 终至运用自如,似庖丁解牛”以神遇而不以目视”

《菜根谭》有云:”君子之心事,天青日白,不可使人不知;君子之才华,玉韫珠藏,不可使人易知。”此中深意,正与”不器”之说暗合。

要之,”君子不器”非谓不学无术,实乃超越器用之境。如《中庸》所言”致广大而尽精微”,既能深入专业,又能跳出局限,方为真君子。

解读《论语》”己所不欲,勿施于人”的处世智慧

解读《论语》”己所不欲,勿施于人”的处世智慧

原文出处与字面释义

《论语·卫灵公》记载:”子贡问曰:’有一言而可以终身行之者乎?’子曰:’其恕乎!己所不欲,勿施于人。'”

此句直译为:自己不愿意承受的事情,也不要强加给别人。这八个字看似简单,却蕴含着儒家”恕道”的核心思想,被西方学者誉为”道德黄金律”的东方表达。

历史典故佐证

春秋时期,齐景公问政于晏子:”治国何患?”晏子对曰:”患夫社鼠。”并解释:”君之左右,出则卖君以要利,入则托君以蔽恶,此社鼠也。”这正是掌权者将自身不愿承受的欺瞒行为施加于人的典型。而管仲临终前告诫齐桓公勿用易牙、竖刁、开方三人,正是因为”人之情非不爱其子也,非不爱其身也”,自己都不愿承受的牺牲,却让他人承受,必藏祸心。

多维度的现代诠释

职场应用

唐太宗《帝范》云:”夫君者,俭以养性,静以修身。俭则人不劳,静则下不扰。”管理者若厌恶加班却要求员工熬夜,反感推诿却自己逃避责任,便是违背此道。日本经营之圣稻盛和夫创立”阿米巴经营”模式时,特别强调”作为人,何谓正确”的判断基准,正是此理的延伸。

家庭关系

《颜氏家训》有言:”父子之严,不可以狎;骨肉之爱,不可以简。”父母若童年厌恶攀比,就不该用”别人家孩子”苛责子女;子女若将来不愿被冷漠对待,此刻就应体谅父母唠叨。北宋司马光在《家范》中记载,其兄司马旦”终身未尝怒骂仆隶”,因将心比心知”彼亦人子也”。

东西方哲学呼应

德国哲学家康德的”绝对命令”提出:”要只按照你同时认为也能成为普遍规律的准则去行动。”这与”己所不欲勿施于人”异曲同工。犹太教《塔木德》亦有:”你们厌恶的事,不可对同胞做。这就是全部律法,其余都是注释。”可见人类文明对同理心的共同追求。

实践中的辩证思考

明代思想家吕坤在《呻吟语》中提醒:”恕字须带规矩,不是纵容到底。”现实中需注意:医生强忍悲痛告知患者实情,教师严格要求学生,这些看似”施人所不欲”,实则是更高层次的”仁”。故王阳明补充:”知是行的主意,行是知的功夫”,要将同理心与智慧判断相结合。

此八字真言穿越两千五百年仍焕发光彩,恰如苏轼所言:”旧书不厌百回读,熟读深思子自知。”当我们能在人际交往中常存此念,便是踏上了”修身齐家治国平天下”的阶梯之始。

扩散模型奖励微调新突破:Nabla-GFlowNet让多样性与效率兼得

原文链接:
扩散模型奖励微调新突破:Nabla-GFlowNet让多样性与效率兼得


1. 论文核心方法

提出Nabla-GFlowNet框架,通过梯度感知的流平衡条件(Nabla-DB)微调Stable Diffusion模型,在保持生成多样性的同时优化美学评分(Aesthetic Score)等奖励函数。

2. 技术亮点

– 将扩散过程建模为动态水流系统,通过残差去噪网络(Residual Nabla-DB损失函数)平衡奖励梯度与预训练模型先验。

– 创新参数化设计:利用单步去噪估计替代额外网络,简化对数流梯度计算。

3. 实验结果

定性分析:相比ReFL、DRaFT等方法,Nabla-GFlowNet生成的图像奖励更高且避免过拟合,保留自然性。

定量指标:在Aesthetic Score、HPSv2等任务中,DreamSim多样性指标提升,FID分数更低。

4. 对比优势

– 直接奖励优化方法(如DRaFT)易过拟合,传统强化学习(如DDPO)效率低下;

– Nabla-GFlowNet收敛更快,且能稳定保持预训练模型的多样性和先验分布。

5. 资源链接

– 论文地址:arXiv
– 代码开源:GitHub