AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

作者曾秋琳，毕业于哈尔滨工业大学，硕士毕业于新加坡国立大学。在王博授和凌晓峰院士的指导下，博士期间主要围绕随机时间变化的分布问题展开理论论证、方法和应用的研究。目前已在iclr/aaai/ieee tnnls发表多篇学术论文。

个人主页：https://hardworkingpearl.github.io/

在现实世界的机器学习应用中，随时间变化的分布偏移是常见的问题。这种情况被构建为时变域泛化（EDG），目标是通过学习跨领域的潜在演变模式，并利用这些模式，使模型能够在时间变化系统中对未见目标域进行良好的泛化。然而，由于 EDG 数据集中时间戳的数量有限，现有方法在捕获演变动态和避免对稀疏时间戳的过拟合方面遇到了挑战，这限制了它们对新任务的泛化和适应性。

为了解决这个问题，我们提出了一种新的方法 SDE-EDG，它通过连续插值样本收集数据分布的无限细分网格演变轨迹（IFGET），以克服过拟合的问题。此外，通过利用随机微分方程（SDEs）捕获连续轨迹的固有能力，我们提出了将 SDE 建模的轨迹通过最大似然估计与 IFGET 的轨迹对齐，从而实现捕获分布演变趋势。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文标题：Latent Trajectory Learning for Limited Timestamps under Distribution Shift over Time

• 论文链接：https://openreview.net/pdf?id=bTMMNT7IdW

• 项目链接：https://github.com/HardworkingPearl/SDE-EDG-iclr2025

方法

核心思想

为了克服这一挑战，SDE-EDG 提出了一种新颖的方法，通过构建无限细分网格演变轨迹（Infinitely Fined-Grid Evolving Trajectory, IFGET），在潜在表示空间中创建连续插值样本，以弥合时间戳之间的间隔。此外，SDE-EDG 利用随机微分方程（Stochastic Differential Equations, SDEs）的内在能力来捕捉连续的轨迹动态，通过路径对齐正则化器将 SDE 建模的轨迹与 IFGET 对齐，从而实现跨域捕获演变分布趋势。

方法细节

1. 构建 IFGET：

首先，SDE-EDG 在潜在表示空间中为每个样本建立样本到样本的对应关系，收集每个个体样本的演变轨迹。对于时刻的每个类别 k 的任一样本，我们搜索时刻在特征空间离其最近的为其在的对应样本：

这里是计算两个向量之间的距离，是从下个领域采样的个样本的集合。

然后，利用这种对应关系生成连续插值样本，旨在连接时间戳间隔之间的时间间隙，避免对稀疏时间戳的过拟合，

这里采样自 Beta 分布。通过收集通过以上方式产生的样本的时序轨迹，我们得到 IFGET。

2. 使用 SDE 建模轨迹：

SDE-EDG 采用神经 SDE 来模拟数据在潜在空间中的连续时间轨迹。与传统的基于离散时间戳的模型不同， SDE 天然适合于模拟连续的时间轨迹。SDE-EDG 建模了时序轨迹，可以通过时刻的样本预测任意未来时刻的样本：

这里特征空间变量是由时刻的样本预测得到，是 drift function，是 diffusion function。

3. 路径对齐与最大似然估计：

SDE-EDG 通过最大化 IFGET 的似然估计来训练模型，

最终训练函数是，第一项是预测分类任务误差损失函数。

4. 实验

• 下表展示了 SDE-EDG 与其他基线方法在多个数据集上分类准确率的比较。这些数据集包括 Rotated Gaussian (RG), Circle (Cir), Rotated MNIST (RM), Portraits (Por), Caltran (Cal), PowerSupply (PS), 和 Ocular Disease (OD)。结果显示，SDE-EDG 在所有数据集上的平均准确率均优于其他方法。

• 下图提供了一个直观的比较，展示了 SDE-EDG 算法（左）与传统 DG 方法 IRM（右）在特征表示方面的差异。通过数据特征空间的可视化，我们可以观察到 SDE-EDG 学习到的特征表示具有明显的决策边界，其中不同类别的数据点被清晰地区分开来，以不同形状表示，并且不同域的数据以彩虹条的颜色区分。这表明 SDE-EDG 能够成功捕捉数据随时间演变的动态，并在特征空间中保持类别的可分性。相比之下，IRM 的特征表示则倾向于将数据点坍缩到单一方向，导致决策边界不明显，这反映出 IRM 在捕捉时变分布趋势方面的不足。

• 下图通过一系列子图深入展示了 SDE-EDG 算法在捕捉数据随时间演变的能力方面的优势。子图 (a) 提供了 Sine 数据集的真实标签分布，其中正例和负例用不同颜色的点表示，为后续的比较提供了基准。接着，子图 (b) 和 (c) 分别展示了基于 ERM 的传统方法和 SDE-EDG 算法对同一数据集的预测结果，通过对比可以看出 SDE-EDG 在捕捉数据演变模式上的明显优势。子图 (d) 和 (e) 进一步揭示了 SDE-EDG 学习到的演变路径，其中 (d) 展示了应用了路径对齐损失（最大似然损失函数）后的路径，而 (e) 展示了未应用该损失时的路径。通过这一对比，可以直观地看到路径对齐损失对于确保模型能够正确捕捉和表征数据随时间变化的重要性。

• 下图子图 (a) 展示了在 Portraits 数据集上，使用不同算法进行训练时的准确率收敛轨迹。这个子图提供了一个直观的视角，用以比较 SDE-EDG 算法与其他基线方法（如 ERM、MLDG、GI）在训练过程中性能的变化情况。通过观察训练准确率随时间推移的增长趋势，我们可以评估不同算法的学习能力和收敛速度。SDE-EDG 算法的收敛轨迹尤其值得关注，因为它揭示了该算法在适应不断演变的数据分布时的效率和稳定性。

  下图子图 (b) 和 (c) 分别展示了 RMNIST 和 Circle 数据集上，SDE-EDG 算法在这些数据集上的表现显示出其在处理时变分布时的优越性，即使在面对较大时间跨度的目标域时，也能保持较高的准确率，这表明了 SDE-EDG 算法在捕捉和适应数据演变模式方面的强大能力。

  下图子图 (d) 和 (e) 探讨了最大似然损失（Maximum Likelihood Loss）在 RMNIST 和 PowerSupply 数据集上对 SDE-EDG 性能的影响。通过改变正则化权重 α 的值，这两个子图展示了不同 α 设置对模型性能的具体影响。实验结果表明，适当的 α 值可以显著提高 SDE-EDG 在特定数据集上的性能，这强调了在实际应用中根据数据集特性和任务需求调整超参数的重要性。

结论

论文作者提出了一种新的 SDE-EDG 方法，用于建模时变域泛化（EDG）问题。方法涉及通过识别样本到样本的对应关系并生成连续插值样本来构建 IFGET。随后，作者采用随机微分方程（SDE）并将其与 IFGET 对齐进行训练。文章的贡献在于揭示了通过收集个体的时间轨迹来捕获演变模式的重要性，以及在时间间隔之间进行插值以减轻源时间戳数量有限的问题，这有效地防止了 SDE-EDG 对有限时间戳的过拟合。

相关文章： 文章AI扩写：突破创作瓶颈，提升写作效率的秘密武器  3D模型AI建模技术革新与行业应用未来展望,爱学仕ai  AI赋能动画制作，开启动画行业新的技术革新,用ai写作 好不好  揭开“好的AI软件”背后的秘密：让生活和工作更智能的利器  零基础入门，AI算法训练与智能统构建指南,cubase ai获取  文心一言，财务领域的智能应用与创新探索,mo ai ni  能写方案的AI：为企业赋能的智能助手  AI生成的文章是原创吗？揭示背后的真相与未来趋势  文心一言资格获取全攻略，时长与流程深度解析,ai怎样进行切割  SEM和SEO哪个好？深度解析两者的优势与适用场景  J*aAI大模型实战，未来智能时代导航手册,mix3左侧ai键  3090Ti显卡在AI模型训练中的性能深度剖析,ai应用科技  AI着色模型的无限魅力，技术揭秘与应用前瞻,ai csgovsdd  文心一言与微词，内涵与外延的细致解析,ai里的线条  文心一言，引领电脑端智能写作新时代,ai3高压版  好用的AI写作软件，让创作更高效  解锁开源AI大模型，使用指南揭秘无限潜能,ai小狗模型  文心一言领航AI浪潮，揭秘人工智能概念股投资新趋势,腾讯手机ai  文心一言沟通攻略，轻松对话技巧大揭秘,王者ai配合  网站的原始数据：如何利用数据洞察提升网站价值  AI建模引领智能时代革新之旅,ai_0888  SEO与SEM有什么相同与不同？深入解析搜索引擎优化与搜索引擎营销的区别与联系  文心一言，引领智能时代新篇章,咪学Ai  从零开始，个人AI模型构建全攻略,山东ai全网通价格  AI赋能艺术创作，卡通狮子雕塑模型的创新之旅,可灵ai视频与ai绘画  一招轻松卸载小爱AI大模型，释放空间！,ai 热气  AI赋能语文教学，文心一言揭秘高效出题之道,hr行业ai开放平台  AI小模型在多元场景下的创新应用探索,ai文章图  文心一言，智能助手引领学术学习新篇章,ai lpl比赛  AI物体识别模型制作指南，理论与实践深度解析,ai缩小png  网站站内信功能，让用户沟通更加高效与便捷  文心一言，开启学生智能学习新时代，共谱学业成长新篇章,打开ai写作模式的软件  AI大模型，开启个人智能助手新时代,用ai制作狗  AI声音模型文件轻松解压攻略，实用技巧大揭秘,ai韵尾 成语  人工智能写作五大亮点揭秘，文心一言深度解析,8ai2huoga  商汤AI大模型引领科技投资新风口，概念股解析,AI词库聊天姬  AI语音模型，人工智能领域的核心技术探秘,ai少女另存为新档  画科比寺庙拜佛，文心一言中的之旅,圆球ai  文心一言全新升级，揭秘内容创作新亮点,ai图案凹凸  文心一言与问心一格，人工智能对话统的比较分析,小ai脱发  文心一言引领创新教育，告别传统作业，拥抱未来学习方式,安徽ai编程课程是什么  怎么用AI缩写文章，轻松提高效率的全新方法  文心一言赋能股票网格交易，开启智能财富增长新篇章,Ai54326...  智能营销新，AI大模型引领营销效能,ai尖笔画  AI大模型，成就下的隐忧与解析,下载ai智能写作软件  文章自动生成AI：助力写作新时代，让创作更高效  在线AI文章生成：内容创作新革命  AI绘画技术，重塑真实人物艺术的新,ai白色紧身  AI批量文章工具，让写作变得高效与轻松,cs机器人ai  AI模型推理性能深度优化策略与解析,ai学习帮