6.5
深览指数
科技微博·机器之心Pro··AI 生成
从贝叶斯到大语言模型：一文详解「时序点过程」近年进展
这篇系统综述将时序点过程(TPP)近年发展归纳为三条主线：贝叶斯TPP（强调不确定性量化）、神经TPP（用深度学习提升表达能力）和大语言模型TPP（将语义理解与多模态引入事件序列建模）。文章除了梳理各路线核心架构与代价，还特别强调TPP社区缺乏统一评测基准以及未来面临的五大挑战。适合有一定机器学习基础、希望系统了解时间事件建模前沿而非碎片化概念的研究者或工程师，作为领域快照来读。原文 ↗
核心观点
- ▍时序点过程的发展正从统计、神经网络到大语言模型三条路线重新汇合，TPP不再只是预测事件时间的工具，而是一个能理解连续时间复杂事件流的通用框架。
- 01综述将近年TPP工作分为Bayesian TPP、Neural TPP和LLM-based TPP三大类，分别对应不确定性量化、表达能力和语义理解的核心诉求。
- 02在Neural TPP中，RNN/LSTM等循环结构训练难以并行，而Transformer结构训练复杂度随序列长度二次增长，两类架构在超长序列场景（如高频交易、日志监控）上均存在显著局限。
- 03LLM-based TPP可细分为"LLM启发型"（如用prompt learning增强现有神经TPP）和"LLM集成型"（如Language-TPP将时间编码为byte-level tokens由LLM统一建模），后者的优势在于能处理自然语言描述和多模态上下文。
- 04TPP评测面临数据集碎片化、预处理不一致、指标定义不统一的问题，EasyTPP等统一基准工具开始出现，但标准化的重要性不亚于新模型本身。
- 05论文总结的经验判断：在复杂数据的下一事件预测上，Transformer-based TPP通常优于经典参数模型；直接建模条件密度或累计强度的模型通常训练更高效；LLM-based TPP在纯时间预测基准上的优势尚未明确。
- 06TPP的两大应用方向包括事件预测（社交网络、金融、地震）和因果发现（神经科学中神经元连接推断、AIOps中根因定位）。
反方 / 局限
- — 论文提醒，LLM引入后，事件序列检索、问答、多模态推理等任务被纳入讨论，但这些不一定是严格意义上的点过程问题，未来需要更清楚地区分哪些任务本质上是TPP，哪些只是将TPP作为更大系统中的一个组件。
- — 神经TPP往往将动态编码进高维隐状态，难以解释过去事件如何影响未来强度，这一可解释性问题在因果发现和科学建模中尤其关键。
- — 扩散模型通过迭代去噪生成整段事件序列，但存在计算开销大、时间一致性难保证、似然评估不直接等局限，在TPP中的应用仍存在显著挑战。
时序点过程 (Temporal Point Processes)泊松过程 (Poisson process)霍克斯过程 (Hawkes process)贝叶斯非参数方法条件强度函数格里杰因果关系 (Granger causality)TransformerMambaLanguage-TPPPromptTPPLAMPEasyTPPTMLR (Transactions on Machine Learning Research)中国人民大学广东工业大学东南大学
14 分钟 · 5 卡片 · 9 资料
读原文 →