开云集团「中国」Kaiyun·官方网站旨在贬责时期序列展望中的复杂时期变化问题-开云集团「中国」Kaiyun·官方网站

Transformer 很强开云集团「中国」Kaiyun·官方网站，Transformer 很好，但 Transformer 在处理时序数据时存在一定的局限性。如推测复杂度高、对长序列数据处理不够高效等问题。

而在数据驱动的时期，时序展望成为好多限制中不行或缺的一部分。

于是乎，蚂蚁同清华连合推出一种纯 MLP 架构的模子 TimeMixer，在时序展望上的性能和效率两方面全面卓绝了 Transformer 模子。

他们诱骗对时序趋势周期特点的领会以及多圭臬混杂的设想模式，不仅在诟谇程展望性能上大幅升迁，并且基于纯 MLP 架构好意思满了接近于线性模子的极高效率。

来康康是如何作念到的？

纯 MLP 架构卓绝 Transformer

TimeMixer 模子罗致了一个多圭臬混杂架构，旨在贬责时期序列展望中的复杂时期变化问题。

该模子主要罗致全 MLP（多层感知机）架构，由当年可领会混杂 Past Decomposable Mixing (PDM) 和改日多展望器混杂 Future Multipredictor Mixing (FMM) 两大块组成，简略有用期骗多圭臬序列信息。

其中 PDM 模块，正经提真金不怕火当年的信息并将不同圭臬上的季节性和趋势组分永诀混杂。

PDM 以季节和趋势混杂为能源，将详备的季节信息由细到粗冉冉团员，并期骗较粗圭臬的先验学问深远挖掘宏不雅趋势信息，最终好意思满当年信息提真金不怕火中的多圭臬混杂。

FMM 则是多个展望器的集合，其中不同的展望器基于不同圭臬的当年信息，使 FMM 简略集成混杂多圭臬序列的互补展望功能。

实验成果

为了考据 TimeMixer 的性能，团队在包含长程展望，短程展望，多元时序展望以及具未必空图结构的 18 组基准数据集上进行了实验，包括电力负荷展望、所在数据展望和股票价钱展望等。

实验戒指标明，TimeMixer 在多个蓄意上全面卓绝了现时开端进的 Transformer 模子，具体证明如下：

展望精度：在扫数测试的数据集上，TimeMixer 均证明出更高的展望精度。以电力负荷展望为例，TimeMixer 比拟于 Transformer 模子，平均完全错误（MAE）镌汰了约 15%，均方根错误（RMSE）镌汰了约 12%。

推测效率：收获于 MLP 结构的高效推测特点，TimeMixer 在磨真金不怕火时期和推理时期上均显赫优于 Transformer 模子。实验数据露出，在疏通硬件条目下，TimeMixer 的磨真金不怕火时期减少了约 30%，推理时期减少了约 25%。

模子可讲解性：通过引入 Past Decomposable Mixing 和 Future Multipredictor Mixing 工夫，TimeMixer 简略更好地讲解不同期间圭臬上的信息孝顺，使得模子的决策经过愈加透明和易于知道。

泛化能力：在多个不同类型的数据集上进行测试，TimeMixer 均证明出细致的泛化能力，简略稳当不同的数据散布和特征。这标明 TimeMixer 在试验应用中具有日常的适用性。

长程展望：为了确保模子比较的公正性，使用步调化参数进行实验，休养输入长度、批量大小和磨真金不怕火周期。此外，鉴于各式扣问的戒指时常源于超参数优化，该扣问还包括了概述参数搜索的戒指。

短程展望：多变量数据

短程展望：单变量数据

消融实验：为了考据 TimeMixer 每个组件的有用性，咱们在扫数 18 个实验基准上对 Past-Decomposable-Mishing 和 Future-Multipredictor-Mishing 模块中的每种可能的设想进行了详备的消融扣问。

模子效率：团队将磨真金不怕火阶段的初始内存和时期与最新开端进的模子进行比较，其中 TimeMixer 在 GPU 内存和初始时期方面，关于各式系列长度（规模从 192 到 3072）历久证明出细致的效率），此外还具有历久和短期展望任务一致的开端进性能。

值得翔实的是，TimeMixer 手脚深度模子，在效率方面证明出接近全线性模子的戒指。这使得 TimeMixer 在各式需要高模子效率的场景中大有出路。

好了，TimeMixer 为时序展望限制带来了新的想路，也展示了纯 MLP 结构在复杂任务中的后劲。

改日，跟着更多优化工夫和应用场景的引入，治服 TimeMixer 将进一步鼓舞时序展望工夫的发展，为各行业带来更大的价值。

本口头赢得了蚂集合团智能引擎干事部旗下 AI 改换研发部门 NextEvo 守旧。

蚂集合团 NextEvo-优化智能团队正经蚂蚁运筹优化、时序展望以及展望优化相诱骗的智能决策等工夫方针，团队职责涵盖算法工夫、平台就业和贬责决议的研发。

论文地址：

https://arxiv.org/abs/2405.14616v1

https://github.com/kwuking/TimeMixer

告白声明：文内含有的对外跳转衔接（包括不限于超衔接、二维码、口令等边幅），用于传递更多信息，纯粹甄选时期，戒指仅供参考开云集团「中国」Kaiyun·官方网站，IT之家扫数著述均包含本声明。