Como um novo modelo de IA está domesticando o caos dos dados da série temporal

Tabela de links

Resumo e 1. Introdução

2. Trabalho relacionado
3. Metodologia
4. Configuração experimental e resultados
5. Conclusão e trabalho futuro

Agradecimentos

Declaração de reprodutibilidade

Declaração de impacto e referências

Resumo

Nós apresentamos MOMENTOuma família de modelos de fundação de código aberto para análise de séries temporais de uso geral. Os grandes modelos de pré-treinamento em dados de séries temporais são desafiadores devido à (1) a ausência de um grande e coesivo repositório de séries temporais do público e (2) diversas características de séries temporais que tornam o treinamento multi-dados onerosos. Além disso, (3) os benchmarks experimentais para avaliar esses modelos, especialmente em cenários com recursos limitados, tempo e supervisão, ainda estão em seus estágios nascentes. Para enfrentar esses desafios, compilamos uma coleção grande e diversificada de séries temporais públicas, chamado The Time Series Pile, e enfrentamos sistematicamente os desafios específicos da série temporal para desbloquear pré-treinamento de vários dados em larga escala. Por fim, desenvolvemos trabalhos recentes para projetar uma referência para avaliar os modelos de fundação de séries temporais sobre diversas tarefas e conjuntos de dados em configurações de supervisão limitadas. As experiências sobre esse benchmark demonstram a eficácia de nossos modelos pré-treinados com dados mínimos e ajustes finos específicos da tarefa. Finalmente, apresentamos várias observações empíricas interessantes sobre grandes modelos de séries temporais pré -tenhadas. Modelos pré-treinados (AutonLab/Moment-1-Large) e pilha de séries temporais (AutonLab/Timeseries-Pile) estão disponíveis em

1. Introdução

A análise de séries temporais é um campo importante que abrange uma ampla gama de aplicações que variam de padrões climáticos de previsão (Schneider & Dickinson, 1974) ou detecção de batimentos cardíacos irregulares usando eletrocardiogramas (Goswami et al., 2021), para identificar dependentes de software anômalos (Xu et al. Devido ao seu valor prático significativo e aos desafios únicos que a modelagem de dados temporais representa, a análise de séries temporais continua a receber interesse substancial da academia e da indústria. No entanto, modelar esses dados normalmente requer experiência substancial de domínio, tempo e design específico da tarefa.

” alt=”” aria-hidden=”true” />

Grandes idiomas pré-treinados (Touvron et al., 2023; Devlin et al., 2019; Chung et al., 2022), Vision (Li et al., 2023a) e vídeo (Day et al., 2023) modelos, tipicamente executam bem em várias tarefas em dados de diversos domínios, com pouca ou sem supervisão, e eles podem ser executados em uma variedade de tarefas em diversos dados específicos, com pouca ou sem supervisão e não podem ser executados e que podem ser executados em uma variedade de tarefas em diversos diversos, com poucas ou sem supervisão, e que podem ser executados em uma variedade de tarefas em diversos diversos, com poucos domínios, com pouca ou sem supervisão, e executam a execução. Desbloqueamos esses recursos importantes para dados de séries temporais e lançamos o Primeira família de grandes modelos de séries temporais de formação aberta de código abertoque chamamos de momento. Os modelos nesta família (1) servem como um bloco de construção para diversos Análise de séries temporais tarefas (por exemplo, previsão, classificação, detecção de anomalia e imputação, etc.), (2) são efetivos pronta para usoou seja, sem (ou poucos) exemplos específicos específicos de tarefas (ativando EG, previsão de tiro zero, classificação de poucos anos, etc.) e (3) são sintonizável usando dados específicos de distribuição e tarefa para melhorar o desempenho.

O momento é uma família de modelos de transformadores de alta capacidade, pré-treinados usando uma tarefa de previsão de séries temporais mascarada em grandes quantidades de dados de séries temporais extraídas de diversos domínios. Abaixo, resumimos nossas principais contribuições.

C1: dados de pré-treinamento. Um fator limitador-chave para modelos de séries temporais pré-treinamento do zero foi a falta de um grande coesivo repositórios de dados de séries temporais públicas (Zhou et al., 2023; Gruver et al., 2023; Jin et al., 2023; Ekambaram et al., 2024; Cao et al., 2023). Portanto, nós compilamos A pilha de séries temporaisuma grande coleção de dados publicamente disponíveis de diversos domínios, variando de assistência médica à engenharia e financiamento. A pilha de séries temporais é composta por mais de 5 bancos de dados de séries temporais públicas, de diversos domínios para pré-treinamento e avaliação (TAB. 11).

C2: pré-treinamento com vários dados. Ao contrário do texto e das imagens, que têm taxas de amostragem amplamente consistentes e número de canais, as séries temporais freqüentemente variam em sua resolução temporal, o número de canais[1]comprimentos e amplitudes, e às vezes têm valores ausentes. Como resultado, o pré-treinamento de conjunto de dados misto em larga escala é amplamente inexplorado. Em vez disso, a maioria dos métodos é treinada em um único conjunto de dados e transferido em vários conjuntos de dados, mas com sucesso modesto (Wu et al., 2023; Oreshkin et al., 2021; Narwariya et al., 2020).

C3: Avaliação. Os benchmarks holísticos para avaliar os modelos de fundação de séries temporais em diversos conjuntos de dados e tarefas estão em seus estágios nascentes. Estudos recentes (Goswami et al., 2023b) destacaram a importância de benchmarks bem definidos e experimentação em larga escala, a fim de avaliar com precisão o impacto e a eficácia de novas metodologias. Para avaliar o momento, construímos o benchmark de modelagem de séries temporais de várias tarefas proposto pela primeira vez por Wu et al. (2023) ao longo de várias dimensões. For each of the 5 time series modeling tasks, namely, short- and long-horizon forecasting, classification, anomaly detection, and imputation we evaluate MOMENT against (1) both state-of-the-art deep learning as well as statistical baselines, on (2) more task specific datasets, (3) using multiple evaluation metrics, (4) exclusively in limited supervision settings (eg, zero-shot imputation, linear probing for Previsão, representação não supervisionada aprendizado para classificação).

Finalmente, exploramos várias propriedades desses modelos de séries temporais pré-treinadas. Em particular, estudamos se o momento está ciente das características intuitivas de séries temporais, como frequência e tendência, e o impacto da inicialização, escala de tamanho do modelo e transferência cruzada.

[1] A resolução temporal reflete a frequência de amostragem de séries temporais (por exemplo, a cada hora, diariamente); O canal é uma única série temporal univariada em dados multivariados (Ekambaram et al., 2024).