RT Dissertation/Thesis
T1 Deep Attentive Time Series Modelling for Quantitative Finance
A1 Moreno Pino, Fernando
AB Time series modelling and forecasting is a persistent problem with extensiveimplications in scientific, business, industrial, and economic areas. This thesis’s contributionis twofold. Firstly, we propose a novel probabilistic time series forecastingmethodology that introduces the use of Fourier domain-based attention models,merging classic signal processing spectral filtering techniques with machine learningarchitectures. Secondly, we take advantage of the abundance of financial intradayhigh-frequency data to develop deep learning-based solutions for modelling financialtime series. Machine learning methods can potentially enhance the performanceof traditional methodologies used by practitioners. Deep neural networks’ featureextraction capabilities, which can benefit from the rising accessibility of highfrequencydata, and attention mechanisms, which help to model temporal patterns,are mostly to blame for this.Concerning our first major contribution, this thesis empirically demonstratesthat spectral domain-based machine learning models can learn the properties of timeseries datasets and integrate this information to improve the forecasting accuracy.Simultaneously, Fourier domain-based models alleviate some of the inconveniencescommonly associated with deep autoregressive models. These architectures, proneto prioritising recent past data, often ignore critical global information not containedin previous time steps. Additionally, they are susceptible to error accumulationand propagation and may not yield illustrative results. The proposed model, theSpectral Attention Autoregressive Model (SAAM), mitigates these problems bycombining deep autoregressive models with a Spectral Attention (SA) module. Thismodule uses two attention models operating over the Fourier domain representationof the time series’ embedding. Through spectral filtering, SAAM differentiatesbetween the components of the frequency domain that should be considered noiseand subsequently filtered out, and the global patterns that are relevant and shouldbe incorporated into the predictions. Empirical evaluation proves how the proposedSpectral Attention module can be integrated into various deep autoregressivemodels, consistently improving the results of these base architectures and achievingstate-of-the-art performance.Afterwards, this thesis shifts toward showcasing the benefits of machine learningsolutions in two different quantitative finance scenarios, proving how attention-based deep learning approaches compare favourably to classic parametric-based models and providing solutions for various algorithmic and high-frequency trading problems. In the context of volatility forecasting, which plays a central role among equity risk measures, we show that Dilated Causal Convolutional-based neural networks offer significant performance gains compared to well-established volatility-oriented parametric models. The proposed model, called DeepVol, showcases how data- driven models can avoid the limitations of classical methods by taking advantage of the abundance of high-frequency data. DeepVol outperforms baseline methods while exhibiting robustness in the presence of volatility shocks, showing its ability to extract universal features and transfer learning to out-of-distribution data. Consequently, data-driven approaches should be carefully considered in the context of volatility forecasting, as they can be instrumental in the valuation of financialderivatives, risk management, and the formation of investment portfolios.Finally, this thesis presents a survival analysis model for estimating the distri- bution of fill times for limit orders posted in the Limit Order Book (LOB). The proposed model, which does not make assumptions about the underlying stochastic processes, employs a convolutional-Transformer encoder and a monotonic neural network decoder to relate the time-varying features of the LOB to the distribution of fill times. It grants practitioners the capability of making informed decisions between market orders and limit orders, which in practice entails a trade-off between immediate execution and price premium. We offer an exhaustive comparison of the survival functions resulting from different order placement strategies, offering insight into the fill probability of orders placed within the spread. Empirical evaluation reveals the superior performance of the monotonic encoder-decoder convolutional- Transformer compared to state-of-the-art benchmarks, leading to more accuratepredictions and improved economic  value.
AB El modelado y predicción de series temporales es un problema persistente con ampliasimplicaciones en áreas científicas, comerciales, industriales y económicas. Esta tesispropone una doble contribución en este ámbito. En primer lugar, formulamos unanovedosa metodología para la predicción probabilística de series temporales queintroduce el uso de modelos de atención basados en el dominio de la frecuencia,con la transformada de Fourier desempeñando un papel fundamental. El modelopropuesto fusiona técnicas clásicas de filtrado espectral, pertenecientes al campodel procesado de señal, con modelos de aprendizaje automático. En segundo lugar,desarrollamos varias soluciones basadas en aprendizaje profundo para el modeladode datos financieros intradía, aprovechando la cada vez mayor disponibilidad de losmismos. Los métodos de aprendizaje automático poseen el potencial para mejorar losresultados obtenidos por las metodologías clásicas que los profesionales del ámbitode las finanzas cuantitativas acostumbran a utilizar. La capacidad de extracciónde características de las redes neuronales, que pueden aprovechar la crecienteaccesibilidad a los datos financieros de alta frecuencia, y el uso de los mecanismosde atención para el modelado temporal, son los principales responsables de ésto.En lo relativo a la primera de las contribuciones mencionadas anteriormente, esdecir, el uso de modelos de aprendizaje automático que operan sobre el dominio de lafrecuencia, esta tesis demuestra de manera empírica que los modelos de aprendizajeprofundo basados en el dominio espectral pueden aprender de forma más eficientelas propiedades de las series temporales a predecir. De esta manera, logran mejorarla precisión de las predicciones a la vez que solventan varios de los problemasque lastran el rendimiento de los modelos autoregresivos. Estas arquitecturas sonpropensas a sobreponderar los datos del pasado inmediato, ignorando a menudovaliosa información global que no está contenida en estas observaciones recientes.Además, son susceptibles a la acumulación y propagación de errores. Finalmente,los resultados que producen son difícilmente interpretables. Proponemos un nuevomodelo, llamado “Spectral Attention Autoregressive Model”(SAAM) (ModeloAutorregresivo con Atención Espectral), que mitiga estos problemas combinandomodelos autorregresivos basados en aprendizaje profundo con un módulo de AtenciónEspectral. Dicho módulo contiene dos modelos de atención que operan sobre larepresentación en el dominio de Fourier del “embedding” obtenido a partir de la serie temporal a predecir. Usando técnicas de filtrado espectral, SAAM diferencia entrelos componentes del espectro que deben ser considerados ruido, y por consiguientedeben ser filtrados, y aquellos patrones globales que son relevantes y deben serincorporados en las predicciones. Mediante una exhaustiva evaluación empírica,demostramos que nuestro modelo de Atención Espectral puede ser integrado endiversos modelos autorregresivos que forman parte del estado del arte actual,mejorando de forma consistente los resultados obtenidos.En lo relativo a la segunda contribución principal de esta tesis doctoral, demostramoslos beneficios que las metodologías de aprendizaje automático basadasen modelos de atención pueden aportar en dos problemas propios de las finanzascuantitativas. Diversos experimentos demuestran cómo este tipo de modelos puedenmejorar los resultados obtenidos por los modelos clásicos empleados en este campo,proporcionando soluciones innovadoras para diversos problemas recurrentes dentrodel trading algorítmico de alta frecuencia.La predicción de volatilidad en mercados financieros es el primero de estosproblemas en ser abordado en la presente tesis. La estimación de volatilidaddesempeña un papel central entre las medidas de riesgo utilizadas en los mercadosde renta variable. En esta tesis demostramos que las redes neuronales basadasen “Dilated Causal Convolutions” (Convolucionales Causales Dilatadas) ofrecenganancias significativas en comparación con los modelos paramétricos clásicosdesarrollados única y exclusivamente para predicción de volatilidad. El modelopropuesto, llamado DeepVol, evidencia que el uso de modelos de aprendizajeprofundo puede evitar las numerosas limitaciones propias de los métodos clásicos,logrando aprovechar la abundancia de datos de alta frecuencia para aprender lasfunciones deseadas. DeepVol supera a todos los modelos de referencia usadoscomo comparativa, a la vez que exhibe robustez en períodos que contienen shocksde volatilidad, demostrando su capacidad para extraer características universalescomunes a diferentes instrumentos financieros. Los resultados obtenidos en estaparte de la tesis nos llevan a concluir que los modelos de aprendizaje automáticodeben considerarse cuidadosamente en el contexto de predicción de volatilidad,pudiendo ser especialmente relevantes en la valoración de derivados financieros,gestión del riesgo, y creación de carteras de inversión.Para terminar, esta tesis presenta un modelo de análisis de supervivencia paraestimar la distribución de probabilidad de ejecución subyacente a órdenes limitadaspublicadas en el conocido como “Limit Order Book” (Libro de Órdenes Limitadas).El modelo propuesto, que no necesita partir de suposiciones sobre los procesosestocásticos subyacentes, emplea una arquitectura codificador/decodificador queutiliza un “Transformer” convolutional para codificar la información del libro deórdenes y una red monotónica que decodifica la función de supervivencia a estimar.
YR 2023
FD 2023-02
LK https://hdl.handle.net/10016/37406
UL https://hdl.handle.net/10016/37406
LA eng
NO Mención Internacional en el título de doctor
DS e-Archivo
RD 1 sept. 2024