Las ecuaciones diferenciales neuronales son una familia de modelos de aprendizaje automático en la que la evolución de un estado interno se describe mediante una ecuación diferencial cuyo término dinámico está parametrizado por una red neuronal artificial. A diferencia de las arquitecturas profundas basadas en una sucesión discreta de capas, estos modelos representan la transformación de la información de forma continua.

Su formulación más conocida es la de las ecuaciones diferenciales ordinarias neuronales (neural ordinary differential equations o neural ODEs), introducidas en 2018. En este enfoque, el estado oculto evoluciona según una ecuación diferencial ordinaria cuyo campo dinámico es aproximado por una red neuronal.

Historia

El desarrollo contemporáneo de este campo suele situarse en 2018, con la publicación del trabajo de Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt y David Duvenaud sobre las Neural ODEs.

Posteriormente se propusieron varias extensiones del enfoque original, entre ellas las Augmented Neural ODEs (ANODEs), que amplían el espacio de estados mediante dimensiones auxiliares, las Latent ODEs para el tratamiento de series temporales con muestreo irregular, las Neural Controlled Differential Equations para secuencias irregulares, y las ecuaciones diferenciales universales, que combinan términos mecanicistas con componentes aprendidos.

Revisiones posteriores han consolidado el campo como un marco general de modelado continuo que incluye variantes ordinarias, controladas y estocásticas.

Variantes

Dentro de este campo suelen distinguirse varias familias de modelos continuos. Las neural ODEs constituyen la formulación básica basada en ecuaciones diferenciales ordinarias. Entre sus extensiones se encuentran las Augmented Neural ODEs (ANODEs), que amplían el espacio de estados mediante dimensiones auxiliares, las Latent ODEs, que introducen variables latentes para el tratamiento de series temporales con muestreo irregular, las Neural Controlled Differential Equations, las ecuaciones diferenciales universales y las variantes estocásticas.

Las Augmented Neural ODEs (ANODEs) amplían el espacio de estados añadiendo dimensiones auxiliares al vector de activación. De forma esquemática, esta ampliación puede escribirse como:

donde representa el estado aumentado, formado por el estado original y por dimensiones auxiliares añadidas. Esta extensión se propuso para mitigar ciertas limitaciones de expresividad de las neural ODEs estándar, asociadas a que la dinámica continua preserva determinadas propiedades topológicas del espacio de entrada.

En las Latent ODEs, la dinámica no se modela directamente sobre las observaciones, sino sobre un estado latente continuo. De forma esquemática, este puede escribirse como:

donde representa el estado latente del sistema. En este enfoque, el estado inicial se infiere a partir de las observaciones mediante un codificador, y las observaciones en tiempos posteriores se reconstruyen a partir de la trayectoria latente continua.

En este enfoque, las observaciones no se obtienen directamente de la dinámica latente, sino mediante un decodificador probabilístico aplicado al estado oculto en cada instante. De forma esquemática, puede escribirse como:

donde representa el estado latente evaluado en el tiempo . Esta formulación permite interpretar las Latent ODEs como un modelo generativo continuo en el que la trayectoria latente se integra primero y las observaciones se reconstruyen después a partir de ella.

Otra extensión importante la constituyen las Neural Controlled Differential Equations, orientadas al tratamiento continuo de trayectorias observadas de forma irregular. De forma esquemática, su dinámica puede escribirse como:

donde representa una interpolación continua construida a partir de la serie observada. Esta formulación resulta especialmente adecuada para incorporar observaciones irregulares o parcialmente observadas dentro de una dinámica continua.

En las ecuaciones diferenciales universales, una parte de la dinámica se describe mediante términos conocidos del modelo y otra mediante una componente aprendida. De forma esquemática, pueden escribirse como:

donde representa la parte mecanicista del sistema y la componente parametrizada por una red neuronal.

Entre las extensiones del marco también se encuentran las ecuaciones diferenciales estocásticas neuronales (neural stochastic differential equations o neural SDEs), en las que la dinámica incorpora un término aleatorio para modelar incertidumbre o perturbaciones no deterministas. De forma esquemática, pueden expresarse como:

donde representa un proceso de Wiener y parametriza el término estocástico. Estas variantes se han propuesto especialmente para la modelización de dinámicas temporales con incertidumbre.

Revisiones recientes han consolidado este conjunto de variantes como parte de un marco general de modelado continuo para el análisis de series temporales.

La siguiente tabla resume las diferencias principales entre estas familias:

Familia Representación del estado Contexto característico Rasgo distintivo Neural ODE Estado oculto continuo Transformaciones continuas y modelado de sistemas dinámicos El campo dinámico se parametriza mediante una red neuronal y se integra como una ecuación diferencial ordinaria ANODE Estado continuo aumentado con dimensiones auxiliares Transformaciones difíciles de representar en el espacio original La dinámica evoluciona en un espacio de dimensión superior Latent ODE Estado latente continuo inferido a partir de observaciones Series temporales con muestreo irregular Las observaciones se reconstruyen mediante un decodificador aplicado a la trayectoria latente Neural CDE Estado controlado por una trayectoria observada Secuencias irregulares o parcialmente observadas La dinámica incorpora las observaciones mediante una interpolación continua Ecuación diferencial universal (UDE) Estado descrito mediante componentes mecanicistas y aprendidos Modelado científico híbrido Combina términos conocidos del sistema con una componente parametrizada por una red neuronal Neural SDE Estado continuo con dinámica estocástica Procesos temporales con incertidumbre o perturbaciones aleatorias Incorpora términos de deriva y difusión asociados a un proceso de Wiener

Descripción

En estos modelos, una red neuronal parametriza el término que gobierna la evolución de un estado interno en el tiempo o en una profundidad continua. Una formulación habitual de este enfoque se expresa como:

donde representa el estado oculto continuo del modelo, es una función parametrizada por una red neuronal y denota la condición inicial del problema de valor inicial.

La predicción del modelo se obtiene integrando esta dinámica continua a partir del estado inicial hasta el instante de interés.

En muchos casos, la salida observable del modelo se obtiene aplicando una función de lectura al estado continuo final. De forma esquemática, puede escribirse como:

donde representa la transformación que proyecta el estado oculto continuo al espacio de salida del problema considerado.

La solución en un instante posterior puede escribirse formalmente como:

En el entrenamiento, el ajuste de los parámetros se plantea como un problema de optimización de una función de pérdida . En las formulaciones iniciales de las neural ODEs se popularizó el uso del método adjunto, que permite calcular gradientes respecto al estado y a los parámetros resolviendo una dinámica auxiliar asociada al sistema continuo.

De forma esquemática, la variable adjunta , asociada a la sensibilidad de la pérdida respecto al estado, satisface:

y el gradiente respecto a los parámetros puede expresarse mediante una integral a lo largo de la trayectoria continua.

En la práctica, la resolución de estas ecuaciones depende de la elección de un integrador numérico, que puede ser de paso fijo o adaptativo según el equilibrio buscado entre precisión y coste computacional. Entre los métodos empleados se encuentran distintos esquemas para ecuaciones diferenciales ordinarias, como los basados en Runge-Kutta, cuya elección influye tanto en la exactitud de la solución como en el tiempo de cálculo.

En una red residual discreta, la actualización entre capas puede escribirse de forma más general como:

Equivalentemente,

lo que permite interpretar estas arquitecturas como una discretización de Euler de una dinámica continua. En el límite en que , esta formulación conduce de manera natural a la descripción mediante una ecuación diferencial ordinaria.

Desde un punto de vista conceptual, las neural ODEs pueden interpretarse como una formulación continua de ciertas redes residuales, en las que la transformación entre capas discretas se reemplaza por una dinámica continua.

miniatura|centro|800px|Comparación entre una red residual discreta, una Neural ODE y una Augmented Neural ODE. En esta última, la coordenada auxiliar z aumenta el espacio de estados y la línea discontinua representa la proyección sobre el espacio original.

El entrenamiento de estos modelos suele requerir métodos de integración numérica y técnicas de diferenciación adaptadas al carácter continuo de la dinámica.

Aplicaciones

Las ecuaciones diferenciales neuronales se han aplicado al análisis de series temporales, especialmente cuando las observaciones son irregulares o incompletas.

También se han utilizado en modelización generativa continua, en particular en los llamados flujos normalizantes continuos (continuous normalizing flows), donde la transformación de una distribución de probabilidad se describe mediante una dinámica continua gobernada por una ecuación diferencial.

En este contexto, la evolución de la densidad puede expresarse mediante una ecuación diferencial para el logaritmo de la probabilidad. De forma esquemática:

donde denota la traza de la matriz jacobiana del campo dinámico. Esta relación permite seguir la evolución de la densidad de probabilidad a lo largo de la transformación continua sin recurrir a una sucesión discreta de capas.

Estas técnicas también se han empleado en problemas de modelado científico, especialmente en enfoques híbridos que combinan componentes mecanicistas y aprendidos.

Ventajas

Entre las ventajas atribuidas a estos modelos se encuentran su capacidad para representar dinámicas en tiempo continuo y tratar observaciones irregulares de forma más natural que muchas arquitecturas discretas. En su formulación original también se destacó que pueden adaptar la evaluación numérica a cada entrada y permitir un compromiso explícito entre precisión y coste computacional mediante la elección del solucionador y sus tolerancias.

En comparación con arquitecturas de profundidad fija, esta formulación continua ofrece un marco unificado para modelar sistemas dinámicos y procesos temporales con distintos regímenes de muestreo, aunque esas ventajas dependen de forma importante del problema considerado y del método numérico empleado.

Limitaciones

Entre las limitaciones señaladas en la literatura figuran el coste computacional asociado a la resolución numérica de la dinámica y las dificultades de estabilidad durante el entrenamiento.

También se ha señalado que el rendimiento práctico de estos modelos depende en gran medida de la elección del integrador numérico y de la parametrización de la dinámica, lo que puede dificultar su ajuste y aplicación en algunos contextos.

En problemas con dinámicas rígidas (stiff), la integración numérica puede requerir pasos muy pequeños o métodos implícitos para mantener la estabilidad, lo que incrementa aún más el coste computacional y complica el entrenamiento del modelo.

Véase también

Aprendizaje automático Red neuronal artificial Ecuación diferencial ordinaria Red neuronal residual

Referencias

Categoría:Redes neuronales artificiales Categoría:Ecuaciones diferenciales