En estadística, el modelo lineal generalizado (GLM) es una generalización flexible de la regresión lineal ordinaria que permite variables de respuesta que tienen modelos de distribución de errores distintos de una distribución normal. El GLM generaliza la regresión lineal al permitir que el modelo lineal esté relacionado con la variable de respuesta a través de una función de enlace y al permitir que la magnitud de la varianza de cada medición sea una función de su valor predicho.
John Nelder y Robert Wedderburn formularon modelos lineales generalizados como una forma de unificar otros modelos estadíticos, como la regresión lineal, la regresión logística y la regresión de Poisson. Propusieron un método de mínimos cuadrados iterativamente ponderados para la estimación de máxima verosimilitud de los parámetros del modelo. La estimación de máxima verosimilitud sigue siendo popular y es el método predeterminado en muchos paquetes de computación estadística. Se han desarrollado otros enfoques, incluidos los enfoques bayesianos y los ajustes de mínimos cuadrados a las respuestas estabilizadas de la varianza.
Intuición
La regresión lineal ordinaria predice el valor esperado de una cantidad desconocida dada (la variable de respuesta, una variable aleatoria) como una combinación lineal de un conjunto de valores observados (predictores). Esto implica que un cambio constante en un predictor conduce a un cambio constante en la variable de respuesta (es decir, un modelo de respuesta lineal). Esto es apropiado cuando la variable de respuesta tiene una distribución normal (intuitivamente, cuando una variable de respuesta puede variar esencialmente de modo indefinido en cualquier dirección sin un "valor cero" fijo o, más generalmente, para cualquier cantidad que solo varía en una cantidad relativamente pequeña comparada con la variación en las variables predictivas, por ejemplo, la altura humana).
Sin embargo, estos supuestos son inapropiados para algunos tipos de variables de respuesta. Por ejemplo, en los casos en que se espera que la variable de respuesta sea siempre positiva y varíe en un amplio rango, los cambios constantes de entrada conducen a cambios en los resultados o salidas que presentan variaciones geométricas (es decir, exponenciales) en lugar de variaciones constantes. Como ejemplo, supóngase que un modelo de predicción aprende a partir de ciertos datos (posiblemente recogidos de grandes playas) que una disminución de 10 grados en la temperatura lleva a una disminución de 1000 personas que visitan la playa. Es poco probable que este modelo se pueda generalizar bien a playas de diferentes tamaños. Más específicamente, el problema es que si se utiliza este modelo para predecir la asistencia que habrá con una disminución de la temperatura de 10 grados en una playa que normalmente recibe 50 personas, se pronosticará una asistencia con el imposible valor de -950 personas. De manera lógica, un modelo más realista debería pronosticar una tasa constante de incremento de la asistencia a la playa (en que, por ejemplo, un incremento de 10 grados provoca una duplicación de la cantidad de visitantes, y una disminución de 10 grados lleva a una reducción a la mitad de la asistencia). Dicho modelo se denomina modelo de respuesta exponencial (o modelo log-lineal, ya que lo que se predice es que el logaritmo de la respuesta variará linealmente).
De manera similar, un modelo que pronostique la probabilidad de elegir entre sí/no (una variable de Bernoulli) es incluso menos apropiado en tanto modelo de respuesta lineal, ya que las probabilidades están limitadas en ambos extremos (deben estar entre 0 y 1). Hay que imaginar, por ejemplo, un modelo que pronostique la probabilidad de que una persona determinada vaya a la playa en función de la temperatura. Un modelo razonable podría predecir, por ejemplo, que un cambio en 10 grados hace que una persona tenga el doble de probabilidades de ir o no ir a la playa. Pero, ¿qué significa "el doble" en términos de probabilidad? No puede significar literalmente duplicar el valor de probabilidad (por ejemplo, 50% se convierte en 100%, 75% se convierte en 150%, etc.). Más bien, es la razón de oportunidades la que se duplica: de una razón de oportunidades 2:1, a una razón de oportunidades 4:1, a una razón de oportunidades 8: 1, etc. Tal modelo es un log-odds o un modelo logístico.
Los modelos lineales generalizados cubren todas estas situaciones al permitir variables de respuesta que tienen distribuciones arbitrarias (en lugar de tener simplemente distribuciones normales), y que una función arbitraria de la variable de respuesta (la función de enlace) varíe linealmente con los valores predichos. Por ejemplo, en el caso anterior, el número pronosticado de asistentes a la playa se modelaría corrientemente con una distribución de Poisson y una función de enlace log, mientras que el caso de la probabilidad pronosticada de asistencia a la playa se modelaría habitualmente con una distribución de Bernoulli (o distribución binomial, dependiendo exactamente de cómo se expresa el problema) y una función de enlace log-odds (o logit).
Introducción En un modelo lineal generalizado (GLM), se supone que cada resultado Y de las variables dependientes se genera a partir de una distribución particular en la familia exponencial, una clase numerosa de distribuciones de probabilidad que incluye las distribuciones normal, binomial, Poisson y gamma, entre otras. La media, μ, de la distribución depende de las variables independientes, X, por medio de:
donde es el valor esperado de ; es el «predictor lineal», una combinación lineal de parámetros desconocidos ; es la función de enlace. Con esta notación, la varianza es típicamente una función de la media:
Es conveniente si V sigue la distribución de la familia exponencial, pero puede ser simplemente que la varianza sea una función del valor predicho.
Los parámetros desconocidos, β, se suelen calcular con técnicas de máxima verosimilitud, máxima cuasiverosimilitud o bayesianas.
Componentes del modelo
El MLG consiste de tres elementos: Una función de distribución , perteneciente a la familia exponencial. Un predictor lineal . Una función de enlace tal que .
Distribución de probabilidad La familia exponencial de distribuciones sobredispersa es una generalización de la familia exponencial y el modelo de dispersión exponencial de distribuciones e incluye esas distribuciones de probabilidad, parametrizadas por y Ƭ, cuyas funciones de densidad (o función de masa de probabilidad, para el caso de una distribución discreta) se pueden expresar en la forma
El parámetro de dispersión, , generalmente se conoce y generalmente está relacionado con la varianza de la distribución. Las funciones , , . y son conocidas. Muchas distribuciones comunes están en esta familia, incluyendo binomial, multinomial y binomial normal, exponencial, gamma, Poisson, Bernoulli y (para un número fijo de ensayos).
Para el escalar Y y , esto se reduce a:
Θ está relacionado con la media de la distribución. Si es la función de identidad, se dice que la distribución está en forma canónica (o forma natural). Tenga en cuenta que cualquier distribución se puede convertir a una forma canónica reescribiendo como y luego aplicar la transformación . Siempre es posible convertir en términos de la nueva parametrización, incluso si no es una función de uno a uno. Si, además, es la identidad y se conoce, entonces se llama el parámetro canónico (o parámetro natural) y está relacionado con la media a través de
μ = E(Y) = ΔA(θ)
Para el escalar Y y θ, esto se reduce a
μ = E(Y) = A’(θ)
Bajo este escenario, la varianza de la distribución puede mostrarse como
Var(Y) = Δ2 A(θ)d(Ƭ).
Para el escalar Y y θ, esto se reduce a
Var(Y) = A’’(θ)d(Ƭ).
Predictor lineal El predictor lineal es la cantidad que incorpora la información sobre las variables independientes en el modelo. El símbolo η ("eta" griego) denota un predictor lineal. Está relacionado con el valor esperado de los datos a través de la función de enlace.
η se expresa como combinaciones lineales (por lo tanto, "lineales") de parámetros desconocidos β. Los coeficientes de la combinación lineal se representan como la matriz de las variables independientes X. Por lo tanto, η puede expresarse como
η=Xβ.
Función de enlace La función de enlace proporciona la relación entre el predictor lineal y la media de la función de distribución. Existen muchas funciones de enlace de uso común, y su elección se basa en varias consideraciones. Siempre hay una función de enlace canónico bien definida que se deriva del exponencial de la función de densidad de la respuesta. Sin embargo, en algunos casos tiene sentido tratar de hacer coincidir el dominio de la función de enlace con el rango de la media de la función de distribución, o usar una función de enlace no canónica con fines algorítmicos, por ejemplo, regresión probit Bayesiana.
Cuando se utiliza una función de distribución con un parámetro canónico θ, la función de enlace canónico es la función que expresa θ en términos de μ, es decir, θ = b(μ). Para las distribuciones más comunes, la media μ es uno de los parámetros en la forma estándar de la función de densidad de la distribución, y luego b(μ) es la función como se definió anteriormente que mapea la función de densidad en su forma canónica. Cuando se utiliza la función de enlace canónico, b(μ) = θ = Xβ que permite que XTY sea una estadística suficiente para β.
Prueba
Máxima verosimilitud Las estimaciones de máxima verosimilitud se pueden encontrar usando un algoritmo de mínimos cuadrados iterativamente ponderados o un método de Newton-Raphson con actualizaciones de la forma:
Β(t+1) = β(t) + J-1(β(t))u(β(t)),
Donde J(β(t)) es la matriz de información observada (el negativo de la matriz de Hesse) y u(β(t)) es la función de puntuación; o un método de puntuación de Fisher:
Β(t+1) = β(t) + I-1(β(t))u(β(t)),
Donde I(β(t)) es la matriz de información de Fisher. Tenga en cuenta que si se utiliza la función de enlace canónico, entonces son iguales.
Métodos bayesianos En general, la distribución posterior no se puede encontrar en forma cerrada y, por lo tanto, debe ser aproximada, generalmente utilizando aproximaciones de Laplace o algún tipo de método de Monte Carlo de cadena de Markov como el muestreo de Gibbs.
Ejemplos
Modelos lineales generales Un posible punto de confusión tiene que ver con la distinción entre modelos lineales generalizados y el modelo lineal general, dos modelos estadísticos amplios. El modelo lineal general puede verse como un caso especial del modelo lineal generalizado con enlace de identidad y respuestas normalmente distribuidas. Como los resultados de interés más exactos se obtienen solo para el modelo lineal general, el modelo lineal general ha experimentado un desarrollo histórico algo más largo. Los resultados para el modelo lineal generalizado con enlace de no identidad son asintóticos (tienden a funcionar bien con muestras grandes).
Regresión lineal Un ejemplo simple y muy importante de un modelo lineal generalizado (también un ejemplo de un modelo lineal general) es la regresión lineal. En la regresión lineal, el uso del estimador de mínimos cuadrados se justifica por el teorema de Gauss-Markov, que no supone que la distribución sea normal.
Sin embargo, desde la perspectiva de los modelos lineales generalizados, es útil suponer que la función de distribución es la distribución normal con varianza constante y la función de enlace es la identidad, que es el enlace canónico si se conoce la varianza.
Para la distribución normal, el modelo lineal generalizado tiene una expresión de forma cerrada para las estimaciones de máxima verosimilitud, lo que es conveniente. La mayoría de los otros GLM carecen de estimaciones de forma cerrada.
Datos binarios