En aprendizaje de máquina y estadística, selección de característica, también conocida como selección de variable, selección de atributo o selección de subconjunto variable, es el proceso de seleccionar un subconjunto de características pertinentes (variables, predictores) para su uso en construcción de modelos. Las técnicas de selección de la característica son utilizadas por cuatro razones: Simplificación de modelos con el fin de hacerlas más sencillas de interpretar para los usuarios/investigadores, Tiempo de entrenamiento más corto, Para evitar la maldición de la dimensión (curse of dimensionality), Generalización realzada por reducir overfitting (formalmente, reducción de varianza) La premisa central cuando se utiliza una técnica de selección de características es que el dato contiene muchas redundantes o irrelevantes, y así pueden ser removidas sin incurrir en mucha pérdida de la información. Las características redundantes o irrelevantes son dos nociones distintas, pues una característica relevante puede ser redundante en la presencia de otra característica relevante con la que está fuertemente correlacionada.
Las técnicas de selección de características deben ser distinguidas de la extracción de característica, la cual crea características nuevas a partir de funciones de las características originales, mientras que la selección de característica devuelve un subconjunto de las características. Las técnicas de selección de la característica son a menudo utilizadas en dominios donde hay muchas características y comparativamente pocas muestras (o puntos de dato). Los casos arquetípicos para la aplicación de la selección de característica incluye el análisis de datos de microarrays de ADN y textos escritos, donde hay varios miles de características, y unas cuantas decenas a centenares de muestras.
Introducción Un algoritmo de selección de características puede ser visto como la combinación de una técnica de búsqueda para proponer nuevos subconjuntos de características, junto con una evaluación mide cuál puntúa los diferentes subconjuntos de características. El algoritmo más sencillo prueba cada subconjunto posible de las características encontrando la que minimiza el índice de error, lo que es una búsqueda exhaustiva del espacio, y es computacionalmente intratable excepto para los conjuntos de característica más pequeños. La elección de la evaluación métrica influye fuertemente en el algoritmo, y son estas evaluaciones métricas las que distinguen entre las tres categorías principales de algoritmos de selección de características: envolturas (wrappers), filtros y métodos embebidos. Los métodos envolvedores (wrapper methods) utilizan un modelo predictivo para puntuar subconjuntos de característica. Cada subconjunto nuevo suele entrenar un modelo, el cual está probado en un conjunto de resistencia (hold-out set). Contando el número de errores hace en el conjunto de resistencia escogido (el índice de error del modelo) da la puntuación para ese subconjunto. Como los métodos envolvedores, entrena un nuevo modelo para cada subconjunto, es computacionalmente muy intensivo, pero usualmente proporciona el conjunto de características de mejor comportamiento para aquel tipo particular de modelo.
Los métodos de filtrado utilizan una proxy de medida en vez del índice de error para puntuar un subconjunto de características. Esta medida es escogida para sea rápido de computar, mientras todavía est'a capturando la utilidad del conjunto de características. Las medidas comunes incluyen la información mutua, la información mutua puntual, el Coeficiente de correlación de Pearson, inter/intra distancia de clase o las puntuaciones de pruebas de importancia para cada combinación clase/característica. Los filtros son normalmente menos intensivos computacionalmente que los wrappers, pero producen un conjunto de características que no está relacionado con un tipo específico de modelo predictivo. Esta carencia significa que un conjunto de características resultante de un filtro es más general que el conjunto resultante de un wrapper, normalmente dando rendimiento de predicción más bajo que un wrapper. Aun así el conjunto de característica no contiene las suposiciones de un modelo de predicción, y así es más útil para exponer las relaciones entre las características. Muchos filtros proporcionan una característica ranking en vez de un mejor subconjunto de característica explícito, y el punto de corte en el ranking es escogido vía validación cruzada. Los métodos de filtro también han sido utilizados como un paso de preprocesamiento para métodos wrappers, dejando que un wrapper sea utilizado en problemas más grandes.
Los métodos embebidos son un grupo de técnicas atrapa-todo que realizan selección de características como parte del proceso de construcción del modelo. El ejemplar de esta aproximación es el método LASSO para construir un modelo lineal, el cual penaliza los coeficientes de regresión con una penalidad L1, disminuyendo muchos de ellos a cero. Cualquier característica con coeficiente de regresión diferente de cero es elegido por el algoritmo LASSO. Mejoras al LASSO incluyen Bolasso qué potencia las muestras, y FeaLect que puntúa todas las características basándose en análisis combinatorio de los coeficientes de regresión. Otra aproximación popular es el algoritmo de Eliminación de Característica Recursivo, generalmente utilizado con Máquinas de Soporte Vectorial para repetidamente construir un modelo y sacar características con pesos bajos. Estas aproximaciones tienden aser entre filtros y wrappers en términos de complejidad computacional. En estadística tradicional, la forma más popular de seleccionar características es la regresión paso a paso, que es un técnica de wrapper. Es un algoritmo greedy que añade la mejor característica (o elimina la peor) en cada ronda. El problema principal de control es decidir cuándo parar el algoritmo. En aprendizaje de máquina, esto es típicamente hecho por validación cruz. En estadísticas, algunos criterios están optimizados. Esto se debe al problema inherente de anidación. Métodos más robustos han sido explorados, como ramificación y poda y red lineal por partes.
Selección de subconjunto La selección de subconjuntos evalúa un subconjunto de características como un grupo por conveniencia. Los algoritmos de selección del subconjunto pueden ser separados en Wrappers, Filtros y Embebidos. Los wrappers utilizan un algoritmo de búsqueda para buscar a través del espacio de características posibles y evaluar cada subconjunto corriendo un modelo en el subconjunto. Los wrappers pueden ser computacionalmente complejos y tener un riesgo de overfitting para el modelo. Los filtros son similares a los wrappers en la aproximación de búsqueda, pero en vez de evaluar contra un modelo, evalúa un filtro más sencillo. Las técnicas embebidas son embebidas para un modelo específico.
Muchos aproximaciones de búsqueda populares utilizan escalada de cerro codicioso, el cual de manera iterativa evalúa un subconjunto de candidato de características, entonces modifica el subconjunto y evalúa si el subconjunto nuevo es una mejora sobre el viejo. La evaluación de los subconjuntos requiere una puntuado métrico que mide un subconjunto de características. La búsqueda exhaustiva es generalmente poco práctica, por lo que si algún implementador (u operador) define un punto de parada, el subconjunto de características con la puntuación más alta descubierta hasta el momento es seleccionado como el subconjunto de característica satisfactorio. El criterio de parada varía para cada algoritmo; los criterios posibles incluyen: una puntuación de subconjunto supera un umbral, el máximo permitido de tiempo de ejecución del programa fue superado, etc.
Las técnicas de búsqueda alternativas están basadas en la búsqueda de proyección de un objetivo que encuentra proyecciones de baja dimensión del dato con mayor puntuación: las características que tiene las proyecciones más grandes en el espacio de menor dimensión son las elegidas.
Aproximaciones de búsqueda incluyen: Exhaustivo Mejor primero Recocido Simulado Algoritmo genético Selección hacia adelante codicioso Eliminación hacia atrás codicioso Optimización de enjambre de la partícula Búsqueda de proyección apuntada Búsqueda DispersaF.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. Solving feature subset selection problem by a Parallel Scatter Search, European Journal of Operational Research, vol. 169, no. 2, pp. 477–489, 2006. Búsqueda por Entornos VariablesF.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. Solving Feature Subset Selection Problem by a Hybrid Metaheuristic. In First International Workshop on Hybrid Metaheuristics, pp. 59–68, 2004.M. Garcia-Torres, F. Gomez-Vela, B. Melian, J.M. Moreno-Vega. High-dimensional feature selection via feature grouping: A Variable Neighborhood Search approach, Information Sciences, vol. 326, pp. 102-118, 2016. Dos métricas de filtros populares para problemas de clasificación son correlación e información mutua, a pesar de que tampoco es son métricas exactas o 'medidas de distancia' en el sentido matemático, como fallan para cumplir la desigualdad triangular y así no computar cualquier 'distancia' real – tendrían que ser considerados 'puntuaciones'. Estas puntuaciones están computadas entre un candidato a característica (o conjunto de características) y la categoría de producción deseada. Aun así, hay ciertas métricas que son simplemente una función de la información mutua; ve aquí.Alexander Kraskov, Harald Stögbauer, Ralph G. Andrzejak, and Peter Grassberger, "Hierarchical Clustering Based on Mutual Information", (2003) ArXiv q-bio/0311039
Otras selecciones de filtros son: Separación de clases Probabilidad de error Distancia entre clases Distancia probabilista Entropía Selección de característica basada en consitencia Selección de característica basada en correlación
Criterios de optimalidad El criterio de elección de optimalidad es difícil cuando hay objetivos múltiples en una tarea de selección de características. Muchos de los similares incorporan una medida de exactitud, penalizada por el número de características seleccionadas (ej. el Criterio de información bayesiano). El más viejo es el Cp de Mallows estadístico y criterio de información de Akaike (AIC). Estos añaden variables si el t-statidístico es más grande que
Aprendizaje de estructura Selección de característica del filtro es un caso concreto de un paradigma más general llamada Aprendizaje de Estructura. La selección de características encuentra para característica específica una variable de objetivo concreta mientras que aprendizaje de estructura encuentra las relaciones entre todas las variables, normalmente expresando estas relaciones como un grafo. Los algoritmos más comunes de aprendizaje de estructura suponen que el dato está generado por una Red bayesiana, por lo que la estructura es un modelo de un grafo dirigido. La solución óptima al problema de selección de característica de filtro es la Manta de Markov del nodo objetivo, y en una Red bayesiana, hay un Manta de Markov única para cada nodo.
Árboles regularizados Las características de un árbol de decisión o un árbol ensamblado han demostrado ser redundantes. Un método reciente llamado árbol regularizado puede ser utilizado para la selección del subconjunto de características.H. Deng, G. Runger, "Feature Selection via Regularized Trees ", Proceedings of the 2012 International Joint Conference on Neural Networks (IJCNN), IEEE, 2012 Los árboles regularizados penalizan usando una variable similar a las variables seleccionadas en nodos de previos del árbol separando el nodo actual. Árboles regularizados solo necesitan construir un modelo de árbol (o un árbol ensemble modelo) y así éste es computacionalmente eficaz.
Visión general en metaheuristics métodos