A aprendizaxe supervisada é un paradigma da aprendizaxe automática no que se estima unha regra de predición a partir dunha mostra de observacións que contén variables de entrada e unha resposta, saída ou etiqueta asociada. Se a entrada se denota por e a resposta por , o procedemento emprega pares observados para construír unha función capaz de predicir a resposta de casos novos. O obxectivo científico non é reproducir sen máis a mostra de adestramento, senón obter pouco erro sobre a poboación e as condicións de uso relevantes.
Nun problema de regresión, a saída adoita ser numérica ou vectorial; nun de clasificación pertence a un conxunto discreto de clases. Esta distinción non determina por si soa o tipo de modelo: unha regresión loxística, por exemplo, estima probabilidades de clase, e unha árbore pode utilizarse tanto para clasificación como para regresión. O modelo pode producir unha predición puntual, unha puntuación, unha probabilidade ou unha distribución preditiva. Unha función de perda cuantifica as consecuencias dunha predición e permite formular o axuste como un problema de optimización.
Entre as familias principais atópanse os modelos lineais e lineais xeneralizados, os métodos de veciñanza, as árbores de decisión, os conxuntos de modelos, as máquinas de vectores soporte, os métodos de kernel, os clasificadores probabilísticos e as redes neurais artificiais. Os seus supostos, capacidade, custo computacional e interpretabilidade difiren. A aprendizaxe supervisada profunda emprega redes con múltiples capas e representacións aprendidas, mais continúa sendo aprendizaxe supervisada cando o sinal que guía o axuste provén de respostas observadas.
O rendemento sobre datos non observados denomínase xeneralización. A diferenza entre o risco na distribución relevante e o erro estimado nunha mostra finita depende da cantidade e calidade dos datos, da clase de hipóteses, da regularización, do algoritmo de axuste e do protocolo de avaliación. O sobreaxuste aparece cando a adaptación á mostra non se traduce en rendemento fóra dela; o infraaxuste, cando a representación ou o procedemento é demasiado restritivo para capturar regularidades relevantes. A teoría estatística da aprendizaxe estuda estas relacións mediante nocións como dimensión VC, converxencia uniforme, complexidade de Rademacher e estabilidade algorítmica.
O suposto idealizado de que adestramento e uso comparten distribución pode fallar por cambio de covariables, cambio da prevalencia das clases, deriva conceptual ou aparición de casos fóra da distribución. Tamén poden degradar o sistema as etiquetas incorrectas, a fuga de información, os datos desequilibrados, a mala calibración e os nesgos de recollida. Por iso unha exactitude elevada nunha partición aleatoria non demostra, por si soa, validez externa, seguridade nin utilidade nunha aplicación. alt=Un fluxo une datos etiquetados, adestramento, modelo e predición; a validación retroalimenta a selección e o test queda reservado.|centro|miniatura|650x650px|Fluxo conceptual dunha tarefa supervisada. Os parámetros apréndense cos datos de adestramento, a validación guía as decisións de modelado e o conxunto de proba resérvase para a avaliación final.
Alcance e relación con outros paradigmas Na formulación máis habitual, as etiquetas están dispoñibles para cada exemplo da mostra e representan a cantidade que se pretende predicir. Isto contrasta coa aprendizaxe non supervisada, que procura estrutura sen unha resposta designada, e coa aprendizaxe semisupervisada, que combina poucos exemplos etiquetados con máis entradas sen etiqueta. A aprendizaxe autosupervisada constrúe sinais obxectivo a partir dos propios datos, por exemplo, ocultando parte dunha entrada, e adoita empregarse para preadestrar representacións que despois poden axustarse supervisadamente. A aprendizaxe por transferencia reutiliza coñecemento entre dominios ou tarefas, polo que pode combinarse con calquera destes réximes.
Na aprendizaxe por reforzo, un axente escolle accións e recibe recompensas diferidas; as decisións modifican as observacións futuras. Na aprendizaxe supervisada estándar, en cambio, as parellas de adestramento trátanse como exemplos dunha relación entrada–saída e non como consecuencias dunha política. A aprendizaxe por imitación pode reducir demostracións de expertos a pares supervisados, mais a distribución das entradas visitadas polo imitador pode diverxer da observada nas demostracións, polo que o problema secuencial non desaparece.
A fronteira entre aprendizaxe automática e estatística non é matemática nin absoluta. Ambas estudan regresión, clasificación, estimación, decisión baixo incerteza e avaliación. Certas tradicións estatísticas salientan a especificación probabilística, a inferencia e a incerteza, mentres a aprendizaxe automática tamén puxo grande énfase nos algoritmos, a escalabilidade e a predición con representacións flexibles. A coñecida descrición de dúas «culturas» de modelado formulada por Leo Breiman é unha tese metodolóxica influente, non unha partición universal da disciplina.
Formulación matemática
Datos, espazos e hipóteses Sexan o espazo de entradas e o espazo de respostas. Un conxunto de datos etiquetado pode escribirse
Nunha formulación probabilística, as variables aleatorias teñen unha distribución conxunta descoñecida sobre . A teoría básica adoita supoñer que os pares de adestramento son independentes e identicamente distribuídos segundo ; datos temporais, espaciais, agrupados ou seleccionados rompen con frecuencia esta idealización. Unha clase de hipóteses contén funcións candidatas . O espazo de accións preditivas pode ser , mais tamén un simplex de probabilidades, unha puntuación real ou os parámetros dunha distribución.
Nun modelo parametrizado escríbese
onde reúne coeficientes, pesos, limiares ou outros parámetros aprendidos. Os hiperparámetros, como a intensidade dunha penalización, a profundidade máxima dunha árbore ou a arquitectura dunha rede, determinan aspectos do procedemento e escóllense por validación ou por criterios previamente establecidos. A separación entre parámetro e hiperparámetro é operativa: algunhas formulacións xerárquicas aprenden cantidades que noutros procedementos se seleccionan externamente.
Perdas e risco Unha función de perda
asigna un custo a predicir cando a resposta observada é . Para regresión, a perda cadrática e a absoluta son, respectivamente,
A primeira penaliza de maneira cuadrática os erros grandes e, baixo condicións de integrabilidade, ten como predictor poboacional óptimo a media condicional . A perda absoluta ten como solución calquera mediana condicional. Así, cambiar a perda pode cambiar a cantidade estatística estimada, non só a comodidade numérica.
Para clasificación binaria con e probabilidade predita , a entropía cruzada é
No caso multiclase, se é a probabilidade predita da clase , emprégase , ou equivalentemente con codificación unitaria. A perda 0–1 vale un cando a clase é incorrecta e cero cando é correcta; o seu óptimo poboacional é o clasificador de Bayes . Perdas convexas como a loxística ou a hinge funcionan como substitutos optimizables da perda 0–1, pero optimizar un substituto non fai idénticos todos os seus criterios.
O risco esperado dun predictor é
Como non adoita coñecerse, calcúlase o risco empírico
O principio de minimización do risco empírico escolle unha hipótese
O símbolo de pertenza é pertinente porque o minimizador pode non ser único; noutros problemas só se obtén unha solución aproximada. Para un fixado independentemente da mostra, o risco empírico pode ser un estimador non nesgado do risco baixo mostraxe independente. Isto non implica que sexa unha avaliación non nesgada: o mesmo ruído empregado para seleccionar favorece unha estimación optimista.
Un criterio regularizado adopta a forma
onde mide algunha propiedade do predictor e equilibra axuste e penalización. A regularización pode tamén proceder de restricións, parada temperá, aumento de datos ou propiedades implícitas do algoritmo de optimización; non se reduce ás penalizacións explícitas.
Perdas, regras de decisión e custos A función de perda conecta a estimación estatística coa decisión. Se un modelo estima unha distribución , unha regra de decisión escolle unha acción que minimiza o custo condicional esperado,
Isto separa dúas preguntas: que se estima sobre e como se transforma esa estimación nunha acción. Nun diagnóstico binario, por exemplo, o limiar óptimo depende dos custos relativos dos falsos positivos e negativos e das probabilidades posteriores. Cambiar o limiar non require volver adestrar un clasificador probabilístico ben especificado, mentres cambiar a perda durante o adestramento pode alterar a estimación.
As regras de puntuación propias incentivan anunciar a distribución verdadeira en esperanza. A perda logarítmica é estritamente propia e penaliza con forza asignar probabilidade próxima a cero ao resultado ocorrido. A puntuación de Brier tamén é propia e limitada no caso binario. En contraste, a exactitude despois dun limiar só avalía a clase final e descarta información sobre a confianza. Ningunha destas propiedades determina por si soa a utilidade: unha regra propia pode non reflectir os custos dunha decisión concreta.
En regresión, a perda de Huber é cuadrática para residuos pequenos e lineal para grandes, co propósito de combinar suavidade local e menor influencia de valores extremos. A perda cuantílica, ou pinball, para , é
e ten como óptimo un cuantíl condicional de nivel . Unha perda asimétrica pode representar custos desiguais de sobrepredición e infrapredición, pero a súa elección debe xustificarse polo problema e non só polo rendemento observado.
En clasificación, a perda hinge penaliza violacións dunha marxe; a exponencial aparece en AdaBoost; e a loxística corresponde á verosimilitude binaria baixo a ligazón loxística. Todas son substitutos convexos da perda 0–1, pero teñen sensibilidades diferentes a exemplos de gran marxe negativa. A consistencia de clasificación estuda cando minimizar o risco substituto conduce á regra de Bayes ao crecer a mostra; non implica que calquera optimización ou clase finita alcance ese límite. +Perdas representativasPerdaExpresiónPredición poboacional asociadaUso e matizCadráticamedia condicionalsensible a erros grandesAbsolutamediana condicionalnon diferenciable en ceroCuantílicacuantíl condicional custos asimétricosLogarítmicadistribución condicionalpenalización non limitada preto de probabilidade cero0–1clase de Bayesdifícil de optimizar directamenteHingepuntuación de marxenon produce probabilidade por si soa Unha perda de adestramento pode diferir da métrica final porque a primeira debe facilitar optimización e estimación. Esa substitución crea unha cadea de posibles discrepancias: perda empírica fronte a poboacional, substituto fronte á métrica e métrica fronte á utilidade real. A avaliación debe facer visibles esas tres transicións.
Risco de Bayes e erro irredutible O risco mínimo alcanzable entre todas as regras medibles denomínase risco de Bayes,
Este valor depende conxuntamente da distribución e da perda. En clasificación binaria con perda 0–1, se , unha regra de Bayes predí a clase 1 cando e a clase 0 cando ; nos empates ambas decisións teñen o mesmo risco. O risco condicional mínimo é , e por tanto
O risco pode ser positivo mesmo cunha cantidade ilimitada de datos: entradas idénticas poden corresponder a respostas distintas por ruído, variables non observadas ou variabilidade intrínseca. Por iso, erro de Bayes, erro dun algoritmo finito e erro de medición non son sinónimos. O primeiro é unha propiedade da distribución idealizada e da perda; os outros dependen do procedemento e do sistema de observación.
Na regresión cadrática, coa función de regresión e baixo integrabilidade, a identidade