El aprendizaje automático antagónico (AAA) es el estudio de los ataques contra algoritmos de aprendizaje automático (AA) y de los mecanismos de defensa contra tales ataques. Una encuesta de mayo de 2020 revela que los expertos señalan la enorme necesidad de reforzar la protección de los sistemas de aprendizaje automático en los usos industriales.

Para entenderlo, hay que tener en cuenta que la mayoría de las técnicas de aprendizaje automático están diseñadas para funcionar en conjuntos de problemas específicos, suponiendo que los datos de formación y de prueba se generan a partir de la misma distribución estadística (IID). Sin embargo, este supuesto suele incumplirse peligrosamente en casos prácticos de alto riesgo, en los que los usuarios pueden suministrar intencionadamente datos falsos que incumplan el supuesto estadístico.

Algunos de los ataques más comunes en el aprendizaje automático antagónico son los ataques de evasión, los ataques de envenenamiento de datos, los ataques bizantinos y la extracción de modelos.

Historia En la Conferencia sobre Spam del MIT, celebrada en enero de 2004, John Graham-Cumming demostró que un filtro antispam de aprendizaje automático podía utilizarse para derrotar a otro filtro antispam de aprendizaje automático si éste aprendía por sí mismo qué palabras añadir a un correo electrónico no deseado para que no fuera clasificado como tal.

En 2004, Nilesh Dalvi y otros observaron que los clasificadores lineales utilizados en los filtros de correo spam podían ser derrotados mediante simples "ataques de evasión", ya que los responsables del spam (en inglés, spammers) insertaban "palabras buenas" en sus correos electrónicos no deseados. (Alrededor de 2007, algunos spammers incorporaban ruido aleatorio a las palabras difusas dentro del "spam de imágenes" con el fin de burlar los filtros basados en ROC).

En 2006, Marco Barreno y colaboradores publicaron Can Machine Learning Be Secure? (en español, ¿Puede ser seguro el aprendizaje automático?), donde describían una amplia taxonomía de ataques. Incluso en 2013, muchos investigadores seguían confiando en que los clasificadores no lineales (como las máquinas de vectores de soporte y las redes neuronales) podrían ser resistentes a los ataques, hasta que Battista Biggio y otros demostraron los primeros ataques basados en gradientes contra este tipo de modelos de aprendizaje automático (2012 -2013).

En 2012, las redes neuronales profundas comenzaron a dominar los problemas de visión por ordenador. A partir de 2014, Christian Szegedy y otros demostraron que las redes neuronales profundas podían ser burladas por atacantes, empleando una vez más un ataque basado en gradientes para crear perturbaciones antagónicas.

Recientemente, se ha observado que los ataques antagónicos son más difíciles de producir en el entorno práctico debido a las diferentes restricciones ambientales que anulan el efecto de los ruidos.Gupta, Kishor Datta, Dipankar Dasgupta, and Zahid Akhtar. "Applicability issues of Evasion-Based Adversarial Attacks and Mitigation Techniques." 2020 IEEE Symposium Series on Computational Intelligence (SSCI). 2020. Por ejemplo, cualquier pequeña rotación o ligera iluminación en una imagen antagónica puede acabar con el efecto antagónico. Además, investigadores como Nicholas Frosst, de Google Brain, señalan que es mucho más fácil hacer que los vehículos autónomos se salten las señales de alto eliminando físicamente la propia señal, en lugar de crear ejemplos antagónicos.

Frosst también cree que la comunidad del aprendizaje automático antagónico asume incorrectamente que los modelos formados con una determinada distribución de datos funcionarán igual de bien usando una distribución de datos completamente distinta. Él sugiere que debería explorarse un nuevo enfoque del aprendizaje automático, y actualmente está trabajando en una red neuronal única que tiene características más parecidas a la percepción humana que los enfoques más actualizados.

Aunque el aprendizaje automático antagónico sigue estando muy arraigado en el mundo académico, grandes empresas tecnológicas como Google, Microsoft e IBM han empezado a recopilar documentación y bases de código de fuente abierta para que otros puedan evaluar concretamente la solidez de los modelos de aprendizaje automático y minimizar el riesgo de ataques antagónicos.

Ejemplos Algunos ejemplos son los ataques a filtros antispam, en los que los mensajes spam son ofuscados al escribir incorrectamente palabras "malas" o insertar palabras "buenas"; los ataques a la seguridad informática, como la ofuscación de código malicioso (en inglés, malware) en paquetes de red o la modificación de las características de un flujo de red para confundir a los detectores de amenazas; los ataques al reconocimiento biométrico, en los que pueden explotarse rasgos biométricos falsos para hacerse pasar por un usuario legítimo; o para poner en peligro las galerías de plantillas de usuarios que se adaptan a rasgos actualizados con el paso del tiempo.

Algunos investigadores demostraron que cambiando solo un píxel era posible engañar a los algoritmos de aprendizaje profundo. Otros imprimieron en 3D una tortuga de juguete con una textura diseñada para que la IA de detección de objetos de Google la clasificara como un rifle, independientemente del ángulo desde el que se mirara la tortuga. Para crear la tortuga sólo se necesitó tecnología de impresión 3D de bajo coste disponible en el mercado.

Se demostró que la imagen de un perro retocada por una máquina parecía un gato tanto para los ordenadores como para los humanos. Un estudio de 2019 reveló que los humanos pueden adivinar la forma en que las máquinas clasificarán las imágenes antagónicas. Se han descubierto métodos para alterar la apariencia de una señal de alto de forma que un vehículo autónomo la clasifique como una señal de fusión de tráfico o de límite de velocidad.

McAfee atacó y engañó al antiguo sistema Mobileye de Tesla para que condujera a 80 km/h por encima del límite de velocidad con solo añadir una tira de cinco centímetros de cinta negra a una señal de límite de velocidad.

Patrones antagónicos en anteojos o ropa, diseñados para engañar a los sistemas de reconocimiento facial o a los lectores de matrículas, han dado lugar a una industria nicho de ropa con estilo "encubierto" (en inglés, stealth streetwear).

Un ataque antagónico a una red neuronal puede permitir a un atacante inyectar algoritmos en el sistema objetivo. Asimismo, los investigadores pueden crear entradas de audio antagónicas para disfrazar comandos dirigidos a asistentes inteligentes en audio de apariencia benigna; hay literatura paralela que explora la percepción humana ante tales estímulos.

Los algoritmos de agrupación se utilizan en el campo de la seguridad. El análisis de malware y virus informáticos tiene como objetivo identificar familias de malware y generar firmas de detección específicas.D. B. Skillicorn. "Adversarial knowledge discovery". IEEE Intelligent Systems, 24:54–61, 2009.

Modalidades de ataque

Taxonomía Los ataques contra algoritmos de aprendizaje automático (supervisado) se han clasificado en tres categorías principales:

Influencia en el clasificador: Un ataque puede influir en el clasificador perturbando la fase de clasificación. Esto puede ir precedido de una fase de exploración para identificar vulnerabilidades. Las capacidades del atacante pueden verse limitadas por la presencia de restricciones de manipulación de datos.

Violación de la seguridad: Un ataque puede suministrar datos maliciosos que acaben siendo clasificados como legítimos. Los datos maliciosos suministrados durante la formación pueden hacer que los datos legítimos sean rechazados después de la formación .

Especificidad: Un ataque dirigido intenta permitir una intrusión/perturbación específica. Por el contrario, un ataque indiscriminado provoca un caos general.

Esta taxonomía se ha ampliado en un modelo de amenaza más completo que permite suposiciones explícitas sobre el objetivo del atacante, el conocimiento del sistema atacado, la capacidad de manipular los datos de entrada/componentes del sistema y sobre la estrategia de ataque. Esta taxonomía se ha ampliado para incluir dimensiones de estrategias de defensa contra ataques antagónicos.

Estrategias A continuación se exponen algunos de los escenarios de ataque más frecuentes:

Envenenamiento de datos El envenenamiento de datos (en inglés, data poisoning) consiste en contaminar el conjunto de datos de formación con datos diseñados para aumentar los errores en la salida. Dado que los algoritmos de aprendizaje dependen de sus conjuntos de datos de formación , el envenenamiento puede reprogramar algoritmos con intenciones potencialmente maliciosas. Han surgido inquietudes especialmente en relación con los datos de formación generados por los usuarios, por ejemplo, para la recomendación de contenidos o los modelos de lenguaje natural. La proliferación de cuentas falsas ofrece muchas posibilidades de envenenamiento. Según informes, Facebook elimina alrededor de 7.000 millones de cuentas falsas al año. El envenenamiento de datos es la principal fuente de preocupación con respecto a usos industriales.

En las redes sociales, las campañas de desinformación intentan sesgar los algoritmos de recomendación y moderación para impulsar determinados contenidos en detrimento de otros.

Un caso particular de envenenamiento de datos es el ataque de puerta trasera, cuyo objetivo es enseñar un comportamiento específico a entradas con un detonante determinado, por ejemplo, un pequeño defecto en imágenes, sonidos, vídeos o textos.

Por ejemplo, los sistemas de detección de intrusos suelen formarse a partir de datos recopilados. Un atacante puede envenenar estos datos inyectando muestras maliciosas durante su funcionamiento que posteriormente afecten al reformación.M. Kloft and P. Laskov. "Security analysis of online centroid anomaly detection". Journal of Machine Learning Research, 13:3647–3690, 2012.

Ataques bizantinos A medida que se amplía el aprendizaje automático, este suele depender de múltiples máquinas de computación. Así, en el aprendizaje federado los dispositivos periféricos colaboran con un servidor central, normalmente enviando gradientes o parámetros de modelos. Sin embargo, algunos de estos dispositivos pueden desviarse de su comportamiento esperado, ya sea para perjudicar el modelo del servidor central o para sesgar los algoritmos hacia determinados comportamientos (por ejemplo, amplificando la recomendación de contenidos desinformativos). Por otra parte, si la formación se realiza en una sola máquina, el modelo es muy vulnerable a un fallo de la máquina o a un ataque a la máquina; la máquina es un punto único de fallo. De hecho, el propietario de la máquina también pudiera insertar puertas traseras indetectables.

Actualmente, las principales soluciones para que los algoritmos de aprendizaje (distribuido) sean resistentes a una minoría de participantes malintencionados (es decir, bizantinos) se basan en reglas agregación de gradientes sólidos. Las reglas de agregación sólida no siempre funcionan, especialmente cuando los datos de los participantes tienen una distribución no-IID. Sin embargo, en el contexto de participantes honestos heterogéneos, como usuarios con diferentes hábitos de consumo para los algoritmos de recomendación o estilos de escritura para modelos de lenguaje, existen teoremas de imposibilidad demostrables sobre lo que cualquier algoritmo de aprendizaje sólido puede garantizar.

Evasión