La seguridad de la inteligencia artificial es un campo multidisciplinario que se ocupa de prevenir accidentes, usos indebidos u otras consecuencias perjudiciales que podrían derivarse del uso de sistemas de inteligencia artificial (IA). Abarca la ética de las máquinas y la alineación de la IA, cuyo objetivo es hacer que los sistemas de IA sean morales y útiles, y la seguridad de la IA comprende problemas técnicos como la supervisión de los sistemas para detectar riesgos y hacer que sean altamente confiables. Pero más allá de la investigación sobre IA, se trata de desarrollar normas y políticas que fomenten la seguridad.
Motivos
Los investigadores de la IA tienen opiniones muy diferentes en cuanto a la severidad y a las principales fuentes de riesgo que plantea la tecnología de IA, aunque algunas encuestas sugieren que los expertos sí se toman en serio los riesgos con consecuencias considerables. En dos encuestas realizadas a investigadores de la IA, la media de los encuestados se mostraba optimista sobre la IA en general, pero otorgaba un 5% de probabilidad a un resultado "extremadamente malo (por ejemplo, la extinción humana)" derivado de la IA avanzada.
En una encuesta realizada en 2022 entre la comunidad del procesamiento de lenguaje natural (PLN), el 37% estuvo de acuerdo o casi de acuerdo con que es plausible que las decisiones de la IA podrían provocar una catástrofe " tanto o más devastadora que una auténtica guerra nuclear". En este momento, los expertos debaten los actuales riesgos derivados de los fallos de los sistemas críticos, la parcialidad y la vigilancia mediante IA; los riesgos emergentes derivados del desempleo tecnológico, la manipulación digital y el armamentismo; y los riesgos especulativos derivados de la pérdida de control sobre futuros agentes de inteligencia artificial general (IAG).
Hay quien ha criticado las dudas que despierta la IAG, por ejemplo Andrew Ng, profesor adjunto de la Universidad de Stanford, quien comparó estas inquietudes con "preocuparse por la superpoblación de Marte cuando ni siquiera hemos puesto un pie en ese planeta". Otros, como Stuart J. Russell, profesor de la Universidad de California en Berkeley, instan a la cautela, alegando que "es mejor anticiparse al ingenio humano que subestimarlo".
Antecedentes
Los riesgos de la IA empezaron a ser discutidos en profundidad al inicio de la era informática:Asimismo, si avanzamos hacia la creación de máquinas que aprendan y cuyo comportamiento pueda modificarse con la experiencia, tendremos que afrontar que todo grado de independencia que le demos a una máquina será también un grado de posible rebeldía contra nuestros deseos.
—Norbert Wiener (1949)Entre 2008 y 2009, la AAAI (American Association for Artificial Intelligence en inglés) solicitó un estudio para explorar y abordar las posibles influencias sociales a largo plazo de la investigación y el desarrollo de la IA. El panel se mostró bastante escéptico ante los argumentos radicales expresados por los autores de ciencia ficción, pero coincidió en que "sería valiosa una investigación adicional sobre los métodos para comprender y verificar el espectro de comportamientos de los sistemas computacionales complejos con el fin de minimizar los resultados inesperados".
En 2011, Roman Yampolskiy introdujo el término "ingeniería de seguridad de IA" durante la conferencia Filosofía y Teoría de la Inteligencia Artificial, enumerando fallos previos de sistemas de IA y alegando que "la frecuencia y gravedad de tales acontecimientos aumentará progresivamente a medida que las IA sean más competentes".
En 2014, el filósofo Nick Bostrom publicó el libro Superinteligencia: caminos, peligros, estrategias. Su alegato de que los sistemas avanzados del futuro podrían suponer una amenaza para la existencia humana impulsó a Elon Musk, Bill Gates y Stephen Hawking a expresar inquietudes similares.
En 2015, decenas de expertos en inteligencia artificial firmaron una carta abierta sobre este tema en la que pedían que se investigaran las repercusiones sociales de la IA y que se definieran orientaciones concretas. La carta ha sido firmada por más de 8.000 personas hasta la fecha, incluidos Yann LeCun, Shane Legg, Yoshua Bengio y Stuart Russell.
Ese mismo año, un grupo de académicos encabezados por el profesor Stuart Russell fundó el Centro de Inteligencia Artificial Humano-Compatible en la Universidad de Berkeley y el Instituto para el Futuro de la Vida concedió 6,5 millones de dólares en subvenciones para investigaciones destinadas a "garantizar que la inteligencia artificial (IA) siga siendo segura, ética y beneficiosa".
En 2016, la Oficina de Políticas Científicas y Tecnológicas de la Casa Blanca y la Universidad Carnegie Mellon anunciaron el Taller Público sobre la Seguridad y el Control de la Inteligencia Artificial, que formaba parte de una serie de cuatro talleres organizados por la Casa Blanca con el objetivo de investigar "las ventajas y desventajas" de la IA. Ese mismo año se publicó Problemas Concretos de Seguridad en la IA, una de las primeras y más influyentes agendas técnicas en materia de seguridad en la IA.
En 2017, el Instituto para el Futuro de la Vida patrocinó la Conferencia Asilomar sobre la IA Beneficiosa, en la que más de 100 líderes de opinión formularon una serie de principios para lograr una IA beneficiosa, entre ellos "Evitar la competencia": Los equipos desarrolladores de sistemas de IA deben cooperar activamente para evitar la reducción de los estándares de seguridad.
En 2018, el equipo de DeepMind Safety planteó diversos problemas de seguridad de la IA en materia de especificación, solidez y fiabilidad. El año siguiente, varios investigadores organizaron un taller en el ICLR (International Conference on Learning Representations en inglés) centrado en estas áreas problemáticas.
En 2021 se publicó Unsolved Problems in ML Safety, en el que se esbozan las líneas de investigación en materia de solidez, supervisión, alineación y seguridad sistémica.
En 2023, Rishi Sunak dijo que quiere que el Reino Unido sea el "hogar geográfico de la regulación mundial de la seguridad de la IA" y que sea la sede de la primera cumbre mundial sobre seguridad de la IA.
Áreas de investigación
Las áreas de investigación en seguridad de la IA incluyen la solidez, la supervisión y la alineación. La solidez busca lograr que los sistemas sean altamente confiables, la supervisión trata de anticipar fallos y de detectar usos indebidos, y la alineación se centra en garantizar que persigan objetivos beneficiosos.
Solidez El estudio de la solidez se centra en garantizar que los sistemas de IA se comporten según lo previsto en una amplia gama de situaciones diferentes, lo que incluye los siguientes problemas secundarios:
Solidez ante cisnes negros: crear sistemas que se comporten como está previsto en situaciones inusuales. Solidez antagónica: diseñar sistemas para que sean resistentes a entradas de datos escogidas intencionalmente para hacerlos fallar.
Solidez ante cisnes negros Las entradas de datos inusuales pueden hacer que los sistemas de IA fallen de forma catastrófica. Por ejemplo, en el "Flash Crash" de 2010, los sistemas automatizados de negociación (trading en inglés) reaccionaron de forma inesperada y excesiva a las aberraciones de mercado, destruyendo un billón de dólares en valores bursátiles en cuestión de minutos.
Nótese que no es necesario que se produzca un cambio de distribución para que esto ocurra. Los fallos de tipo cisne negro pueden producirse cuando los datos de entrada son de larga cola, como suele ocurrir en situaciones de la vida real. Los vehículos autónomos siguen teniendo problemas con "casos poco habituales" (corner cases en inglés) que pueden no haber surgido durante el periodo de formación; por ejemplo, un vehículo podría ignorar una señal de alto que esté encendida como una rejilla de LED.
A pesar de que este tipo de problemas pueden resolverse a medida que los sistemas de aprendizaje automático (AA) desarrollen una mejor comprensión del mundo real, algunos investigadores señalan que incluso los humanos no suelen responder adecuadamente a sucesos sin precedentes (como la pandemia de COVID-19), argumentando que la solidez ante cisnes negros será un problema de seguridad persistente.
Solidez antagónica Los sistemas de IA suelen ser vulnerables a muestras antagónicas o "entradas de datos a modelos de aprendizaje automático que un atacante ha diseñado intencionadamente para que el modelo cometa un error". Por ejemplo, en 2013, Szegedy y colaboradores descubrieron que añadir determinadas distorsiones imperceptibles a una imagen podía hacer que esta fuera clasificada erróneamente y con un elevado nivel de confianza. Esto sigue siendo un problema para las redes neuronales, aunque en estudios recientes las distorsiones suelen ser lo suficientemente grandes como para resultar perceptibles. miniaturadeimagen|400x400px|Es posible añadir ruido cuidadosamente elaborado a una imagen para provocar una clasificación errónea con un elevado nivel de confianza Todas las imágenes de la derecha fueron clasificadas como avestruces tras la aplicación de una distorsión. (Izquierda) una muestra clasificada correctamente, (centro) distorsión aplicada ampliada 10 veces, (derecha) muestra antagónica.
La solidez antagónica se asocia a menudo con la seguridad. Varios investigadores demostraron que una señal de audio podía modificarse de forma imperceptible para que los sistemas de conversión de voz a texto la transcribieran a cualquier mensaje que el atacante eligiera. Los sistemas de detección de intrusiones en la red y de software malicioso (malware en inglés) también deben presentar solidez antagónica, ya que los atacantes podrían diseñar ataques capaces de engañar dichos detectores.
Los modelos que representan objetivos (modelos de recompensa) también deben poseer solidez antagónica. Por ejemplo, un modelo de recompensa puede estimar la utilidad de una respuesta textual y un modelo de lenguaje puede entrenarse para maximizar este resultado. Diversos investigadores han demostrado que si un modelo de lenguaje es entrenado durante el tiempo suficiente, éste aprovechará las vulnerabilidades del modelo de recompensa para lograr un mejor resultado incluso al desempeñarse peor en la tarea prevista. Este problema puede resolverse mejorando la solidez antagónica del modelo de recompensa. En términos más generales, cualquier sistema de IA utilizado para evaluar otro sistema de IA debe tener una solidez antagónica. Esto podría incluir a los sistemas de supervisión, ya que éstos también son susceptibles de ser manipulados para obtener una recompensa mayor.
Supervisión La supervisión se centra en anticipar los fallos de los sistemas de IA para poder prevenirlos o gestionarlos. Entre los problemas secundarios de la supervisión se encuentran la detección de sistemas poco confiables, la detección de usos malintencionados, la comprensión del funcionamiento interno de los sistemas de IA de caja negra y la identificación de funciones ocultas creadas por un agente malintencionado.
Estimación de la incertidumbre Muchas veces es importante que los operadores humanos evalúen hasta qué punto deben confiar en un sistema de IA, especialmente en entornos de alto riesgo como el diagnóstico médico. Por lo general, los modelos AA transmiten confianza al generar probabilidades; sin embargo, a menudo se muestran demasiado confiados, sobre todo en situaciones que difieren de aquellas para las que fueron entrenados. El objetivo de la investigación en materia de calibración es conseguir que las probabilidades del modelo se correspondan lo más posible con la proporcionalidad real de que el modelo esté en lo correcto.