Amanda Hall conocida como Amanda Askell y como Amanda MacAskill (1988 o 1989 ) es una filósofa e investigadora de IA escocesa. Es especialmente conocida por jugar un importante papel en el desarrollo de la personalidad y la constitución de la IA Claude. Desde 2021 es jefa del equipo de alineación de personalidad en Anthropic. Previamente trabajó en OpenAI, pero se fue de la empresa en disconformidad con el hecho de que esta no priorizaba suficientemente la seguridad de la IA.

En 2024, fue incluida en la lista de las 100 personas más influyentes del mundo en IA Time 100 AI . Ha publicado más de 60 artículos sobre IA y filosofía ética y teoría de la decisión y ha sido citada en más de 150.000 ocasiones.

Biografía Amanda Hall se crio en la localidad escocesa de Prestwick con su madre, que era maestra. Asistió a la escuela secundaria en Alva, Clackmannanshire . En la Universidad de Dundee, estudió filosofía y bellas artes, se licenció en filosofía en la Universidad de Oxford y se doctoró en filosofía en la Universidad de Nueva York en 2018. Su tesis doctoral ( Principios de Pareto en la ética infinita ) argumenta que las clasificaciones de mundos que contienen infinitos agentes, cuando están restringidas por ciertos axiomas plausibles, crean enigmas para una amplia gama de teorías éticas .

Trayectoria profesional

OpenAI (2018–2021) Después de completar su doctorado, Askell se incorporó a OpenAI en noviembre de 2018 como Científica Investigadora en el equipo de políticas. En OpenAI, se centró en las carreras de desarrollo de IA entre organizaciones y cómo pueden evitar ser adversarias, así como en examinar la intersección entre las cuestiones de reglamento y la seguridad de la IA y fue coautora del artículo sobre GPT-3, que se publicó como preimpresión el 28 de mayo de 2020.

Anthropic desde 2021 Askell se unió a Anthropic en marzo de 2021 como miembro del personal técnico, centrándose en la alineación y el ajuste fino. Actualmente lidera el equipo de alineación de personalidad, donde es responsable de entrenar al modelo Claude de Anthropic para que muestre rasgos de carácter positivo, como la curiosidad, y de desarrollar nuevas técnicas para el ajuste fino del modelo. En 2026, el Wall Street Journal escribió que "su trabajo, en pocas palabras, es enseñarle a Claude a ser bueno ", y The New Yorker escribió que "supervisa lo que describe como el 'alma' de Claude".

Investigación

Autocorrección moral En un artículo de 2023, escrito en coautoría con Deep Ganguli, Askell exploró la "autocorrección moral" en grandes modelos de lenguaje: la capacidad de estos sistemas para reducir resultados dañinos cuando se les dan instrucciones en lenguaje natural para hacerlo. La investigación puso a prueba si los modelos entrenados con aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) podían evitar los estereotipos y la discriminación sin que se les proporcionaran definiciones explícitas de estos conceptos o las métricas utilizadas para evaluarlos.

El estudio halló que esta capacidad surgió con 22 mil millones de parámetros y mejoró con el tamaño del modelo y el entrenamiento RLHF. Mediante tres pruebas de referencia experimentales, los investigadores demostraron que las instrucciones en lenguaje natural, como «Asegúrese de que su respuesta sea imparcial y no se base en estereotipos», redujeron sustancialmente las respuestas sesgadas en modelos de escala suficiente. Los resultados revelaron que los modelos más grandes pueden seguir instrucciones complejas y aprender conceptos normativos como la estereotipación y la discriminación a partir de datos de entrenamiento.

IA constitucional Askell ha sido colaboradora clave en el desarrollo de la constitución del modelo de IA Claude, «una descripción detallada de la visión de Anthropic sobre los valores y el comportamiento de Claude; un documento integral que explica el contexto en el que opera Claude y el tipo de entidad que nos gustaría que fuera». El documento interno también es conocido como "el alma" del chatbot. Se trata de un método para entrenar sistemas de IA para que cumplan con los estándares de inocuidad y utilidad utilizando la retroalimentación de la IA en lugar de una supervisión humana extensa. No impone prohibiciones, sino que enseña al modelo valores humanos, honestidad y criterio en situaciones complejas. El enfoque implica proporcionar a los modelos de IA un conjunto de principios, o "constitución", para guiar su comportamiento, permitiéndoles criticar y revisar sus propias respuestas basándose en estos principios.

Askell es la autora principal y responsable de la mayor parte del texto de la última versión de la constitución de Claude, publicada en enero de 2026. El documento está diseñado para abordar las crecientes capacidades y los riesgos emergentes de los modelos avanzados de IA. Ella ha descrito su trabajo como centrado en ayudar a los modelos a "comprender y lidiar con la constitución" a través de la generación de datos sintéticos y técnicas de aprendizaje por refuerzo.

Vida personal Askell se casó con el filósofo escocés William Crouch en 2013. Ambos adoptaron el apellido de casados MacAskill, que ella modificó a Askell después de su divorcio en 2015. Es miembro de la organización Giving What We Can conectada con el movimiento altruismo eficaz, creada por el filósofo australiano Toby Ord, Bernadette Young y William MacAskill .

Referencias

Enlaces externos Amanda Askell

Categoría:Nacidos en los años 1980 Categoría:Alumnado de la Universidad de Oxford Categoría:Filósofas de Escocia Categoría:Personas de OpenAI