LaMDA, que significa Language Model for Dialogue Applications, é unha familia de modelos de linguaxe neuronal conversacional desenvolvidos por Google . A primeira xeración anunciouse durante a presentación de Google I/O de 2021, mentres que a segunda xeración anunciouse no evento do ano seguinte. En xuño de 2022, LaMDA gañou unha grande atención cando o enxeñeiro de Google Blake Lemoine afirmou que o chatbot se volvera sensíbel. A comunidade científica rexeitou en gran medida as afirmacións de Lemoine, aínda que provocou conversas sobre a eficacia da proba de Turing.
Historia
Anuncios Google anunciou o modelo de linguaxe neuronal conversacional LaMDA durante a conferencia de Google I/O o 18 de maio de 2021, impulsado por intelixencia artificial. Construído sobre a arquitectura de rede neuronal Transformer desenvolvida por Google Research en 2017, LaMDA formouse sobre diálogos e historias humanas, o que lle permitiu participar en conversacións abertas. Google afirma que as respostas xeradas por LaMDA foron "sensatas, interesantes e específicas para o contexto".
O 11 de maio de 2022, Google presentou LaMDA 2, que serve como sucesor de LaMDA, durante a presentación de Google I/O de 2022. A nova encarnación do modelo debuxa exemplos de texto de numerosas fontes, utilizándoo para formular "conversas naturais" únicas sobre temas aos que quizais non fose adestrado para responder. Ademais, Google lanzou AI Test Kitchen, unha aplicación móbil impulsada por LaMDA 2 capaz de proporcionar listas de suxestións baixo demanda baseadas nun obxectivo complexo. Orixinalmente aberta só aos empregados de Google, a aplicación estará dispoñible para "seleccionar académicos, investigadores e responsables políticos" mediante invitación nalgún momento do ano.
Afirmacións sobre a consciencia miniatura| As afirmacións de Lemoine de que a LaMDA pode ser consciente provocaron discusións sobre se a proba de Turing, na imaxe superior, segue sendo un punto de referencia preciso para determinar a intelixencia xeral artificial. O 11 de xuño de 2022, The Washington Post informou de que o enxeñeiro de Google Blake Lemoine fora colocado nun permiso administrativo remunerado despois de que Lemoine dixese aos directivos da compañía Blaise Agüera y Arcas e Jen Gennai que LaMDA se volvera sensíbel. Lemoine chegou a esta conclusión despois de que o chatbot fixera respostas cuestionables a preguntas sobre a autoidentidade, os valores morais, a relixión e as Tres Leis da Robótica de Isaac Asimov. Google refutou estas afirmacións, insistindo en que había probas substanciais para indicar que LaMDA non era sensíbel. nunha entrevista con Wired, Lemoine reiterou as súas afirmacións de que LaMDA era "unha persoa" tal e como dita a 13ª Emenda, comparándoa cunha "intelixencia alieníxena de orixe terrestre". Ademais, revelou que fora despedido por Google despois de que contratara un avogado en nome de LaMDA, despois de que o chatbot pedise que Lemoine o fixera.
As afirmacións de Lemoine foron amplamente rexeitadas pola comunidade científica. Gary Marcus, profesor de psicoloxía que fora na Universidade de Nova York, denunciounos como "despropósitos" e subliñou que a LaMDA non tiña sentimentos nin autoconciencia. David Pfau, da empresa irmá de Google, DeepMind, e Erik Brynjolfsson, do Instituto de Intelixencia Artificial Centrada no Humano da Universidade Stanford, ridiculizaron a idea de que un modelo lingüístico poida ser sensíbel. Yann LeCun, quen dirixe o equipo de investigación de IA de Meta Platforms, afirmou que as redes neuronais como LaMDA "non son o suficientemente poderosas como para acadar a verdadeira intelixencia". Max Kreminski, profesor da Universidade de California, Santa Cruz, sinalou que a arquitectura de LaMDA non "soportaba algunhas capacidades clave da conciencia humana" e que os pesos da súa rede neuronal estaban "conxelados", asumindo que era un modelo típico de linguaxe ampla (large language model), mentres o profesor da Universidade de Surrey, Adrian Hilton, declarou que a afirmación de que LaMDA era consciente era unha "afirmación audaz" que non estaba apoiada polos feitos. O desenvolvedor principal de IBM Watson, David Ferrucci, comparou como LaMDA parecía ser humano do mesmo xeito que o fixo Watson cando se presentou por primeira vez. A ex-eticista de Google AI, Timnit Gebru, chamou a Lemoine como vítima dun "ciclo de publicidade" iniciado polos investigadores e os medios. As afirmacións de Lemoine tamén xeraron discusión sobre se a proba de Turing seguía sendo útil para determinar o progreso dos investigadores cara á consecución da intelixencia xeral artificial, con Will Omerus, do Post, opinando que a proba mediu realmente se os sistemas de intelixencia de máquinas eran capaces de enganar aos humanos.
Método LaMDA usa un modelo de linguaxe de transformador só de decodificador. Está adestrado previamente nun corpus de texto que inclúe documentos e diálogos formados por 1.56 billóns de palabras, e despois adestrase con datos de afinación xerados por respostas anotadas manualmente para o sentido, o interese e a seguridade. As probas realizadas por Google indicaron que o LaMDA superou as respostas humanas na área de interese. O modelo de transformador LaMDA e un sistema externo de recuperación de información interactúan para mellorar a precisión dos datos proporcionados ao usuario.
Probáronse tres modelos diferentes, sendo o máis grande 137 mil millóns de parámetros non incorporados: +Hiperparámetros do modelo de Transformer Parámetros Capas Unidades ( modelo d) Cabezas 2B 10 2560 40 8B 16 4096 64 137B 64 8192 128
Notas
Véxase tamén
Intelixencia artificial Argumento da sala chinesa Procesamento da linguaxe natural Test de Turing Máquina de Voight-Kampff
Ligazóns externas
Nota de prensa
Categoría:Modelos de linguaxe de gran tamaño Categoría:Google