Un model de visió-llenguatge-acció (VLA) és un model fonamental que permet el control de les accions del robot mitjançant ordres de visió i llenguatge.
Un mètode per construir un VLA és ajustar un model de llenguatge de visió (VLM) entrenant-lo amb dades de trajectòria de robots i dades de llenguatge visual a gran escala o tasques de llenguatge de visió a escala d'Internet.
Exemples de VLA inclouen RT-2 de Google DeepMind.
L'arribada de la IA generativa ha transformat fonamentalment la intel·ligència robòtica, permetent avenços significatius en la manera com els robots humanoides avançats "perceben, raonen i actuen" en el món físic. Aquest enorme progrés s'atribueix principalment a la presa de decisions, gràcies a la generalització de les LLM i les VLM a causa del seu entrenament previ a gran escala. En lloc de confiar en polítiques complexes tradicionals que s'han d'elaborar acuradament per a tasques individuals de baix nivell per a accions detallades, la VLA permet el control robòtic combinant la visió i el coneixement del llenguatge per a un millor raonament.
La IA incorporada fa referència als sistemes intel·ligents (VLM) integrats en entitats físiques, principalment robots. De manera similar a com els humans aprenen de les seves experiències, entorns i entorns als quals estan exposats, la IA incorporada aprèn a través de les seves interaccions i de les pistes visuals d'una escena observada, cosa que els permet gestionar escenaris dinàmics de manera efectiva en el món real reflectint el cervell humà.
Referències
Categoria:Aprenentatge automàtic Categoria:Robòtica