A finales de 2020, Dario Amodei decidió dejar su puesto de ingeniero en OpenAI. Quería iniciar su propia empresa, con el objetivo de construir I.A. sistemas que no solo son poderosos e inteligentes, sino que también están alineados con los valores humanos. Amodei, quien lideró el desarrollo de GPT-2 y GPT-3, los precursores del gran modelo de lenguaje que impulsa ChatGPT en la actualidad, sintió que los recientes avances en el poder computacional y las técnicas de capacitación no estaban haciendo que la I.A. sistemas más seguros. Para lograr eso, pensó que se requería un método diferente.
En solo dos años, la compañía de Amodei, Anthropic, recaudó .5 mil millones en financiamiento y recientemente fue valorado en $ 4 mil millones , haciéndolo entre los I.A. de mayor valor Inauguración en el mundo. Su producto principal es Claude, un A.I. similar a ChatGPT. chatbot lanzado en enero. A principios de este mes, Anthropic lanzó Claude 2, una versión más nueva que cuenta con respuestas más largas con un razonamiento más matizado.
¿Por qué necesitamos A.I. segura? modelos
A Amodei le gusta la analogía de los cohetes cuando habla de los avances en los modelos de lenguaje: los datos y el poder computacional son el combustible y el motor, y el tema de la seguridad es como dirigir una nave espacial. Un motor potente y mucho combustible pueden lanzar una gran nave espacial al espacio, pero hacen muy poco para dirigir la nave en la dirección correcta. La misma lógica se aplica al entrenamiento de A.I. sistemas
“Si entrenas un modelo a partir de un gran corpus de texto, obtienes lo que podrías describir como una cosa muy inteligente y con mucho conocimiento que no tiene forma, que no tiene una visión particular del mundo, ni razones particulares por las que debería decir una cosa en lugar de otra”, dijo Amodei durante una charla junto a la chimenea en la Cumbre de Progreso del Atlántico en Chicago ayer (13 de julio).
Tener I.A. los sistemas que comprenden los valores humanos serán cada vez más importantes a medida que los riesgos de la tecnología crezcan junto con sus capacidades.
Los desarrolladores y usuarios de ChatGPT y herramientas similares ya están preocupados por la capacidad de los chatbots para, en ocasiones, generar respuestas inexactas o nefastas. Pero en unos pocos años, A.I. los sistemas pueden volverse no solo lo suficientemente inteligentes como para producir historias falsas más convincentes, sino también capaces de inventar cosas en áreas serias, como la ciencia y la biología.
“Estamos llegando a un punto en el que, en dos o tres años, tal vez los modelos puedan hacer cosas creativas en amplios campos de la ciencia y la ingeniería. Podría ser el mal uso de la biología o material nuclear restringido”, dijo Amodei. “Necesitamos mucho mirar hacia adelante y lidiar con estos riesgos”.
La “IA Constitucional” de Anthropic método
AI. a menudo se describe como una tecnología de 'caja negra' en la que nadie sabe exactamente cómo funciona. Pero Anthropic está tratando de construir A.I. sistemas que los humanos pueden entender y controlar. Su enfoque es lo que Amodei llama IA constitucional
la proxima pelicula de star wars
A diferencia del método de capacitación estándar de la industria, que implica la intervención humana para identificar y etiquetar los resultados dañinos de los chatbots para mejorarlos, la IA constitucional. se centra en la formación de modelos a través de la superación personal. Sin embargo, este método requiere supervisión humana al principio para proporcionar una 'constitución' o un conjunto de valores prescritos para la IA. modelos a seguir.
La 'constitución' de Anthropic se compone de principios universalmente aceptados de documentos establecidos como la Declaración de Derechos Humanos de las Naciones Unidas y los términos de servicio de varias compañías tecnológicas.
Amodei describió el método de entrenamiento de Anthropic como tal: “Tomamos estos principios y le pedimos a un bot que haga lo que sea que haga en respuesta a los principios. Luego tomamos otra copia del bot para verificar si lo que hizo el primer bot estaba alineado con los principios. Si no, démosle una respuesta negativa. Entonces, el bot está entrenando al bot en este ciclo para estar más que alineado con los principios”.
“Creemos que esta es una forma más transparente y efectiva de dar forma a los valores de una I.A. sistema”, dijo Amodei.
Sin embargo, una deficiencia fundamental de A.I. modelos es que nunca serán perfectos. “Es un poco como la conducción autónoma”, dijo Amodei. “Simplemente no podrá garantizar que este automóvil nunca chocará. Lo que espero que podamos decir es que ‘Este auto choca mucho menos que un humano manejando un auto, y se vuelve más seguro cada vez que lo maneja'”.
