Actualidad de la IA en Febrero de 2023

Este texto es la versión traducida y adaptada de unas declaraciones de Andrew Ng, uno de los nombres destacados en la IA actual.

Los recientes éxitos con modelos lingüísticos grandes han devuelto a la actualidad un antiguo debate dentro de la comunidad IA: ¿Qué tipo de información necesitan los algoritmos de aprendizaje para adquirir inteligencia?

La inmensa mayoría de las experiencias humanas no se basan en el lenguaje. El sabor de la comida, la belleza de un amanecer, el tacto de un ser querido… esas experiencias son independientes del lenguaje. Pero los grandes modelos lingüísticos han demostrado que es posible crear un facsímil bastante capaz de las experiencias humanas procesando información textual en una cantidad mucho mayor de la que una persona podría leer en cientos de años.

Antes de los recientes avances en los grandes modelos lingüísticos, gran parte de la comunidad de la IA consideraba que el texto era una fuente de información muy limitada para desarrollar una inteligencia de propósito general. Al fin y al cabo, los animales desarrollaron inteligencia sin lenguaje. La inteligencia incluye percibir el mundo a través de la vista, el oído y otros sentidos; saber mover el cuerpo; tener una comprensión de la física basada en el sentido común, por ejemplo, cómo derribar una fruta de un árbol alto; y ser capaz de planificar acciones sencillas para encontrar comida, refugio o pareja. La escritura es un invento relativamente reciente que data de hace sólo unos 5.500 años. El lenguaje hablado surgió hace unos 100.000 años. En cambio, los mamíferos tienen unos 200 millones de años.

Si el desarrollo de la inteligencia artificial siguiera el camino de la evolución, empezaríamos por intentar crear una inteligencia del nivel de un insecto, luego de un ratón, quizás seguida de la de un perro, un mono y, por último, un ser humano. Nos centraríamos en tareas como la visión y la psicomotricidad mucho antes que en la capacidad de utilizar el lenguaje.

Pero modelos como ChatGPT demuestran que el lenguaje, cuando se accede a él de un modo masivo, supera algunas de sus limitaciones como fuente de información. Los grandes modelos lingüísticos pueden leerse todos los libros del mundo, algo complicado para un ser humano.

Un modelo lingüístico grande actual ha procesado mucha más texto del que podrías leer en varias vidas, y eso suponiendo que recordases todo lo leído.
-En un año normal, un niño puede oír unos 10 millones de palabras (con enormes variaciones en función de factores como la familia). 
-A los 10 años, el niño puede haber oído 100 millones de palabras. 
-Si leyera 24 horas al día, 7 días a la semana durante un año, a un ritmo de 250 palabras por minuto, leería unos 130 millones de palabras al año. 
-GPT-3 se entrenó con unos 500.000 millones de palabras.

Un ser humano necesitaría pasar docenas de vidas leyendo 24 horas al día, 7 días a la semana, para ver el número de palabras que GPT-3 tuvo en cuenta durante su entrenamiento. Pero la web agrega texto escrito para o por miles de millones de individuos. A través de estos datos, los grandes modelos lingüísticos (LLM) procesan una gran cantidad de conocimientos sobre la experiencia humana. Aunque un LLM nunca haya visto un amanecer, ha leído suficiente texto sobre amaneceres como para describir de forma convincente cómo es uno.

Por tanto, aunque el lenguaje sea una pequeña parte de la experiencia humana, los LLM son capaces de aprender una enorme cantidad de información sobre el mundo. Esto demuestra que hay múltiples caminos para construir la inteligencia y que el camino seguido por la evolución o los niños humanos puede no ser el más eficiente para un sistema artificial.

Ver el mundo entero sólo a través de textos escritos -por muy rico que resulte y por muy valiosos que se hayan vuelto los sistemas entrenados en el texto- sigue siendo, en última instancia, un mundo empobrecido en comparación con el que vivimos. Pero este camino ya nos ha llevado bastante lejos, y espero que esta dirección posibilite avances apasionantes en los próximos años.

Artículos Relacionados

Respuestas