OpenAI se fundó con la promesa de construir una inteligencia artificial que beneficie a toda la humanidad, incluso cuando esa IA llegue a ser considerablemente más inteligente que sus creadores.
Desde el debut de ChatGPT el año pasado y durante la reciente crisis de gobierno de la empresa, sus ambiciones comerciales han sido más prominentes.
Ahora, la empresa afirma que un nuevo grupo de investigación que trabaja en la lucha contra las IA superinteligentes del futuro está empezando a dar sus frutos.
OpenAI intensifica su guerra de talentos con Google
Los reclutadores de OpenAI intentan atraer a los empleados de IA de Google con paquetes salariales de 10 millones de dólares, según un informe.
La empresa de IA está intentando atraer a algunos de los mejores investigadores de Google mediante un paquete salarial millonario, así como recursos de alta tecnología que incluyen chips aceleradores de IA para realizar pruebas.
OpenAI está explorando opciones para una venta de acciones a los empleados que valore la empresa en 86.000 millones de dólares, según informó Bloomberg el mes pasado.
Si sus reclutadores consiguen atraer a los mejores investigadores de IA de Google, podrían beneficiarse de paquetes de compensación de entre 5 y 10 millones de dólares tras la última venta de acciones.
We're announcing, together with @ericschmidt: Superalignment Fast Grants.
$10M in grants for technical research on aligning superhuman AI systems, including weak-to-strong generalization, interpretability, scalable oversight, and more.
Apply by Feb 18! https://t.co/eCKwZWLSZE
— OpenAI (@OpenAI) December 14, 2023
La empresa que está detrás de ChatGPT ya ha conseguido talentos de Google y Meta para ayudar a trabajar en su chatbot de IA.
Cinco antiguos investigadores de Google aparecían en la sección de agradecimientos de la entrada del blog de OpenAI que anunciaba el lanzamiento de ChatGPT el pasado noviembre.
El problema de la superinteligencia
La pregunta que tratan de resolver desde OpenAI es cómo refrenar, o “alinear”, hipotéticos modelos futuros mucho más inteligentes que nosotros, conocidos como modelos sobrehumanos.
Alinear significa asegurarse de que un modelo hace lo que quieres que haga y no hace lo que no quieres que haga. La supera alineación aplica esta idea a los modelos sobrehumanos.
Una de las técnicas más extendidas para alinear los modelos existentes se denomina aprendizaje por refuerzo mediante retroalimentación humana. En pocas palabras, los evaluadores humanos puntúan las respuestas de un modelo, votando al alza el comportamiento que quieren ver y a la baja el que no quieren ver.
In the future, humans will need to supervise AI systems much smarter than them.
We study an analogy: small models supervising large models.
Read the Superalignment team's first paper showing progress on a new approach, weak-to-strong generalization: https://t.co/BiBpGdqtKj pic.twitter.com/jmbbwcrmm8
— OpenAI (@OpenAI) December 14, 2023
Esta información se utiliza para entrenar al modelo para que produzca sólo el tipo de respuestas que les gustaron a los evaluadores humanos. Esta técnica es gran parte de lo que hace que ChatGPT sea tan atractivo.
El problema es que, en primer lugar, requiere que los humanos sean capaces de decir qué es y qué no es un comportamiento deseable. Pero un modelo sobrehumano -según la idea- podría hacer cosas que un evaluador humano no puede entender y, por tanto, no podría puntuar.
Los investigadores señalan que el problema es difícil de estudiar porque no existen máquinas sobrehumanas. Así que utilizaron dobles. En lugar de estudiar cómo los humanos podrían supervisar máquinas sobrehumanas, estudiaron cómo GPT-2, un modelo que OpenAI lanzó hace cinco años, podía supervisar a GPT-4, el último y más potente modelo de OpenAI.
“Si se puede hacer eso, podría ser una prueba de que se pueden utilizar técnicas similares para que los humanos supervisen modelos sobrehumanos”, dice Collin Burns, uno de los investigadores del equipo de super alineación.