La IA debería descentralizarse, pero ¿cómo?

La intersección de la Web3 y la inteligencia artificial (IA), específicamente en forma de IA generativa, se ha convertido en ONE de los temas de debate más candentes dentro de la comunidad Cripto . Después de todo, la IA generativa está revolucionando todas las áreas de las Stacks de software tradicionales, y la Web3 no es la excepción. Dado que la descentralización es la propuesta de valor CORE de la Web3, muchos de los proyectos y escenarios emergentes de Web3 con IA generativa proyectan algún tipo de propuesta de valor de IA generativa descentralizada.

Jesús Rodríguez es el CEO de IntoTheBlock.

En Web3, tenemos una larga trayectoria analizando cada dominio desde la perspectiva de la descentralización, pero la realidad es que no todos los dominios pueden beneficiarse de ella, y para cada dominio existe un espectro de escenarios de descentralización. Analizar esta idea desde una perspectiva de principios básicos nos lleva a dos preguntas clave:

• ¿Merece la IA generativa ser descentralizada?
• ¿Por qué la IA descentralizada no ha funcionado a gran escala antes y qué tiene de diferente la IA generativa?
• ¿Cuáles son las diferentes dimensiones de la descentralización en la IA generativa?

Estas preguntas no son triviales, y cada una puede generar debates apasionados. Sin embargo, creo que analizarlas a fondo es esencial para desarrollar una tesis integral sobre las oportunidades y los desafíos en la intersección de la Web3 y la IA generativa.

¿Merece la IA ser descentralizada?

El argumento filosófico a favor de la descentralización de la IA es simple. La IA es conocimiento digital, y el conocimiento podría ser el constructo ONE del mundo digital que merece ser descentralizado. A lo largo de la historia de la Web3, hemos realizado numerosos intentos de descentralizar aspectos que funcionan muy bien en una arquitectura centralizada, y donde la descentralización no ha aportado beneficios evidentes. El conocimiento no es ONE de los candidatos naturales para la descentralización, ni desde el punto de vista técnico ni económico.

El nivel de control que acumulan los grandes proveedores de IA está creando una enorme brecha con el resto de la competencia, hasta el punto de resultar alarmante. La IA no evoluciona linealmente, ni siquiera exponencialmente; sigue una curva multiexponencial.

Sigue leyendo: Jesús Rodríguez - Cómo los protocolos DeFi están desarrollando capacidades más granulares y extensibles

GPT-4 representa una mejora significativa con respecto a GPT 3.5 en muchas dimensiones, y es probable que esta trayectoria continúe. Llegado a cierto punto, resultará inviable competir con proveedores de IA centralizados. Un modelo de red descentralizada bien diseñado podría propiciar un ecosistema en el que diferentes partes colaboren para mejorar la calidad de los modelos, lo que facilita el acceso democrático al conocimiento y la distribución de los beneficios.

La transparencia es el segundo factor a considerar al evaluar las ventajas de la descentralización en IA. Las arquitecturas de modelos de base implican millones de neuronas interconectadas en varias capas, lo que dificulta su comprensión mediante prácticas de monitorización tradicionales. Nadie comprende realmente qué sucede dentro de GPT-4, y OpenAI no tiene incentivos para ser más transparente en ese ámbito. Las redes de IA descentralizadas podrían permitir pruebas abiertas de referencia y barandillas que proporcionen visibilidad sobre el funcionamiento de los modelos de base sin necesidad de confiar en un proveedor específico.

¿Por qué la IA descentralizada no ha funcionado hasta ahora?

Si la defensa de la IA descentralizada es tan evidente, ¿por qué no hemos visto ningún intento exitoso en este ámbito? Al fin y al cabo, la IA descentralizada no es una idea nueva, y muchos de sus principios se remontan a principios de la década de 1990. Sin entrar en tecnicismos, la principal razón del fracaso de los enfoques de IA descentralizada es que su propuesta de valor era, en el mejor de los casos, cuestionable.

Antes de la aparición de los grandes modelos de cimentación, el paradigma arquitectónico dominante consistía en diferentes formas de aprendizaje supervisado que requerían conjuntos de datos cuidadosamente seleccionados y etiquetados, ubicados principalmente dentro de las fronteras corporativas. Además, los modelos eran lo suficientemente pequeños como para ser fácilmente interpretables con herramientas convencionales. Finalmente, la justificación del control también era muy débil, ya que ningún modelo era lo suficientemente sólido como para generar algún nivel de preocupación.

En un giro un tanto paradójico, la prominencia de la IA generativa a gran escala y los modelos fundamentales de manera centralizada ayudaron a hacer viable la defensa de la IA descentralizada por primera vez en la historia.

Ahora que entendemos que la IA merece ser descentralizada y que esta vez es algo diferente a los intentos anteriores, podemos empezar a pensar en qué elementos específicos requieren descentralización.

Las dimensiones de la descentralización en la IA

En lo que respecta a la IA generativa, no existe un enfoque único para la descentralización. Por el contrario, esta debe considerarse en el contexto de las diferentes fases del ciclo de vida de los modelos de base. A continuación, se presentan tres etapas principales en la vida operativa de los modelos de base que son relevantes para la descentralización:

• El preentrenamiento es la etapa en la que se entrena un modelo en grandes volúmenes de conjuntos de datos etiquetados y no etiquetados.
• El ajuste fino, que normalmente es opcional, es la fase en la que se “vuelve a entrenar” un modelo en conjuntos de datos específicos del dominio para optimizar su rendimiento en diferentes tareas.
• La inferencia es la etapa en la que un modelo genera predicciones basadas en entradas específicas.

A lo largo de estas tres fases, hay diferentes dimensiones que son buenas candidatas para la descentralización.

La dimensión de la descentralización computacional

La computación descentralizada puede ser sumamente relevante durante el preentrenamiento y el ajuste fino, y puede ser menos relevante durante la inferencia. Los modelos de base requieren, notoriamente, grandes ciclos de computación en GPU, que suelen ejecutarse en centros de datos centralizados. La idea de una red de computación en GPU descentralizada, en la que diferentes partes puedan suministrar computación para el preentrenamiento y el ajuste fino de los modelos, podría contribuir a eliminar el control que los grandes proveedores de nube ejercen sobre la creación de modelos de base.

La dimensión de la descentralización de datos

La descentralización de datos podría desempeñar un papel fundamental durante las fases de preentrenamiento y ajuste. Actualmente, existe muy poca transparencia sobre la composición concreta de los conjuntos de datos utilizados para preentrenar y ajustar los modelos base. Una red de datos descentralizada podría incentivar a diferentes partes a proporcionar conjuntos de datos con la información adecuada y a realizar un seguimiento de su uso en el preentrenamiento y ajuste de los modelos base.

La dimensión de descentralización de la optimización

Muchas fases del ciclo de vida de los modelos de cimentación requieren validaciones, a menudo con intervención Human . En particular, técnicas como el aprendizaje por refuerzo con retroalimentación Human (RLHF) facilitan la transición de GPT-3 a ChatGPT, ya que los humanos validan los resultados del modelo para lograr una mejor alineación con los intereses Human . Este nivel de validación es especialmente relevante durante las fases de ajuste, y actualmente existe muy poca transparencia al respecto. Una red descentralizada de validadores Human y de IA que realicen tareas específicas, cuyos resultados sean inmediatamente rastreables, podría suponer una mejora significativa en este ámbito.

Sigue leyendo: Jesús Rodríguez - ¿Una nueva cadena de bloques para la IA generativa?

La dimensión de descentralización de la evaluación

Si les pidiera que seleccionaran el mejor modelo de lenguaje para una tarea específica, tendrían que adivinar la respuesta. Los benchmarks de IA son fundamentalmente deficientes, presentan muy poca transparencia y requieren BIT confianza en quienes los crearon. Descentralizar la evaluación de los modelos base para diferentes tareas es fundamental para aumentar la transparencia en este ámbito. Esta dimensión es especialmente relevante durante la fase de inferencia.

La dimensión de descentralización de la ejecución del modelo

Finalmente, el área más obvia de descentralización. El uso actual de modelos de base requiere confianza en infraestructuras controladas por un ente centralizado. Proporcionar una red en la que las cargas de trabajo de inferencia puedan distribuirse entre diferentes partes es un desafío interesante que puede aportar un gran valor a la adopción de modelos de base.

La forma correcta de hacer IA

Los modelos de base impulsaron la adopción generalizada de la IA y también aceleraron todos los desafíos que conlleva el rápido crecimiento de sus capacidades. Entre estos desafíos, la descentralización es más importante que nunca.

El conocimiento digital merece ser descentralizado en todas sus dimensiones: datos, computación, validación, optimización y ejecución. Ninguna entidad centralizada merece tener tanto poder sobre el futuro de la inteligencia. La necesidad de una IA descentralizada es evidente, pero los desafíos técnicos son enormes. Descentralizar la IA requerirá más de un avance técnico, pero el objetivo es sin duda alcanzable. En la era de los modelos de base, la IA descentralizada es la forma correcta de abordarla.