L’IA devrait être décentralisée, mais comment ?

L'intersection entre le Web3 et l'intelligence artificielle (IA), notamment sous la forme d'IA générative, est devenue ONEun des sujets de débat les plus brûlants au sein de la communauté Crypto . Après tout, l'IA générative révolutionne tous les aspects des Stacks logicielles traditionnelles, et le Web3 ne fait pas exception. La décentralisation étant la proposition de valeur CORE du Web3, de nombreux projets et scénarios émergents d'IA générative pour le Web3 proposent une forme de proposition de valeur d'IA générative décentralisée.

Jesus Rodriguez est le PDG d'IntoTheBlock.

Dans le Web3, nous avons une longue tradition d'analyse de chaque domaine sous l'angle de la décentralisation. Cependant, la réalité est que tous les domaines ne peuvent pas bénéficier de la décentralisation, et pour chaque domaine, il existe un éventail de scénarios de décentralisation. Décomposer cette idée du point de vue des principes fondamentaux nous amène à poser deux questions clés :

• L’IA générative mérite-t-elle d’être décentralisée ?
• Pourquoi l’IA décentralisée n’a- T fonctionné à grande échelle auparavant, et qu’est-ce qui est différent avec l’IA générative ?
• Quelles sont les différentes dimensions de la décentralisation dans l’IA générative ?

Ces questions sont loin d'être anodines et chacune ONE peut susciter des débats passionnés. Cependant, je crois qu'il est essentiel de les examiner attentivement pour élaborer une thèse complète sur les opportunités et les défis à l'intersection du Web3 et de l'IA générative.

L’IA mérite-t-elle d’être décentralisée ?

L'argument philosophique en faveur de la décentralisation de l'IA est simple. L'IA est une connaissance numérique, et la connaissance pourrait bien être la ONE construction du monde numérique méritant d'être décentralisée. Tout au long de l'histoire du Web 3, nous avons multiplié les tentatives de décentralisation, qui fonctionnaient parfaitement dans une architecture centralisée, et où la décentralisation n'apportait T d'avantages évidents. La connaissance n'est pas un candidat naturel à la décentralisation, tant d'un point de vue technique qu'économique.

Le niveau de contrôle accumulé par les grands fournisseurs d'IA crée un écart considérable avec la concurrence, à tel point que cela devient inquiétant. L'IA n'évolue pas de manière linéaire, ni même exponentielle ; elle suit une courbe multi-exponentielle.

Sur le même sujet : Jesus Rodriguez - Comment les protocoles DeFi développent des capacités plus granulaires et extensibles

GPT-4 représente une amélioration considérable par rapport à GPT 3.5 sur de nombreux aspects, et cette tendance devrait se poursuivre. À un moment donné, il deviendra impossible de concurrencer les fournisseurs d'IA centralisés. Un modèle de réseau décentralisé bien conçu pourrait permettre la création d'un écosystème où différentes parties prenantes collaboreraient pour améliorer la qualité des modèles, favorisant ainsi un accès démocratique aux connaissances et le partage des bénéfices.

La transparence est le deuxième facteur à prendre en compte pour évaluer les avantages de la décentralisation en IA. Les architectures de modèles fondamentaux impliquent des millions de neurones interconnectés sur plusieurs couches, ce qui rend leur compréhension difficile par les pratiques de surveillance traditionnelles. Personne ne comprend réellement ce qui se passe au sein de GPT-4, et OpenAI n'a aucun intérêt à être plus transparent dans ce domaine. Les réseaux d'IA décentralisés pourraient permettre des tests de référence ouverts et des garde-fous offrant une visibilité sur le fonctionnement des modèles fondamentaux sans nécessiter la confiance d'un fournisseur spécifique.

Pourquoi l’IA décentralisée n’a-t T pas fonctionné jusqu’à présent ?

Si l'IA décentralisée est si évidente, pourquoi T nous pas vu de tentatives réussies dans ce domaine ? Après tout, l'IA décentralisée n'est pas une idée nouvelle, et nombre de ses principes remontent au début des années 1990. Sans entrer dans les détails techniques, la principale raison de l'échec des approches d'IA décentralisée est que leur proposition de valeur était, au mieux, discutable.

Avant l'apparition des grands modèles de fondation, le paradigme architectural dominant reposait sur différentes formes d'apprentissage supervisé, nécessitant des ensembles de données soigneusement organisés et étiquetés, résidant principalement au sein des entreprises. De plus, les modèles étaient suffisamment compacts pour être facilement interprétables par les outils courants. Enfin, les arguments en faveur du contrôle étaient également très faibles, aucun modèle n'étant suffisamment robuste pour susciter une quelconque inquiétude.

Dans un retournement de situation quelque peu paradoxal, l’importance de l’IA générative à grande échelle et des modèles de fondation de manière centralisée a contribué à rendre viable pour la première fois dans l’histoire l’argument en faveur de l’IA décentralisée.

Maintenant que nous comprenons que l’IA mérite d’être décentralisée et que cette fois-ci, c’est quelque peu différent des tentatives précédentes, nous pouvons commencer à réfléchir aux éléments spécifiques qui nécessitent une décentralisation.

Les dimensions de la décentralisation dans l'IA

En matière d'IA générative, il n'existe pas d'approche unique de la décentralisation. Celle-ci doit plutôt être envisagée dans le contexte des différentes phases du cycle de vie des modèles fondamentaux. Voici trois étapes principales du cycle de vie opérationnel des modèles fondamentaux qui sont pertinentes pour la décentralisation :

• La pré-formation est l’étape au cours de laquelle un modèle est formé sur de grands volumes d’ensembles de données non étiquetés et étiquetés.
• Le réglage fin, qui est généralement facultatif, est la phase au cours de laquelle un modèle est « recyclé » sur des ensembles de données spécifiques à un domaine pour optimiser ses performances sur différentes tâches.
• L'inférence est l'étape au cours de laquelle un modèle génère des prédictions basées sur des entrées spécifiques.

Tout au long de ces trois phases, différentes dimensions sont de bonnes candidates à la décentralisation.

La dimension de décentralisation du calcul

Le calcul décentralisé peut s'avérer extrêmement pertinent lors du pré-entraînement et du réglage fin, mais moins lors de l'inférence. Les modèles fondamentaux nécessitent notoirement de longs cycles de calcul GPU, généralement exécutés dans des centres de données centralisés. L'idée d'un réseau de calcul GPU décentralisé, dans lequel différentes parties peuvent fournir le calcul nécessaire au pré-entraînement et au réglage fin des modèles, pourrait contribuer à supprimer le contrôle exercé par les grands fournisseurs de cloud sur la création des modèles fondamentaux.

La dimension de la décentralisation des données

La décentralisation des données pourrait jouer un rôle crucial lors des phases de pré-entraînement et de réglage fin. Actuellement, la composition concrète des jeux de données utilisés pour pré-entraîner et affiner les modèles fondamentaux est très peu transparente. Un réseau de données décentralisé pourrait inciter les différentes parties à fournir des jeux de données avec des informations appropriées et à suivre leur utilisation lors de ces phases.

La dimension optimisation-décentralisation

De nombreuses phases du cycle de vie des modèles fondamentaux nécessitent des validations, souvent sous forme d'intervention Human . Des techniques telles que l'apprentissage par renforcement avec retour d'information Human (RLHF) permettent notamment la transition de GPT-3 vers ChatGPT en faisant valider les résultats du modèle par des humains afin de mieux les aligner sur les intérêts Human . Ce niveau de validation est particulièrement pertinent lors des phases de mise au point, et il est actuellement très peu transparent. Un réseau décentralisé de validateurs Human et IA effectuant des tâches spécifiques, dont les résultats sont immédiatement traçables, pourrait constituer une amélioration significative dans ce domaine.

Sur le même sujet : Jesus Rodriguez - Une nouvelle blockchain pour l’IA générative ?

La dimension de décentralisation de l'évaluation

Si je vous demandais de choisir le meilleur modèle de langage pour une tâche spécifique, vous seriez obligé de deviner la réponse. Les benchmarks d'IA sont fondamentalement défaillants, manquent de transparence et nécessitent une BIT confiance envers leurs créateurs. Décentraliser l'évaluation des modèles fondamentaux pour différentes tâches est une tâche cruciale pour accroître la transparence dans ce domaine. Cette dimension est particulièrement pertinente lors de la phase d'inférence.

La dimension de décentralisation de l'exécution du modèle

Enfin, le domaine le plus évident de la décentralisation. L'utilisation actuelle de modèles de base nécessite la confiance dans des infrastructures contrôlées par une entité centralisée. Fournir un réseau dans lequel les charges de travail d'inférence peuvent être réparties entre différentes entités constitue un défi passionnant qui peut apporter une valeur considérable à l'adoption de modèles de base.

La bonne façon de faire de l'IA

Les modèles fondateurs ont propulsé l'IA vers une adoption généralisée et ont également accéléré tous les défis liés à l'augmentation rapide des capacités de ces modèles. Parmi ces défis, la décentralisation n'a jamais été aussi forte.

La connaissance numérique mérite d'être décentralisée dans toutes ses dimensions : données, calcul, validation, optimisation, exécution. Aucune entité centralisée ne mérite d'avoir autant de pouvoir sur l'avenir de l'intelligence. Les arguments en faveur de l'IA décentralisée sont clairs, mais les défis techniques sont considérables. Décentraliser l'IA nécessitera plus d' une avancée technique, mais l'objectif est certainement atteignable. À l'ère des modèles fondateurs, l'IA décentralisée est la voie à suivre.