De l'îlot isolé à la collaboration : la signification des pipelines de données natifs Web3
TechFlow SélectionTechFlow Sélection
De l'îlot isolé à la collaboration : la signification des pipelines de données natifs Web3
Construire un pipeline de données dans le marché Web3 peut jouer un rôle clé, non seulement en raison de ses caractéristiques décentralisées, mais aussi en servant de point de départ concret pour saisir ces opportunités.
Dédié à des analyses Web3 approfondiesRédaction : Jay : : FP
Traduction : TechFlow
La publication du livre blanc de Bitcoin en 2008 a relancé la réflexion sur le concept de confiance. La blockchain a ensuite élargi cette notion à celle de systèmes « sans confiance » et s’est rapidement développée autour de valeurs telles que la souveraineté individuelle, la démocratisation financière ou encore la propriété, envisageables dans des systèmes existants. Bien sûr, avant que la blockchain ne puisse être pleinement appliquée, de nombreuses validations et discussions restent nécessaires, car ses caractéristiques peuvent sembler radicales par rapport aux systèmes actuels. Toutefois, si nous adoptons une vision optimiste de ces scénarios, construire des pipelines de données et analyser les informations précieuses contenues dans le stockage blockchain pourrait devenir un autre tournant majeur pour l'industrie, permettant d’observer une intelligence commerciale Web3 entièrement nouvelle.
Cet article explore le potentiel des pipelines de données natifs Web3 en projetant les architectures courantes de gestion des données IT vers l’environnement Web3. Il examine les avantages offerts par ces pipelines, les défis à relever ainsi que leur impact potentiel sur le secteur.
1. Le point zéro provient de l'innovation informationnelle
« Le langage est l'une des principales différences entre l'homme et les animaux inférieurs. Ce n'est pas seulement la capacité de prononcer des sons, mais aussi celle d'associer des sons précis à des idées précises, et d'utiliser ces sons comme symboles dans l'échange de pensées. »
— Darwin
Dans l’histoire humaine, chaque grand progrès de la civilisation a été accompagné d’une innovation dans le partage de l’information. Nos ancêtres ont utilisé le langage, oral puis écrit, pour communiquer entre eux et transmettre leurs connaissances aux générations suivantes, leur conférant ainsi un avantage décisif face aux autres espèces. L’invention de l’écriture, du papier et de l’imprimerie a permis une diffusion plus large de l’information, entraînant des avancées majeures dans les domaines scientifique, technologique et culturel. En particulier, l'impression en caractères mobiles métalliques de la Bible par Gutenberg constitue un moment charnière, rendant possible la production massive de livres et d'autres supports imprimés. Cela a eu un impact profond sur le début de la Réforme protestante, des révolutions démocratiques et des progrès scientifiques.
Le développement rapide des technologies IT dans les années 2000 nous a permis de mieux comprendre le comportement humain. Cela a modifié nos modes de vie, la majorité des décisions modernes étant désormais basées sur des informations numériques. C’est pourquoi nous qualifions la société actuelle d’« ère de l’innovation IT ».
Moins de vingt ans après la commercialisation totale d’Internet, les technologies d’intelligence artificielle ont de nouveau stupéfait le monde. De nombreuses applications capables de remplacer des emplois humains sont apparues, suscitant des débats sur la manière dont l’IA transformera notre civilisation. Certains refusent même d’y croire, se demandant comment une telle technologie a pu apparaître si rapidement au point de menacer les fondements mêmes de notre société. Même si la « loi de Moore » prévoit une croissance exponentielle des performances des semi-conducteurs, l’émergence de GPT a produit un changement trop soudain pour être immédiatement assimilé.
Pourtant, ce qui est intéressant, c’est que l’architecture du modèle GPT en elle-même n’est pas une percée radicale. En revanche, le secteur de l’IA identifie deux facteurs clés à son succès : 1) la définition d’un domaine d’application pertinent pour un large groupe de clients, et 2) l’optimisation du modèle via un pipeline de données — allant de la collecte des données jusqu’à l’analyse des résultats et la boucle de rétroaction. En résumé, grâce à une amélioration du but du service et du processus de traitement des données/informations, ces applications ont réussi à innover.
2. La prise de décision pilotée par les données est omniprésente
La plupart des innovations que nous observons reposent en réalité davantage sur le traitement de données accumulées que sur la chance ou l’intuition. Comme on dit souvent, « dans un marché capitaliste, ce ne sont pas les plus forts qui survivent, mais ceux qui survivent deviennent les plus forts ». Aujourd’hui, la concurrence entre entreprises est féroce et les marchés saturés. Les entreprises collectent donc toutes sortes de données afin de saisir même les moindres niches.
Nous sommes peut-être trop obsédés par la théorie de Schumpeter sur la « destruction créatrice », accordant trop d’importance à la prise de décision intuitive. Pourtant, même les meilleures intuitions résultent finalement de l’accumulation personnelle de données et d’informations. À l’avenir, le monde numérique s’immiscera encore davantage dans nos vies, et un nombre croissant d’informations sensibles prendra forme numérique.
Le marché Web3 attire beaucoup d’attention en raison de son potentiel à redonner aux utilisateurs le contrôle sur leurs propres données. Toutefois, la technologie sous-jacente à Web3 — la blockchain — reste principalement concentrée sur la résolution du dilemme triadique (sécurité, décentralisation, évolutivité). Pour que ces nouvelles technologies soient convaincantes dans le monde réel, il est essentiel de développer des applications et des intelligences pouvant être exploitées de multiples façons. Nous avons déjà observé cela dans le domaine du Big Data : depuis environ 2010, les méthodologies de traitement des données massives et de construction de pipelines ont fait des progrès considérables. Dans le contexte Web3, il faut impulser ce type d’avancement afin de créer des systèmes de flux de données capables de générer une intelligence fondée sur les données.
3. Opportunités issues du flux de données on-chain
Quelles opportunités pouvons-nous identifier grâce à un système de flux de données natif Web3, et quels obstacles doivent être surmontés pour les saisir ?
3.1 Avantages
En bref, la valeur d’un pipeline de données natif Web3 réside dans sa capacité à distribuer efficacement et en toute sécurité des données fiables à plusieurs entités, permettant ainsi d’extraire des analyses significatives.
-
Redondance des données — les données on-chain sont peu susceptibles d’être perdues, car le réseau de protocole les stocke sur plusieurs nœuds, garantissant une grande résilience.
-
Sécurité des données — les données on-chain sont inviolables, ayant été validées par consensus au sein d’un réseau décentralisé.
-
Souveraineté des données — droit pour l’utilisateur de posséder et contrôler ses propres données. Grâce au flux de données on-chain, les utilisateurs peuvent voir comment leurs données sont utilisées et choisir de les partager uniquement avec ceux qui en ont un besoin légitime.
-
Autorisation libre et transparence — les données on-chain sont transparentes et inviolables, ce qui en fait une source d’information fiable.
-
Fonctionnement stable — lorsque le flux de données est orchestré par un protocole dans un environnement distribué, le risque de panne à chaque niveau diminue fortement, car il n’existe aucun point de défaillance unique.
3.2 Cas d'utilisation
La confiance est la base des interactions et des prises de décision entre différentes entités. Ainsi, quand des données fiables peuvent être distribuées en toute sécurité, cela signifie que de nombreuses interactions et décisions peuvent être réalisées via des services Web3 impliquant diverses parties. Cela contribue à maximiser le capital social. Voici quelques cas d’usage envisageables.
3.2.1 Applications de services/protocoles
-
Systèmes automatisés de décision basés sur des règles — les protocoles utilisent des paramètres clés pour fonctionner. Ces paramètres sont régulièrement ajustés pour stabiliser le service et offrir la meilleure expérience utilisateur. Cependant, les protocoles ne peuvent pas constamment surveiller leur état ni modifier dynamiquement ces paramètres en temps réel. C’est là qu’intervient le flux de données on-chain : il permet d’analyser en temps réel l’état du service et de proposer le jeu optimal de paramètres correspondant aux exigences (par exemple, mécanisme automatique de taux flottant pour un protocole de prêt).
-
Développement du marché du crédit — traditionnellement, le crédit mesure la capacité de remboursement d’un individu dans les marchés financiers, améliorant ainsi l’efficacité du marché. Mais dans Web3, la définition du crédit reste floue, faute de données personnelles disponibles et de gouvernance inter-protocoles. Un processus capable de collecter et traiter les données fragmentées on-chain permettrait de redéfinir le crédit dans Web3 (ex. : score MACRO de Spectral, Oracle de risque de crédit multi-actifs).
-
Social décentralisé / extension NFT — la société décentralisée privilégie le contrôle utilisateur, la protection de la vie privée, la résistance à la censure et la gouvernance communautaire. Elle propose ainsi un paradigme social alternatif. Un pipeline pourrait faciliter le contrôle fluide des métadonnées et la migration entre plateformes.
-
Détection de fraudes — les services Web3 basés sur des contrats intelligents sont vulnérables aux attaques malveillantes visant à voler des fonds, pirater des systèmes ou provoquer des désancrages et des attaques de liquidité. Un système capable de détecter ces menaces à l’avance permettrait aux services Web3 d’élaborer des plans de réponse rapides et de protéger les utilisateurs.
3.2.2 Initiatives de coopération et de gouvernance
-
DAO entièrement on-chain — les organisations autonomes décentralisées (DAO) dépendent fortement d’outils hors chaîne pour exécuter efficacement la gouvernance et gérer les fonds publics. En construisant un processus de traitement des données on-chain, on pourrait rendre les opérations DAO plus transparentes et renforcer ainsi la valeur des DAO natifs Web3.
-
Atténuation de la fatigue de gouvernance — les décisions des protocoles Web3 passent généralement par la gouvernance communautaire. Pourtant, de nombreux facteurs rendent difficile la participation : barrières géographiques, pression de surveillance, manque d’expertise technique, ordres du jour publiés aléatoirement, mauvaise ergonomie. Un outil simplifiant le parcours de compréhension à mise en œuvre des propositions de gouvernance permettrait à ces cadres de fonctionner plus efficacement.
-
Plateforme de données ouvertes pour projets collaboratifs — dans les milieux académiques et industriels actuels, de nombreuses données et matériaux de recherche ne sont pas publiés, ralentissant fortement le progrès global. À l’inverse, un bassin de données on-chain, transparent et accessible à tous, favoriserait davantage d’initiatives collaboratives. Le développement de nombreux standards de jetons et solutions DeFi en est un bon exemple. On pourrait également exploiter des bassins de données publics à diverses fins.
3.2.3 Diagnostic du réseau
-
Recherche d’indices — les utilisateurs Web3 créent divers indicateurs pour analyser et comparer l’état des protocoles. Des indicateurs objectifs peuvent être étudiés et affichés en temps réel (ex. : coefficient Nakamoto de Nakaflow).
-
Métriques de protocole — en analysant des données telles que le nombre d’adresses actives, le volume de transactions, les entrées/sorties d’actifs ou les frais générés, on peut évaluer la performance d’un protocole. Ces informations servent à mesurer l’impact de mises à jour, l’état du MEV ou la santé du réseau.
3.3 Défis
Les données on-chain offrent des avantages uniques pouvant valoriser le secteur. Toutefois, pour tirer pleinement parti de ces atouts, de nombreux défis internes et externes doivent être relevés.
-
Manque de gouvernance des données — la gouvernance des données consiste à établir des politiques et normes communes pour intégrer harmonieusement chaque élément de donnée. Actuellement, chaque protocole on-chain définit ses propres standards et types de données. Or, il existe une absence criante de gouvernance entre les entités qui agrègent ces données et fournissent des services API, rendant difficile l’intégration entre services et limitant la fiabilité des analyses.
-
Inefficacité coûts-bénéfices — stocker des données froides dans un protocole peut faire économiser aux utilisateurs les coûts liés à la sécurité et aux serveurs. Toutefois, si l’accès fréquent aux données ou des calculs intensifs sont requis, le stockage sur blockchain peut devenir prohibitif.
-
Problème des oracles — les contrats intelligents ne peuvent fonctionner pleinement que s’ils accèdent à des données du monde réel. Or, ces données ne sont pas toujours fiables ou cohérentes. Contrairement à la blockchain, sécurisée par consensus, les données externes ne sont pas déterministes. Les solutions d’oracle doivent continuellement évoluer pour assurer intégrité, qualité et évolutivité, sans dépendre d’une couche applicative spécifique.
-
Protocoles encore immatures — les protocoles utilisent leurs propres jetons pour inciter les utilisateurs à maintenir le service et payer les frais. Pourtant, les paramètres critiques (définition précise des utilisateurs, schémas d’incitation) sont souvent mal gérés. Cela rend difficile la vérification de la durabilité économique du protocole. Si de nombreux protocoles s’interconnectent organiquement pour former des pipelines, l’incertitude quant à leur bon fonctionnement augmente d’autant.
-
Lenteur de récupération des données — les protocoles traitent les transactions par consensus entre de nombreux nœuds, ce qui limite la vitesse et le volume de traitement comparé à la logique IT traditionnelle. Ce goulot d’étranglement sera difficile à résoudre tant que les performances des protocoles composant le pipeline ne seront pas significativement améliorées.
-
Valeur réelle des données Web3 — la blockchain reste un système isolé, non connecté au monde réel. Lorsqu’on collecte des données Web3, il faut se demander si elles fourniront des insights suffisamment pertinents pour justifier le coût de construction du pipeline.
-
Syntaxe inhabituelle — les infrastructures de données IT classiques et celles de la blockchain fonctionnent très différemment. Les langages de programmation eux-mêmes diffèrent, la blockchain utilisant souvent des langages bas niveau ou spécialement conçus. Cela complique l’apprentissage pour les nouveaux développeurs et utilisateurs, qui doivent acquérir de nouvelles compétences ou changer leur façon de penser les données.
4. Le lego pipeliné des données Web3
Actuellement, les primitives de données Web3 fonctionnent indépendamment, extrayant et traitant les données de manière isolée. Cela rend difficile l’émergence de synergies innovantes. Pour y remédier, cet article présente les pipelines de données couramment utilisés dans le marché IT, puis cartographie les primitives Web3 existantes sur cette architecture, rendant ainsi les cas d’usage plus concrets.
4.1 Pipeline de données général
Construire un pipeline de données revient à conceptualiser et automatiser dans la vie quotidienne des processus décisionnels répétitifs. Cela permet d’accéder à tout moment à des informations spécifiques de qualité requise, utiles à la prise de décision. Plus les données non structurées à traiter sont nombreuses, plus l’utilisation de l’information est fréquente ou nécessite une analyse en temps réel, plus l’automatisation de ce processus permet d’économiser temps et ressources pour des décisions futures.
L’image ci-dessus illustre l’architecture générale utilisée dans le marché IT pour construire des pipelines de données. Les données pertinentes sont collectées à partir des sources adéquates, puis stockées dans des solutions adaptées selon leur nature et les besoins d’analyse. Par exemple, les data lakes offrent un stockage brut, flexible et évolutif, tandis que les data warehouses se concentrent sur les données structurées, optimisées pour des requêtes spécifiques. Ensuite, les données sont transformées en insights ou informations exploitables.
Chaque niveau de cette architecture peut également être proposé sous forme de service packagé. Les produits SaaS ETL (Extract-Transform-Load), qui relient l’ensemble du processus d’extraction à chargement, attirent de plus en plus l’attention (ex. : FiveTran, Panoply, Hivo, Rivery). L’ordre n’est pas toujours linéaire : selon les besoins, les niveaux peuvent être interconnectés de multiples façons. L’essentiel lors de la construction d’un pipeline est de minimiser les risques de perte de données lors des transferts entre serveurs. Cela passe par une optimisation du découplage des serveurs et l’utilisation de solutions fiables de stockage et traitement.
4.2 Pipeline adapté à l’environnement on-chain
Le schéma conceptuel du pipeline de données présenté précédemment peut être appliqué à l’environnement on-chain, comme illustré ci-dessus. Toutefois, notons qu’un pipeline entièrement décentralisé est impossible, car chaque composant dépend encore en partie de solutions centralisées hors chaîne. De plus, ce schéma n’inclut pas l’ensemble des solutions Web3, et certaines frontières restent floues — par exemple, KYVE agit à la fois comme plateforme de streaming et comme data lake, pouvant être vu comme un pipeline complet. De même, Space and Time, bien catégorisé comme base de données décentralisée, fournit aussi des services API (RestAPI, streaming) et ETL.
4.2.1 Capture/Traitement
Pour que les utilisateurs ordinaires ou les dApps puissent utiliser efficacement les services, ils doivent pouvoir facilement identifier et accéder aux sources de données générées principalement à l’intérieur des protocoles (transactions, états, événements logs). Cette couche repose sur des middlewares facilitant des processus comme les oracles, la messagerie, l’authentification ou la gestion d’API. Principales solutions :
Plateformes de streaming/indexation
-
Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, explorateurs de blocs propres à chaque protocole, etc.
Nœud en tant que service et autres services RPC/API
-
Alchemy, All that Node, Infura, Pocket Network, Quicknode, etc.
Oracles
-
API3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra Oracles, etc.
4.2.2 Stockage
Comparées aux solutions Web2, les solutions de stockage Web3 offrent plusieurs avantages comme la pérennité et la décentralisation. Toutefois, elles souffrent aussi d’inconvénients : coût élevé, difficultés à mettre à jour ou interroger les données. Diverses solutions sont apparues pour pallier ces lacunes, permettant un traitement efficace des données structurées et dynamiques sur Web3 — chacune ayant des caractéristiques distinctes (type de données, structuration, fonctions de requête intégrées, etc.).
Réseaux de stockage décentralisés
-
Arweave, Filecoin, KYVE, Sia, Storj, etc.
Bases de données décentralisées
-
Bases de données sur Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland, etc.
* Chaque protocole utilise un mécanisme différent de stockage permanent. Arweave repose sur un modèle similaire à Ethereum, stockant les données durablement sur chaîne, tandis que Filecoin, Sia et Storj utilisent un modèle contractuel, stockant les données hors chaîne.
4.2.3 Transformation
Dans le contexte Web3, la couche de transformation est tout aussi cruciale que celle de stockage. En effet, la structure blockchain, constituée de nœuds distribués, facilite l’exécution de logiques arrière-plan évolutives. Dans le secteur de l’IA, on exploite activement cet avantage pour la recherche en apprentissage fédéré, et des protocoles spécialisés en machine learning et IA sont apparus.
Entraînement des données / modélisation / calcul
-
Akash, Bacalhau, Bittensor, Gensyn, Golem, Together, etc.
* L’apprentissage fédéré consiste à distribuer un modèle initial sur plusieurs clients natifs, à l’entraîner localement avec leurs données, puis à regrouper les paramètres appris sur un serveur central pour former un modèle global.
4.2.4 Analyse/Utilisation
Les services de tableau de bord et les solutions d’analyse destinées aux utilisateurs finaux listés ci-dessous sont des plateformes permettant d’observer et de découvrir des insights à partir de protocoles spécifiques. Certaines offrent aussi des API pour leurs produits finaux. Toutefois, les données qu’elles fournissent ne sont pas toujours exactes, car elles utilisent souvent des outils hors chaîne pour le stockage et le traitement. Des erreurs peuvent aussi être observées entre solutions.
Par ailleurs, une plateforme appelée « Web3 Functions » permet d’exécuter automatiquement ou de déclencher des contrats intelligents, à l’instar des plateformes centralisées comme Google Cloud. Grâce à celle-ci, les utilisateurs peuvent implémenter des logiques métier de façon native Web3, allant au-delà de simples analyses de données on-chain.
Services de tableaux de bord
-
Dune Analytics, Flipside Crypto, Footprint, Transpose, etc.
Insights et analyses pour utilisateurs finaux
-
Chainalysis, Glassnode, Messari, Nansen, The Tie, Token Terminal, etc.
Web3 Functions
-
Functions de Chainlink, Gelato Network, etc.
5. Réflexions conclusives
Comme le disait Kant, nous ne pouvons observer que les phénomènes des choses, jamais leur essence. Pourtant, nous utilisons les « données », ces enregistrements d’observation, pour traiter l’information et la connaissance, et constater comment l’innovation technologique pousse la civilisation vers l’avant. Ainsi, construire un pipeline de données dans le marché Web3, en plus de ses caractéristiques décentralisées, pourrait jouer un rôle clé en servant de point de départ concret pour saisir ces opportunités. Je conclurai cet article par quelques réflexions.
5.1 Le rôle des solutions de stockage deviendra plus crucial
La condition première d’un pipeline de données est l’établissement d’une gouvernance des données et des API. Dans un écosystème de plus en plus diversifié, les normes créées par chaque protocole continueront d’évoluer, et les traces fragmentées des transactions multichaînes rendront difficile pour les individus d’obtenir des insights synthétisés. À ce stade, les « solutions de stockage » deviendront des entités capables de recueillir ces informations éparses, de mettre à jour les normes de chaque protocole et de fournir des données intégrées dans un format unifié. Nous observons déjà que sur les marchés existants, des solutions comme Snowflake ou Databricks connaissent une croissance rapide, captant de vastes bases d’utilisateurs grâce à une intégration verticale des couches du pipeline, et conduisant l’industrie.
5.2 Opportunités sur le marché des sources de données
Lorsque les données deviennent plus accessibles et que les processus de traitement s’améliorent, des cas d’usage réussis émergent. Cela crée un effet de cercle vertueux : les sources de données et outils de collecte explosent. Depuis 2010, grâce aux progrès techniques dans la construction de pipelines, la variété et la quantité de données numériques collectées augmentent exponentiellement chaque année. Appliqué au marché Web3, cela signifie que de nombreuses sources de données pourraient être générées de façon récursive sur chaîne, étendant ainsi la blockchain à divers domaines d’activité. À ce moment-là, nous pouvons anticiper une avancée dans la collecte de données via des marchés comme Ocean Protocol, ou des solutions DeWi (sans fil décentralisé) comme Helium et XNET, combinées aux solutions de stockage.
5.3 L’essentiel : des données et analyses significatives
Mais surtout, il faut constamment se demander quelles données préparer pour extraire les insights réellement utiles. Rien n’est plus coûteux que de construire un pipeline de données sans hypothèse claire à valider. Les marchés existants ont réalisé d’innombrables innovations grâce aux pipelines, mais aussi payé un lourd tribut à travers d’innombrables échecs inutiles. Il est bon de discuter constructivement de l’évolution de la pile technologique, mais le secteur doit prendre le temps de réfléchir à des questions plus fondamentales : quelles données stocker dans l’espace bloc, et dans quel but ? L’objectif doit être de réaliser la valeur Web3 via des informations exploitables et des cas concrets ; les composants de base et la finalisation du pipeline ne sont alors qu’un moyen d’y parvenir.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
Four Pillars
