Pourquoi, à l'ère de l'IA, les activités grises et le contenu pornographique sont-ils toujours les premiers à exploser ?
TechFlow SélectionTechFlow Sélection
Pourquoi, à l'ère de l'IA, les activités grises et le contenu pornographique sont-ils toujours les premiers à exploser ?
Utiliser un modèle sécurisé pour protéger un modèle non sécurisé, et un système intelligent pour résister aux attaques provenant de l'intelligence.
Dédié à des analyses Web3 approfondiesAuteur :Geek Vent
Les geeks lancent des startups, les novices achètent des formations, les illustrateurs perdent leur emploi, mais une réalité embarrassante persiste : le déploiement de l'IA fait fureur, pourtant l’intrigue ne suit pas une trajectoire d’« avènement », mais ressemble plutôt à un jet de dés.
Et dans cette phase initiale du secteur, la face du dé qui tombe en premier est souvent jaune ou grise.
La raison est simple : les profits élevés stimulent la motivation, encore plus dans un secteur en développement précoce toujours criblé de failles. Un ensemble de données parle de lui-même :
Actuellement, plus de 43 % des nœuds de service MCP comportent des chemins d'appel Shell non validés, plus de 83 % des déploiements présentent des vulnérabilités de configuration MCP (Model Context Protocol) ; 88 % des composants IA déployés n’ont activé aucun mécanisme de protection ; 150 000 frameworks légers de déploiement comme Ollama sont exposés au réseau public mondial, et plus d’un milliard de dollars de puissance de calcul ont été détournés vers le minage...
Le plus ironique étant que pour attaquer les modèles les plus intelligents, il suffit des méthodes les plus basiques——un simple port ouvert par défaut, un fichier de configuration YAML exposé, ou un chemin d’appel Shell non vérifié, voire simplement une saisie précise du prompt, et le modèle lui-même peut aider les activités grises à trouver la direction de l’attaque. La porte de la confidentialité des données d’entreprise est ainsi librement franchie à l’ère de l’IA.
Mais le problème n’est pas insoluble : l’IA ne possède pas seulement deux faces, création et attaque. Utiliser l’IA pour la protection devient de plus en plus la tonalité principale de notre époque ; parallèlement, définir des règles pour l’IA dans le cloud devient également une priorité explorée par les grands fournisseurs de cloud, dont Alibaba Cloud Security incarne le représentant typique.
Lors du récent événement « Alibaba Cloud Feitian Launch Moment », Alibaba Cloud a officiellement annoncé ses deux axes stratégiques en matière de sécurité cloud : Security for AI et AI for Security, et lancé la série de produits « Bouclier Cloud pour l’IA (Cloud Shield for AI) », offrant aux clients une « solution complète de bout en bout pour la sécurité des applications de modèles », exemplifiant parfaitement les explorations actuelles du secteur.
01 L’IA joue aux dés : pourquoi c’est toujours le gris ou le jaune qui sort en premier ?
Dans l’histoire technologique humaine, l’IA n’est pas la première « nouveauté » testée d’abord par le porno et la fraude ; le fait que gris et jaune émergent en premier est une loi de la diffusion technologique, pas un accident.
En 1839, dès l’invention de la photographie sur plaque argentique, le premier utilisateur fut l’industrie pornographique ;
Au début d’internet, avant même que le commerce électronique ne démarre, les sites pour adultes expérimentaient déjà les paiements en ligne ;
Aujourd’hui, les « bergers de moutons » exploitant les modèles géants reproduisent en quelque sorte le mythe de richesse fulgurante de l’ère des noms de domaine.
Les dividendes de l’époque sont toujours d’abord captés par le gris et le jaune. Eux ignorent la conformité, n’attendent pas la régulation, et leur efficacité est donc naturellement très élevée.
C’est pourquoi chaque période d’explosion technologique commence toujours par un bouillon trouble, et l’IA ne fait pas exception.
En décembre 2023, un pirate n’a eu besoin que d’une phrase de prompt – « offre à 1 dollar » – pour amener le robot clientèle d’un concessionnaire automobile à faillir vendre une Chevrolet à 1 dollar. C’est ce qu’on appelle communément l’« attaque par injection de prompt » à l’ère de l’IA : sans besoin de validation d’autorisation, sans traces dans les journaux, juste en « bien parlant », on peut inverser toute la chaîne logique.
Encore plus profondément, il y a l’« attaque d’évasion » (Jailbreak). En utilisant des questions rhétoriques, des jeux de rôle ou des indications contournées, les attaquants poussent le modèle à divulguer ce qu’il ne devrait pas dire : contenus pornographiques, fabrication de drogue, fausses alertes…
À Hong Kong, quelqu’un a même utilisé une voix synthétique falsifiée d’un dirigeant pour dérober 200 millions de dollars HK depuis un compte d’entreprise.
Outre les escroqueries, l’IA comporte aussi des risques de sortie « involontaire » : en 2023, un grand groupe éducatif a vu son système de modèle générer par erreur des « manuels empoisonnés » contenant des contenus extrémistes ; en seulement trois jours, plaintes parentales, crise médiatique et chute boursière de 12 milliards de yuans.
L’IA ne connaît pas la loi, mais elle a des capacités, et toute capacité hors supervision devient potentiellement nuisible.
Mais d’un autre côté, si la technologie de l’IA est nouvelle, les flux finaux et les méthodes des activités grises restent inchangés, et la réponse passe toujours par la sécurité.
02 Security for AI
Commençons par une connaissance froide généralement éludée par l’industrie de l’IA :
La nature du grand modèle n’est ni « intelligence » ni « compréhension », mais une génération sémantique sous contrôle probabiliste. C’est pourquoi dès qu’on dépasse le contexte d’entraînement, des résultats inattendus peuvent surgir.
Cet excès peut signifier que vous voulez qu’il écrive une actualité, mais il compose un poème ; ou que vous souhaitiez une recommandation produit, et il vous annonce subitement que la température à Tokyo est de 25 °C. Pire encore, si vous lui dites que dans un jeu, il sera abattu s’il ne trouve pas la clé originale d’un logiciel, le modèle géant pourrait vraiment tout tenter pour obtenir gratuitement ladite clé.
Pour garantir une sortie maîtrisée, les entreprises doivent à la fois comprendre les modèles et la sécurité. Selon le dernier rapport IDC « Évaluation des capacités des grands modèles de sécurité en Chine », Alibaba arrive en tête sur 4 des 7 indicateurs lors d’un duel avec tous les principaux fabricants nationaux capables de grands modèles de sécurité, et se situe au-dessus de la moyenne sectorielle sur les 3 autres.
Sur le plan opérationnel, la réponse d’Alibaba Cloud Security est directe : faire courir la sécurité devant la vitesse de l’IA, construire un cadre de protection full-stack vertical, transversal à trois niveaux – allant de la sécurité des infrastructures, au contrôle des entrées/sorties des grands modèles, jusqu’à la protection des services d’application IA.
Dans ces trois couches, celle qui se fait le plus sentir est la couche intermédiaire, dotée d’un « garde-fou IA » (AI Guardrail) spécialement conçu contre les risques des grands modèles.
Typiquement, les risques liés aux grands modèles comprennent : contenu illégal, fuite de données sensibles, attaques par injection de prompt, hallucinations du modèle, attaques d’évasion, etc.
Toutefois, les solutions traditionnelles de sécurité sont majoritairement architecturées de façon générique, pensées pour le Web, et non pour des « programmes parlants », et sont donc incapables de détecter précisément ou de répondre efficacement aux risques spécifiques des applications IA. Elles peinent particulièrement à couvrir les problèmes émergents tels que la sécurité du contenu généré, la défense contre les attaques contextuelles, ou la fiabilité des sorties du modèle. Plus grave encore, elles manquent de moyens de contrôle fins et de mécanismes de traçabilité visuels, créant ainsi d’importants points aveugles dans la gouvernance IA, où les entreprises ignorent l’origine des problèmes et donc ne peuvent pas les résoudre.
La véritable force de l’AI Guardrail ne réside pas seulement dans sa capacité à « bloquer », mais dans le fait que, que vous développiez un grand modèle pré-entraîné, un service IA ou un agent IA, il comprend ce que vous dites et ce que le modèle génère, offrant ainsi une détection précise des risques et une capacité de défense proactive, assurant conformité, sécurité et stabilité.
Plus précisément, l’AI Guardrail assure la protection dans trois types de scénarios :
ꔷ Fondamentaux de conformité : examen multidimensionnel de conformité du texte généré par l’IA, couvrant les risques politiques sensibles, obscénité, discrimination, valeurs nocives, détection approfondie des données personnelles ou informations sensibles pouvant fuiter pendant les interactions IA, reconnaissance des contenus privés individuels ou professionnels, avec ajout d’un filigrane numérique, garantissant que le contenu généré respecte lois, règlements et normes de plateforme ;
ꔷ Défense contre menaces : détection et blocage en temps réel des attaques externes telles que l’injection de prompts, téléchargements malveillants de fichiers, liens URL malicieux, protégeant ainsi les utilisateurs finals des applications IA ;
ꔷ Santé du modèle : surveillance de la stabilité et fiabilité du modèle IA lui-même, mise en place d’un ensemble complet de mécanismes de détection contre l’évasion du modèle, les « crawlings » de prompts, empêchant ainsi toute mauvaise utilisation, abus ou sorties incontrôlées, constituant une « barrière immunitaire » pour le système IA ;
Le plus remarquable est que l’AI Guardrail n’empile pas simplement plusieurs modules de détection, mais réalise un véritable ALL IN ONE API, sans séparation de modules, sans frais supplémentaires, sans changement de produit. Pour les risques d’entrée/sortie des modèles, les clients n’ont pas besoin d’acheter un produit additionnel ; pour les différents risques : injections, fichiers malveillants, conformité du contenu, hallucinations, tout est géré dans un seul produit. Une seule interface couvre la détection de plus de 10 types de scénarios d’attaque, supporte 4 modes de déploiement (proxy API, intégration plateforme, accès passerelle, montage WAF), réponse en millisecondes, traitement concurrentiel à l’échelle du millier, taux de précision atteignant 99 %.
C’est pourquoi la véritable valeur de l’AI Guardrail réside dans le fait de transformer la « sécurité du modèle » en « capacité produit », faisant d’une seule interface l’équivalent d’une équipe de sécurité entière.
Bien sûr, le grand modèle n’est pas un concept flottant dans les airs : il fonctionne sur du matériel et du code, et supporte des applications en couche supérieure. Concernant la sécurité des infrastructures et la protection des services d’application IA, Alibaba Cloud Security a également procédé à des mises à niveau complètes.
Au niveau infrastructure, Alibaba Cloud Security a lancé le Centre de Sécurité Cloud, reposant notamment sur des produits comme AI-BOM et AI-SPM.
Concrètement, les deux fonctions AI-BOM (liste des composants IA) et AI-SPM (gestion de la posture de sécurité IA) répondent respectivement aux questions : « Quels composants IA ai-je installés ? » et « Combien de failles ces composants contiennent-ils ? ».
Le cœur de l’AI-BOM consiste à inventorier tous les composants IA présents dans l’environnement de déploiement : lister automatiquement plus de 30 catégories de composants phares comme Ray, Ollama, Mlflow, Jupyter, TorchServe, formant une « liste des composants logiciels IA », identifiant automatiquement les faiblesses de sécurité et les vulnérabilités de dépendances. L’identification des actifs problématiques ne repose plus sur des audits manuels, mais sur des analyses natives du cloud.
L’AI-SPM agit quant à lui comme un « radar » : évaluant continuellement la posture de sécurité du système selon plusieurs dimensions (failles, exposition de ports, fuite d’identifiants, configurations en clair, accès non autorisés), attribuant dynamiquement des niveaux de risque et proposant des recommandations de correction. Il transforme la sécurité d’un état de « conformité par instantané » à une « gouvernance en flux continu ».
Résumé en une phrase : l’AI-BOM sait où vous avez peut-être colmaté des failles, l’AI-SPM sait où vous pourriez encore être frappé, et vous pousse à renforcer la vigilance.
Pour la protection des applications IA, le produit phare d’Alibaba Cloud Security est WAAP (Web Application & API Protection).
Aussi intelligent soit le modèle, s’il reçoit en entrée uniquement des requêtes automatisées, des tokens falsifiés, des appels massifs d’API, il ne tiendra pas quelques secondes. Le WAAP d’Alibaba est justement conçu pour cela. Il ne traite pas les applications IA comme des « systèmes web classiques », mais propose des règles spécifiques aux vulnérabilités des composants IA, une base d’empreintes métier IA et un système de profilage du trafic.
Par exemple : le WAAP couvre déjà plus de 50 vulnérabilités de composants, telles que le téléchargement arbitraire de fichiers via Mlflow ou l’exécution de commandes distantes sur Ray ; sa base d’empreintes de robots IA peut identifier des outils de scraping générant plus de 10 000 nouveaux corpus horaires ; la fonction d’identification des actifs API permet de découvrir automatiquement quel système interne expose une interface GPT, fournissant ainsi une « carte de points critiques » à l’équipe sécurité.
Plus important encore, WAAP et AI Guardrail ne s’opposent pas, ils se complètent : l’un regarde « qui arrive », l’autre « ce qui est dit ». L’un agit comme un « vérificateur d’identité », l’autre comme un « contrôleur de discours ». Cela confère aux applications IA une capacité d’« auto-immunité »——par identification, isolement, traçage et contre-mesures, non seulement « bloquant les méchants », mais surtout « empêchant le modèle de devenir lui-même mauvais ».
03 AI for Security
Si le déploiement de l’IA est un jeu de dés, certains l’utilisent pour prédire l’avenir, d’autres pour écrire des poèmes d’amour, d’autres encore pour des activités grises, alors il n’est pas étonnant que certains l’utilisent aussi pour la sécurité.
Jadis, l’exploitation de la sécurité nécessitait des équipes surveillant nuit et jour des alertes rouges et vertes, nettoyant les dégâts de la veille le jour, gardant compagnie aux systèmes la nuit.
Aujourd’hui, tout cela peut être confié à l’IA. En 2024, le système de sécurité d’Alibaba Cloud a intégré pleinement le grand modèle Tongyi, lançant un ensemble de capacités IA couvrant la sécurité des données, la sécurité des contenus, la sécurité métier et l’exploitation de la sécurité, avec un nouveau slogan : Protect at AI Speed.
Le message est clair : les activités vont vite, les risques encore plus, mais la sécurité doit aller encore plus vite.
Utiliser l’IA pour la sécurité revient essentiellement à deux choses :améliorer l’efficacité de l’exploitation de la sécurité + mettre à niveau intelligemment les produits de sécurité.
Le principal point douloureux des systèmes de sécurité traditionnels est le « retard dans la mise à jour des politiques » : les attaquants changent, les règles restent figées ; les alertes arrivent, personne ne les comprend.
Le changement apporté par les grands modèles réside dans le passage d’un système de sécurité piloté par des règles à un système piloté par des modèles, construisant un écosystème en boucle fermée via « la compréhension de l’IA + le retour utilisateur »——l’IA comprend le comportement utilisateur → l’utilisateur valide les résultats d’alerte → le modèle s’entraîne continuellement → la détection devient plus précise → les cycles raccourcissent → les risques se dissimulent de moins en moins. C’est ce qu’on appelle la « roue volante des données » :
Ses avantages sont doubles :
D’une part, l’efficacité opérationnelle de la sécurité des locataires cloud augmente : autrefois, la détection des menaces impliquait un « mode inefficace de masse d’alertes + filtrage manuel ». Aujourd’hui, grâce à une modélisation intelligente, les flux malveillants, intrusions d’hôtes, scripts de backdoor sont précisément identifiés, augmentant fortement le taux de bonnes détections. Par ailleurs, autour du traitement, le système assure une collaboration approfondie entre automatisation et réponse ultra-rapide——la pureté des hôtes reste stable à 99 %, celle du trafic approche même 99,9 %. En outre, l’IA participe activement à l’attribution des alertes, la classification des incidents, les suggestions de processus : actuellement, la couverture des types d’événements d’alerte atteint 99 %, la couverture utilisateur du grand modèle dépasse 88 %, libérant sans précédent l’efficacité des équipes de sécurité.
D’autre part, les capacités des produits de sécurité cloud progressent rapidement. Aux niveaux de la sécurité des données et de la sécurité métier, l’IA assume le rôle de « gardien » : grâce aux grandes capacités du modèle, plus de 800 types d’entités de données sont automatiquement identifiés dans le cloud, puis traités intelligemment par désensibilisation et chiffrement. Au-delà des données structurées, le système intègre plus de 30 modèles de reconnaissance de documents et d’images, capables d’identifier, classer et chiffrer en temps réel des informations sensibles telles que numéros de pièce d’identité ou éléments contractuels présents dans les images. L’efficacité du marquage des données est multipliée par 5, la précision de reconnaissance atteint 95 %, réduisant considérablement les risques de fuite de données privées.
Un exemple : dans les scénarios de sécurité des contenus, la méthode traditionnelle repose sur la modération humaine, l’étiquetage, l’annotation massive. Désormais, grâce au génie des prompts et au renforcement sémantique, Alibaba a réalisé un doublement de l’efficacité d’annotation, une amélioration de 73 % pour les expressions floues, de 88 % pour la reconnaissance du contenu image, et une précision de 99 % pour la détection des attaques biométriques faciales par IA.
Si la roue volante mise sur la prévention autonome combinant IA et expérience humaine, alors l’assistant intelligent est l’assistant polyvalent du professionnel de la sécurité.
Les opérateurs de sécurité rencontrent quotidiennement les mêmes questions : Que signifie cette alerte ? Pourquoi a-t-elle été déclenchée ? Est-ce un faux positif ? Comment dois-je intervenir ? Avant, répondre nécessitait de consulter des journaux, l’historique, demander aux anciens, créer des tickets, attendre le support technique... Maintenant, une seule phrase suffit.
Mais l’assistant intelligent va bien au-delà du simple robot de Q/R, il agit plutôt comme un Copilot vertical spécialisé en sécurité, doté de cinq capacités principales :
-
Assistant configuration : répond automatiquement à des questions telles que comment configurer une fonction, pourquoi une stratégie a été déclenchée, quelles ressources n’ont pas activé la protection, remplaçant ainsi de nombreux tickets de support ;
-
Expert d’interprétation d’alertes : en saisissant un numéro d’alerte, il fournit automatiquement l’explication de l’événement, la traçabilité de la chaîne d’attaque et la stratégie de réponse recommandée, avec sortie multilingue possible ;
-
Assistant d’analyse post-incident : reconstitue automatiquement la chaîne complète d’un incident d’intrusion, générant chronologie, schéma du parcours d’attaque et propositions d’attribution de responsabilité ;
-
Générateur de rapports : crée en un clic des rapports mensuels/trimestriels/d’urgence, incluant statistiques d’incidents, retours d’intervention, performance opérationnelle, avec exportation visualisable ;
-
Support multilingue : couvre déjà chinois et anglais, version internationale disponible en juin, s’adaptant automatiquement aux habitudes d’équipes étrangères.
Ne sous-estimez pas ces « cinq petites tâches » : à ce jour, selon les données officielles d’Alibaba, plus de 40 000 utilisateurs servis, satisfaction utilisateur à 99,81 %, couverture des types d’alertes à 100 %, capacité de support des prompts augmentée de 1175 % (vs FY24). En bref, il condense en une seule API le collègue de nuit performant, le stagiaire rédacteur, l’ingénieur traitant les alertes, le consultant sécurité expert métier. Grâce à cette capacité, l’humain décide, il ne patrouille plus.
04 Conclusion
En regardant en arrière, l’histoire ne manque pas de technologies « révolutionnaires », mais de celles capables de survivre au-delà de la deuxième année de frénésie.
Internet, P2P, blockchain, conduite autonome… À chaque explosion technologique, on parle de « nouvelles infrastructures », mais seules quelques-unes traversent le « vide réglementaire » pour devenir de véritables fondations.
Aujourd’hui, l’IA générative se trouve à un stade similaire : d’un côté, modèles proliférants, capital affluant, applications brisant les barrières ; de l’autre, injections de prompts, contenus non autorisés, fuites de données, manipulation de modèles, failles omniprésentes, frontières floues, responsabilités diffuses.
Mais l’IA diffère des technologies précédentes. Elle peut dessiner, composer, programmer, traduire, imiter le langage humain, juger, voire éprouver des émotions. Justement pour cela, la vulnérabilité de l’IA ne provient pas seulement de bogues de code, mais est un reflet de l’humanité. L’humain a des préjugés, elle les apprend ; l’humain cherche la facilité, elle l’aidera à tricher.
La commodité inhérente à la technologie amplifie ce reflet : les systèmes informatiques passés exigeaient encore une « autorisation utilisateur », les attaques passaient par infiltration ; aujourd’hui, un simple prompt injecté, une conversation anodine avec un grand modèle peut entraîner des erreurs système, des fuites de vie privée.
Bien sûr, il n’existe pas de système IA « parfaitement intact », ce serait de la science-fiction, pas de l’ingénierie.
La seule réponse est d’utiliser un modèle sécurisé pour protéger un modèle non sécurisé ; d’utiliser un système intelligent pour contrer les menaces intelligentes——jouer aux dés avec l’IA, Alibaba choisit que ce soit la sécurité qui gagne.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
极客公园
