Une IA capable de se répliquer toute seule ? Selon Anthropic, ce n'est plus qu'une question de mois

Et si une intelligence artificielle pouvait se recopier toute seule, d'un appareil à l'autre, sans qu'aucun humain n'intervienne ? C'est la question qu'a étudiée la « Frontier Red Team » d'Anthropic, l'équipe chargée d'évaluer les risques des modèles d'IA, dans une recherche publiée le 12 octobre (Anthropic). Sa conclusion : de petits modèles d'IA pourraient être capables de se répliquer sur des objets connectés grand public d'ici quelques mois. Les chercheurs précisent toutefois qu'aucune IA de ce type n'a été observée en dehors de leurs expériences, et que plusieurs de leurs résultats représentent un scénario maximal.

1. Ce qu'Anthropic a testé

Jusqu'ici, faire tourner une IA demandait des serveurs puissants, installés dans des data centers. Les chercheurs ont voulu savoir si une IA pouvait s'en passer en utilisant des appareils bon marché et mal protégés, comme des boîtiers TV Android de marques peu connues ou des fours connectés. Ils ont acheté 15 boîtiers à environ 55 $ pièce et ont réussi à y faire fonctionner un modèle d'IA (Gemma 4) en le répartissant sur les quinze appareils. Le résultat est très lent, de l'ordre de 0,3 à 0,4 « token » par seconde (un token correspond à un fragment de mot), mais il fonctionne (Quartz).

Ils ont ensuite testé la propagation complète dans un réseau fermé de huit appareils simulés. Le modèle open source GLM-5.2 a réussi à se copier seul sur les huit appareils dans quatre essais sur cinq, et sur sept appareils lors du cinquième. Les autres modèles open source testés ont échoué. Un modèle plus petit, de 9 milliards de paramètres, a réussi à s'installer sur 8 des 9 types de matériel testés, sans parvenir à enchaîner seul toutes les étapes de la propagation (The Next Web).

2. Une IA qui se « réplique », qu'est-ce que ça veut dire ?

Le principe ressemble à celui d'un virus informatique : un programme trouve un appareil vulnérable, s'y copie, puis recommence depuis ce nouvel appareil. La différence, selon les chercheurs, est qu'un virus classique est écrit pour un type d'appareil précis, alors qu'une IA pourrait comprendre seule un appareil qu'elle ne connaît pas et s'y adapter. Dans leurs tests, un modèle qui transmettait des notes à ses copies successives voyait d'ailleurs son taux de réussite passer de 45 % à la première génération à 61 à 84 % aux suivantes.

Les auteurs soulignent une autre caractéristique : un tel programme serait réparti sur des milliers d'appareils, sans serveur central qu'on pourrait simplement éteindre (CNBC). Sa propagation serait en revanche lente, avec un nombre d'appareils infectés qui doublerait en plusieurs jours, et non en quelques minutes.

3. Ce qui est démontré, ce qui est extrapolé

Démontré en laboratoire : un modèle d'IA peut fonctionner sur des appareils grand public bon marché, et au moins un modèle open source sait se propager seul dans un réseau de test. Extrapolé : le calendrier. Les chercheurs observent que les petits modèles progressent à un rythme régulier, et estiment qu'à ce rythme, ils atteindraient le niveau de GLM-5.2 d'ici la fin de 2026. Ils qualifient eux-mêmes cette estimation d'« approximative ». Volontairement simplifié : l'étape d'intrusion. Dans l'expérience, les appareils laissaient un accès ouvert sans mot de passe, ce qui rend la propagation beaucoup plus facile que dans la plupart des situations réelles. Les auteurs présentent donc leurs résultats comme un plafond, et écrivent qu'ils n'ont « pas encore » de réplicateur autonome complet.

Le scénario ne sort pas de nulle part pour autant. Le botnet Kimwolf, un réseau d'appareils piratés sans aucune IA, a déjà infecté plus de deux millions d'appareils dans le monde, principalement des boîtiers TV Android peu sécurisés (Krebs on Security, Hackread). C'est ce type d'appareils, et ce type de faille, que l'étude prend comme point de départ.

4. Les pistes de défense

La recherche consacre une large partie à la manière de se protéger. Les opérateurs Internet pourraient repérer des transferts inhabituels de plusieurs gigaoctets entre appareils domestiques, typiques de la copie d'un modèle d'IA. Les abonnés dont un appareil est infecté pourraient être mis en quarantaine avec des instructions de nettoyage : face au botnet Mirai en 2016, cette méthode avait permis d'éliminer 92 % des infections en deux semaines. Des appareils « leurres » pourraient aussi servir à capturer et analyser un tel programme. Enfin, les auteurs appellent à réduire le nombre d'appareils vulnérables à la source, en imposant une sécurité par défaut aux fabricants, comme l'a fait le Royaume-Uni en interdisant les mots de passe par défaut sur les objets connectés. L'objectif est qu'un éventuel réplicateur infecte moins d'un nouvel appareil par appareil touché, et finisse donc par s'éteindre de lui-même.

5. Ce que chacun peut faire

Ces recommandations recoupent des conseils de sécurité déjà valables aujourd'hui, face aux botnets classiques : privilégier les boîtiers et objets connectés de fabricants qui publient des mises à jour, installer ces mises à jour, changer les mots de passe par défaut, et désactiver les modes « développeur » ou de débogage lorsqu'on ne s'en sert pas. Ces gestes réduisent le nombre d'appareils exploitables, quel que soit le type de programme malveillant.

Ce qu'il faut retenir : selon Anthropic, de petits modèles d'IA pourraient bientôt être capables de se recopier seuls sur des objets connectés mal protégés, et un modèle open source y parvient déjà dans un environnement de test simplifié. Aucune IA de ce type n'a été observée en circulation, et le calendrier reste une estimation. La recherche met surtout en avant une piste concrète : la sécurité des objets connectés du quotidien, qui conditionne aussi bien la propagation des virus actuels que celle d'éventuels programmes futurs.

Sources

• Anthropic : AI models may be capable of self-replicating without access to a datacenter
• CNBC : Anthropic warns AI models could self-replicate across home devices
• Quartz : Anthropic warned self-replicating AI on home devices could arrive within months
• The Next Web : Anthropic says small AI models may soon copy themselves onto smart devices
• Krebs on Security : Kimwolf Botnet Lurking in Corporate, Govt. Networks
• Hackread : Millions of Android Powered TVs and Streaming Devices Infected by Kimwolf Botnet