Le document de recherche "Malicious Uses and Abuses of Artificial Intelligence" présente l'état en 2020 des utilisations malveillantes et abusives des technologies d'IA et de ML, ainsi que des scénarios futurs plausibles dans lesquels les cybercriminels pourraient abuser de ces technologies à des fins malveillantes.

L'IA est une double edged sword: elle peut aider à résoudre certains des plus grands défis auxquels nous sommes actuellement confrontés, mais elle accroit également les risques de cybercriminalité. Le rapport fournit aux forces de l’ordre, aux décideurs et à d’autres organisations des informations sur les attaques existantes et potentielles tirant parti de l’IA et des recommandations sur la manière d’atténuer ces risques.

Edvardas Šileris, chef du Centre de lutte contre la cybercriminalité d’Europol, a déclaré :

« L’IA promet au monde plus d’efficacité, d’automatisation et d’autonomie. À une époque où le public s’inquiète de plus en plus de l’utilisation abusive possible de l’IA, nous devons être transparents sur les menaces, mais aussi examiner les avantages potentiels de la technologie de l’IA. Ce rapport nous aidera non seulement à anticiper les utilisations malveillantes et abusives possibles de l’IA, mais aussi à prévenir et à atténuer ces menaces de manière proactive. C’est ainsi que nous pouvons libérer le potentiel de l’IA et bénéficier de l’utilisation positive des systèmes d’IA ».

Le document avertit que des systèmes d’IA sont développés pour améliorer l’efficacité des logiciels malveillants et perturber les systèmes anti-malware et de reconnaissance faciale.

Martin Roesler, responsable de la recherche prospective sur les menaces chez Trend Micro, déclare:

« Les cybercriminels ont toujours été les premiers à adopter les dernières technologies et l’IA n’est pas différente. Comme le révèle ce rapport, il est déjà utilisé pour deviner les mots de passe, casser le CAPTCHA et cloner la voix, et de nombreuses autres innovations malveillantes sont en cours ».

Les logiciels malveillants s'adaptent aux filtres et contournent les systèmes de sécurité. Ils utilisent des techniques de machine learning pour analyser les données et prédire les attaques.

Par exemple, en 2015, une étude a prouvé qu’un système pouvait créer des messages électroniques afin de contourner les filtres anti-spam. Cette approche utilise une grammaire générative capable de créer un grand ensemble d’e-mails de phishing avec un haut degré de qualité sémantique pour brouiller les entrées des filtres, le système peut ainsi s’adapter aux filtres et identifier les contenus qui ne sont plus détectés.

En 2017, lors de la conférence Black Hat USA, une conférence sur la sécurité de l’information, des chercheurs ont montré comment utiliser des techniques de ML pour analyser des années de données liées aux attaques BEC (Business Email Compromise), une forme de cybercriminalité utilisant la fraude par courriel pour escroquer les organisations afin d’identifier les cibles potentielles des attaques.

Piratage des mots de passe par l’IA

Les cybercriminels utilisent l'apprentissage machine pour améliorer les algorithmes permettant de deviner les mots de passe des utilisateurs. Ces algorithmes comparent différentes variantes du hachage de mots de passe fréquemment utilisés afin d’identifier avec succès le mot de passe correspondant au hachage.

Les auteurs du rapport ont ainsi découvert, dans un article répertoriant une collection d’outils de piratage open-source, un logiciel basé sur l’IA qui peut analyser un grand ensemble de mots de passe récupérés à partir de fuites de données. Ce logiciel améliore sa capacité à deviner les mots de passe en entraînant un GAN à apprendre comment les gens ont tendance à modifier et à mettre à jour les mots de passe, en ajoutant une lettre ou un chiffre le plus souvent.

Ils ont également trouvé, sur un message de forum clandestin en février 2020, un référentiel GitHub doté d’un outil d’analyse de mot de passe capable d’analyser 1,4 milliard d’informations d’identification et de générer des règles de variation de mot de passe.

les CAPTCHA avec l’IA

L’application du ML pour briser les systèmes de sécurité CAPTCHA est fréquemment évoquée sur les forums criminels. Les images CAPTCHA sont couramment utilisées sur les sites Web pour contrecarrer les criminels lorsqu’ils tentent notamment d’automatiser des attaques (certaines tentatives impliquent la création de nouveaux comptes).

Selon le rapport, un logiciel qui implémente des réseaux neuronaux pour résoudre les CAPTCHA est testé sur des forums criminels.

L'ingénierie sociale est une menace pour les entreprises car elle permet aux cybercriminels d'accéder à des informations confidentielles. Des outils basés sur l'IA sont en train d'améliorer les tâches d'ingénierie sociale, comme le clonage vocal en temps réel.

Selon un rapport d’Europol, l’outil de reconnaissance nommé « Eagle Eyes » est prétendu, sur le forum français Freedom Zone, capable de trouver tous les comptes de médias sociaux associés à un profil spécifique. Il utilise des algorithmes de reconnaissance faciale pour faire correspondre les profils d’un utilisateur utilisant différents noms.

Un autre outil identifié par Europol permet d’effectuer un clonage vocal en temps réel : un enregistrement vocal de seulement cinq secondes d’une cible permet à un acteur malveillant de cloner cette voix. Une société d’énergie basée au Royaume-Uni a été ainsi dupée par l’un d’eux et a transféré près de 200 000 livres sterling sur un compte bancaire hongrois. Le cybercriminel avait utilisé la technologie audio deepfake pour usurper l’identité du PDG de l’entreprise afin d’autoriser les paiements.

Deepfakes et IA

Les deepfakes sont des contenus audio et visuels manipulés par IA pour qu'ils semblent authentiques. Difficiles à différencier des contenus légitimes, elles sont largement utilisées pour la désinformation et peuvent atteindre facilement des millions de personnes sur Internet. Elles impliquent l’utilisation de techniques d’IA pour créer ou manipuler du contenu audio et visuel afin que ceux-ci semblent authentiques. Combinaison de « deep learning » et de « fake media », les deepfakes sont notamment utilisées pour les campagnes de désinformation car difficiles à différencier immédiatement des contenus légitimes, même avec l’utilisation de solutions technologiques. En raison de la large utilisation d’Internet et des médias sociaux, les deepfakes peuvent atteindre des millions de personnes dans différentes parties du monde très rapidement.

Dans le cas des fausses vidéos, l’IA permet de remplacer dans une séquence le visage d’une personne par un autre en utilisant de nombreuses photos. Nombreuses sont les personnes qui se font berner.

En mai dernier, une deepfake a été diffusée sur YouTube utilisant le visage d’Elon Musk, pour escroquer des personnes qui ont ainsi envoyé des crypto-monnaies Bitcoin et Ethereum aux cybercriminels.

Utilisations futures de l’IA dans la cybercriminalité

d'après le rapport les cybercriminels pourraient exploiter l’IA de diverses manières à l’avenir dans le but d’améliorer la portée et l’ampleur de leurs attaques, d’échapper à la détection et d’utiliser de l’IA à la fois comme vecteur d’attaque et comme surface d’attaque.

les prévisions d’attaques portent sur des tactiques d’ingénierie sociale. Les cybercriminels automatiseront les premières étapes d’une attaque grâce à la génération de contenu, améliorer la collecte de renseignements commerciaux et accélérer le taux de détection auquel les victimes potentielles et les processus métier sont compromis. Cela permettra une fraude plus rapide et plus précise des entreprises par le biais de diverses attaques, notamment l’hameçonnage et les escroqueries par e-mail professionnel (BEC).

L’IA peut également être utilisée abusivement pour manipuler les pratiques de trading de crypto-monnaie. Les auteurs évoquent une discussion sur un forum parlant de robots alimentés par l’IA entraînés sur des stratégies de trading réussies à partir de données historiques afin de développer de meilleures prédictions et transactions.

Par ailleurs, l’IA pourrait être utilisée pour nuire ou infliger des dommages physiques à des individus à l’avenir. Les auteurs rapportent que « des drones de reconnaissance faciale alimentés par l’IA transportant un gramme d’explosif sont actuellement en cours de développement. Ces drones, qui sont conçus pour ressembler à de petits oiseaux ou à des insectes pour paraître discrets, peuvent être utilisés pour des bombardements micro-ciblés ou impliquant une seule personne et peuvent être exploités via Internet cellulaire ».

Les technologies d’IA et de ML ont de nombreux cas d’utilisation positifs, cependant, ces technologies sont également utilisées à des fins criminelles et malveillantes. Il est donc urgent de comprendre les capacités, les scénarios et les vecteurs d’attaque qui démontrent comment ces technologies sont exploitées pour être être mieux préparés à protéger les systèmes, les appareils et le grand public contre les attaques et les abus avancés

Les trois organisations formulent plusieurs recommandations pour conclure le rapport :

• Exploiter le potentiel de la technologie de l’IA en tant qu’outil de lutte contre la criminalité pour assurer la pérennité de l’industrie de la cybersécurité et du maintien de l’ordre
• Poursuivre la recherche pour stimuler le développement de technologies défensives
• Promouvoir et développer des cadres de conception d’IA sécurisés
• Désamorcer la rhétorique politiquement chargée sur l’utilisation de l’IA à des fins de cybersécurité
• Tirer parti des partenariats public-privé et établir des groupes d’experts multidisciplinaires