Dans la newsletter d’aujourd’hui:

Pour les abonnés gratuits:

• L’édito: “Implanter et développer l’IA en mode Security by design” par Frédéric Simottel

Pour les abonnés payants:

• Études: 98 % des attaques à distance d’ordinateur en 2023 ont pour origine…

• La Tribune: “Menace quantique : si votre entreprise n’est pas préparée, il est déjà trop tard” Par Samir Battin, CISO de Signaturit Group 

• A ne pas manquer sur le web: Le FBI vient d’annoncer la saisie de l’un des supermarchés préférés des cybercriminels.

C’est en Corée du Sud que se déroulera les 21 et 22 mai prochains le deuxième sommet sur la sécurité de l’IA. Dirigeants et experts auront l’occasion de revenir sur le cadre de coopération établi par la déclaration de Bletchley en novembre 2023 au Royaume Uni. L’objectif est évidemment de décider des engagements communs pour garantir la sécurité de l’IA mais aussi l’inclusion et l’innovation, afin que les progrès en matière d’IA soient bénéfiques à l’ensemble de l’humanité, tout en minimisant les risques. Parmi les exigences faîtes aux acteurs présents : être capable de fournir aux instituts de sécurité de l’IA du monde entier des informations sur leurs nouveaux modèles, à des fins de tests avant d’autoriser l’accès au public.  

Implanter et développer l’IA en mode Security by design

L’IA étant désormais clairement reconnue comme une source de création de valeur, il est évident qu’elle attise l’imagination et la convoitise des criminels. Reste que pour l’instant, cette malveillance est surtout annoncée dans des études ou des rapports comme celui du National Cyber Security Centre (NCSC, qui dépend des services de renseignement britanniques), publié en janvier dernier et intitulé The near-term impact of AI on the cyber threat assessment. Rapport au sein duquel la directrice générale du (NCSC), Lindy Cameron explique : « L’utilisation émergente de l'IA dans les cyberattaques est évolutive et non révolutionnaire, ce qui signifie qu'elle renforce les menaces existantes telles que les ransomwares, mais ne transforme pas le paysage des risques à court terme ». 

Le ransomware restera en 2024 l’attaque le plus répandue

En conclusion de cette étude, on peut lire que si l'IA est déjà -faiblement- utilisée dans le cadre de cyber activités malveillantes, son rôle va certainement augmenter le volume et l'impact des cyberattaques, et notamment à court terme, celui des ransomwares. Cette menace restera quoiqu’il arrive la méthode de cybercriminalité la plus utilisée en 2024 étant donné les avantages financiers qu’elle procure et de son modèle économique éprouvé.

Cette tendance est confirmée par la National Crime Agency (NCA), agence nationale d'application de la loi au Royaume-Uni, persuadée que les cybercriminels ont déjà commencé à développer de l'IA générative criminelle en tant que service payant. Pour ne pas provoquer un phénomène de panique sur ces technologies que nous commençons à peine à appréhender, le NCSC rétorque toutefois que l'efficacité de ces modèles criminels reste limiter par la quantité et la qualité des données sur lesquelles ils sont formés. 

Des cybercriminels débutants deviennent rapidement des cadors

Le rapport se révèle par contre un peu plus inquiétant quant à l’accès aux capacités de l’IA par des cybercriminels débutants. « Les services d'IA abaissent les barrières à l'entrée, augmentant le nombre de cybercriminels, et renforceront leurs capacités en améliorant l'échelle, la vitesse et l'efficacité des méthodes d'attaque existantes. La fraude et les abus sexuels sur les enfants sont également particulièrement susceptibles d'être touchés », détailleJames Babbage, directeur général des menaces à la NCA qui ajoute : « grâce à l’IA, des criminels disposent d’opérations d'accès et de collecte d'informations plus efficaces ».

Concrètement, à ce jour, la menace pèse surtout sur les infrastructures. L’IA reposant sur des serveurs, processeurs et réseaux, ce sont ces derniers qui seront attaqués… Et plutôt par des processus traditionnels. Par la suite, les cyberattaques vont peu à peu apprendre à profiter des faiblesses de l’IA dues à ses caractéristiques intrinsèques, autour notamment des réseaux de deep learning et des Large Language Model (LLM). Selon les experts, même s’il n’y a pas encore de faits avérés, il faut se préparer aux attaques par empoisonnement des données, insertions de backdoor, attaques adversariales, inversion de LLM et bien entendu tout ce qui touche aux deepfakes et figures de style du même genre.

Comment faire alors pour se protéger. Premièrement, il faut comprendre comment ces modèles fonctionnent et comment ils vont se protéger. Mais cette démarche n’est pas aussi facile car il faut trouver un juste équilibre au niveau des règles de sécurité ; prendre conscience que nous avons des règles cyber déterministes qui doivent s’appliquer dans un univers d’IA générative. Il est urgent de s’y former car l’IA va devenir la base du développement logiciel.

Faire appel à une équipe de reteaming

Pour réduire les risques, plusieurs solutions émergent. La première consiste à scanner le prompt de l’utilisateur pour détecter les attaques. Baptisée prompt injection, ce procédé utilise des IA pour scanner le prompt et pour protéger des IA. L’autre bonne pratique consiste par exemple à faire appel à une équipe de reteaming, des professionnels qui ont l’habitude de tester des SI et de mettre à l’épreuve des IA sur leurs biais éthiques ou des problèmes de sécurité. Il n’est évidemment pas trop tard pour vous lancer.

...