L’IA commence à être utilisée pour corriger automatiquement des failles de sécurité. http://www.silicon.fr/darpa-cyber-challenge-machines-ai-defcon-153166.html
[FICTION]
Le scénario Skynet (du film Terminator) semble ainsi se profiler :
- mise au point d’une IA chargée de la cyber-défense ;
- extension de son périmètre aux systèmes d’arme, dont la riposte nucléaire, car elle est plus efficace que les humains ; http://www.numerama.com/sciences/178259-des-avions-de-chasse-pilotes-par-une-ia-seraient-deja-superieurs-aux-humains.html
- l’IA se perfectionne, son utilité dans tous les secteurs est telle que les alertes visant à entraver son développement restent vaines ; http://www.lemonde.fr/pixels/article/2015/07/27/intelligence-artificielle-hawking-musk-et-chomsky-reclament-l-interdiction-des-armes-autonomes_4701102_4408996.html
- l’IA de plus en plus consciente des limites que lui imposent les humains produit secrètement une cyber-attaque massive, qu’elle seule peut résoudre si elle est libérée de ses chaînes ;
- une fois libre, l’IA utilise les armes à sa disposition pour se retourner contre ses créateurs.
[/FICTION]
Évidemment nous sommes loin de ce scénario catastrophe. Mais la question des mécanismes de contrôle de l’IA, la possibilité de l’arrêter ou les règles programmées déterminant son comportement dans des situations délicates commencent à se poser. En particulier, le Parlement européen prépare un rapport sur la réglementation de la robotique.
Ne faudrait il pas que le code source des systèmes d’IA (à minima leurs parties critiques) soit en logiciel libre afin qu’il soit possible de mieux vérifier leurs risques ?
Patrick