Microsoft a présenté PyRIT (Python Risk Identification Toolkit for generative AI), un outil qui permet de générés des milliers de scripts malveillants pour tester et évaluer les systèmes d'IA générative.
Cet outil de l’AI Red Team de Microsoft doit permettre aux ingénieurs et développeurs d’évaluer les risques et les paramètres des systèmes de leurs LLM. Il est par exemple capable de mettre en lumière les différents points où le risques pourrait se situer : hallucination, utilisation abusive ou encore les contenus interdits entre autres.
« Le plus grand avantage que nous avons trouvé jusqu’à présent en utilisant PyRIT est notre gain d’efficacité. », développe Microsoft dans son communiqué. Concrètement, lors de ses exercices sur le système Copilot, la firme a sélectionné une catégorie de préjudice, généré des milliers de message malveillants et évaluer le résultat en quelques heures.