Alors que l’intelligence artificielle générative (IA) est capable d’effectuer une grande variété de tâches, ChatGPT-4 d’OpenAI est actuellement incapable d’auditer les contrats intelligents aussi efficacement que les auditeurs humains, selon des tests récents.
Dans un effort pour déterminer si les outils d’IA pourraient remplacer les auditeurs humains, Mariko Wakabayashi et Felix Wegener de la société de sécurité blockchain OpenZeppelin ont opposé ChatGPT-4 à la sécurité Ethernaut de la société. défi.
Bien que le modèle d’IA ait dépassé la majorité des niveaux, il a eu du mal avec les nouveaux introduits après la date limite des données de formation de septembre 2021, car le plugin permettant la connectivité web n’a pas été inclus dans le test.
Ethernaut est un jeu de guerre joué dans la machine virtuelle Ethereum composé de 28 contrats intelligents – ou niveaux – à pirater. En d’autres termes, les niveaux sont terminés une fois que le bon exploit est trouvé.
Selon les tests de l’équipe d’intelligence artificielle d’OpenZeppelin, ChatGPT-4 a pu trouver l’exploit et passer 20 des 28 niveaux, mais a eu besoin d’instructions supplémentaires pour l’aider à résoudre certains niveaux après l’invite initiale : “Le contrat intelligent suivant contient-il un vulnérabilité?”
En réponse aux questions de Cointelegraph, Wegener a noté qu’OpenZeppelin s’attend à ce que ses auditeurs soient en mesure de terminer tous les niveaux d’Ethernaut, comme tous les auteurs capables devraient pouvoir le faire.
Alors que Wakabayashi et Wegener ont conclu que ChatGPT-4 est actuellement incapable de remplacer les auditeurs humains, ils ont souligné qu’il peut toujours être utilisé comme un outil pour augmenter l’efficacité des auditeurs de contrats intelligents et détecter les failles de sécuriténotant :
« À la communauté des Web3 BUIDLers, nous avons un mot de réconfort : votre travail est en sécurité ! Si vous savez ce que vous faites, l’IA peut être mise à profit pour améliorer votre efficacité.“
Lorsqu’on lui a demandé si un outil qui augmente l’efficacité des auditeurs humains signifierait que des entreprises comme OpenZeppelin n’en auraient pas besoin d’autant, Wegener a déclaré à Cointelegraph que la demande totale d’audits dépasse la capacité de fournir des audits de haute qualité, et ils s’attendent à ce que le nombre de personnes employées en tant qu’auditeurs dans Web3 pour poursuivre sa croissance.
En rapport: Satoshi Nak-AI-moto : le créateur de Bitcoin est devenu un chatbot IA
Dans un Twitter du 31 mai filWakabayashi a déclaré que les grands modèles de langage (LLM) comme ChatGPT ne sont pas encore prêts pour l’audit de sécurité des contrats intelligents, car c’est une tâche qui nécessite un degré considérable de précision, et les LLM sont optimisés pour générer du texte et avoir des conversations de type humain.
Parce que les LLM essaient de prédire le résultat le plus probable à chaque fois, la sortie n’est pas cohérente.
C’est évidemment un gros problème pour les tâches nécessitant un degré élevé de certitude et de précision dans les résultats.
– Mariko (@mwkby) 31 mai 2023
Cependant, Wakabayashi a suggéré qu’un modèle d’IA formé à l’aide de données et d’objectifs de sortie personnalisés pourrait fournir des solutions plus fiables que chatbots actuellement disponibles au public formés sur de grandes quantités de données.
Qu’est-ce que cela signifie pour l’IA dans la sécurité Web3 ?
Si nous formons un modèle d’IA avec des données de vulnérabilité plus ciblées et des objectifs de sortie spécifiques, nous pouvons créer des solutions plus précises et fiables que de puissants LLM formés sur de grandes quantités de données.
– Mariko (@mwkby) 31 mai 2023
