ChatGPT réussit les examens d'une faculté de droit américaine

Les prouesses du chatbot, alimenté par des masses de données issues de l'internet et capable de rédiger des textes en réponse à des questions simples, suscitent depuis son lancement en fin d'année dernière l'admiration mais aussi les craintes de nombreux internautes. Certains résultats ont été si convaincants que des enseignants de plusieurs universités se sont inquiétés d'un risque de tricherie généralisée et de la fin des méthodes traditionnelles d'enseignement en classe.

Jonathan Choi, professeur à la faculté de droit de l'université du Minnesota, a soumis ChatGPT au même test que celui passé par les étudiants pour l'obtention de leur diplôme, à savoir 95 questions à choix multiples et 12 questions de synthèse dans quatre disciplines. Dans un article académique publié lundi, M. Choi et ses coauteurs ont indiqué que le robot avait obtenu la note globale de C+.

Bien que ce score soit suffisant pour être admis, le robot a fini proche du dernier de la classe dans la plupart des matières, soulignent les universitaires. "Lors de la rédaction de ses essais, ChatGPT a démontré qu'il maîtrisait les règles juridiques de base et que son organisation et sa composition étaient toujours solides", écrivent les auteurs.

Toutefois, le chatbot "avait souvent du mal à repérer les problèmes lorsqu'on lui posait une question ouverte, ce qui est une compétence essentielle dans les examens des facultés de droit", nuancent-ils. Les autorités de New York et d'autres juridictions ont interdit l'utilisation de ChatGPT dans les écoles, mais M. Choi estime que le robot pourrait représenter une aide précieuse à l'enseignement.

"Dans l'ensemble, ChatGPT n'est pas un très bon étudiant en droit lorsqu'il agit seul", a-t-il écrit sur Twitter. "Mais nous pensons qu'en collaborant avec des humains, des modèles de langage comme ChatGPT peuvent être très utiles aux étudiants en droit qui passent des examens et aux avocats en exercice", a-t-il ajouté. Pour dissiper les inquiétudes sur la triche, M. Choi a aussi indiqué que deux correcteurs sur trois avaient repéré le devoir écrit par le chatbot. "[Ils] ont eu une intuition et leur intuition a été la bonne, car ChatGPT avait une grammaire parfaite et était quelque peu répétitif", a-t-il écrit.