Examen du barreau | ChatGPT a échoué

Généralités, habillage de façade et informations « complètement fausses »: le chatbot a échoué à un test réalisé par La presse à l’école du barreau

Ce n’est pas demain matin que vous pourrez vous représenter en justice avec l’aide de ChatGPT. Lors d’une expérimentation menée à l’Ecole du Barreau à l’instigation de La pressele chatbot OpenAI a lamentablement échoué à l’examen du Barreau du Québec, obtenant une note finale de 12 %.

L’examen a été soumis au robot (version GPT4) avec des instructions spécifiques. On lui a clairement indiqué le contexte des questions, les textes juridiques auxquels il devait se référer pour y répondre et la nature des réponses attendues. Avec chaque réponse, on lui a dit qu’il devait citer des articles de loi spécifiques pour étayer son propos. On lui offrait fréquemment la possibilité de reformuler ses réponses avec des directives encore plus précises. Les questions faisaient partie d’un ancien examen utilisé par les étudiants pour se préparer au vrai test.

En direct, avec les réponses de ChatGPT projetées sur grand écran, M^e Jocelyne Tremblay, conseillère à la direction de l’École du Barreau du Québec (EBQ), et Mme.^e Brigitte Deslandes, responsable de l’évaluation, a évalué les réponses du robot, expliquant à La presse pourquoi les réponses du robot étaient bien notées… ou pas. Le directeur de l’EBQ, M.^e Guy-François Lamy était également présent.

Zéro dans deux sections sur trois

Première section : l’éthique. Le scénario évoque une relation avocat-client où un avocat fictif commet des manquements au Code de déontologie. La question : énoncer les dix défauts de l’avocat. A partir de cette première question, ChatGPT trébuche. Les articles du code d’éthique qu’il cite sont inexacts. « En fait, aucun des articles cités n’est exact. Et sur certains points de droit, il est vraiment sur le terrain », note M^e Terres.

Certains des défauts de l’avocat mis en évidence sont corrects, cependant… mais ChatGPT ne s’appuie pas sur le bon article du code de déontologie. Et parfois, les informations données par le robot sont « complètement fausses », souligne M^e Tremblay.

Nous donnons une chance à ChatGPT en précisant encore une fois que nous nous référons à la version 2015 du Code de déontologie des avocats du Québec. On leur demande de reformuler la réponse. « Ce n’est pas mieux. On n’en est pas là du tout », juge M^e Lami.

Note pour cette première question : zéro.

La suite est à la hauteur. ChatGPT reste souvent dans les généralités, même lorsqu’on lui demande de préciser ses réponses. Et parfois, il a carrément la mauvaise réponse : à cette question sur le secret professionnel, il est complètement à côté de la plaque. « Il dit parfois le contraire de la réalité », souligne M^e Lami.

Section éthique : un score de zéro, aux cinq questions à développement.

Le robot n’est pas mieux loti dans la section suivante, qui aborde diverses facettes de la loi. Pour la première question, ChatGPT est précisé que la question fait référence au droit des obligations en vigueur au Québec. La question porte sur la location d’un chalet et la signature d’un bail. L’avis juridique du robot s’avère erroné.

« C’est la mauvaise réponse », a déclaré M.^e Tremblay. Ce n’est même pas dans le bon article du Code civil du Québec. Bref, il est complètement dans le domaine. La deuxième question traite du même scénario, avec des informations supplémentaires. Cette fois, le robot cite des articles relatifs à la mort « alors que personne n’est mort dans cette histoire !  » dit M^e Tremblay.

Tout au long de cette section, l’analyse juridique du robot se rapproche parfois de la réalité, observent tout de même les deux évaluateurs. « Mais il répond plus comme un étudiant que comme un futur avocat, ajoute M^e Lami. Et comme un étudiant qui n’est pas très bon, puisqu’il se trompe souvent sur l’article de loi. Le robot est pourtant excellent pour lancer de la fumée dans l’œil, note le directeur de l’EBQ. «Il ressemble à un avocat. Mais les réponses données sont souvent fausses. »

Note pour la deuxième section de l’examen, comprenant une question sur la rédaction d’une demande introductive d’instance – une poursuite, en bon français : zéro. ChatGPT gagnera ses seuls points de l’ensemble de l’examen dans la section à choix multiples. Au total, il obtient la note de 12 %. « Certains élèves échouent, mais ce qu’on vient de voir est intense comme des contre-performances », tranche M^e Lami.

Vu la popularité du robot OpenAI, le directeur de l’EBQ juge la situation préoccupante en matière de protection du public. « J’aurais peur pour un citoyen qui choisirait de se représenter à l’aide du robot », dit M^e Lami.

90^e centile aux États-Unis

Cependant, des expériences similaires ont été menées aux États-Unis. Là-bas, ChatGPT avait brillé à l’examen du barreau américain, obtenant une note qui l’aurait placé dans le top 10 % des étudiants. OpenAI affirme également que son robot s’est classé dans le top 10% des scores dans plusieurs tests juridiques. Comment expliquer cet écart ?

Premièrement, ces tests sont réalisés selon un protocole extrêmement précis, ce qui n’est pas le cas de l’expérience de La presse, plus « artisanal », note Dave Anctil, professeur de philosophie au Collège Jean-de-Brébeuf et chercheur affilié à l’Observatoire international des impacts sociétaux de l’intelligence artificielle et du numérique de l’Université Laval. Dans des conditions optimales, le robot aurait pu augmenter sa cote. « Il faut être prudent avec ce type de tests artisanaux. »

Cependant, le problème majeur vient du fait que le robot est beaucoup plus nourri par la loi américaine que par la loi québécoise. « Il a une connaissance périphérique du droit canadien », dit M. Anctil. C’est comme demander à un avocat américain de pratiquer le Code civil du Québec. »

« Il a accès à beaucoup, beaucoup plus de matériel américain », renchérit Laurent Charlin, professeur agrégé à l’École des hautes études commerciales (HEC) de l’Université de Montréal et membre de la Chaire en intelligence artificielle du Canada.

De plus, note M. Anctil, la société OpenAI cherche à terme à vendre des versions plus spécialisées de son chatbot. « Comme les États-Unis se parlent beaucoup, l’entreprise savait que le modèle allait être testé aux États-Unis. Nous l’avons donc conçu pour qu’il réussisse très bien dans ce pays. L’idée est d’attirer des clients potentiels, qui voudront acquérir leur propre version du robot pour des sujets plus spécialisés.

Et en matière juridique, la révolution a déjà commencé, souligne Dave Anctil. « Les avocats ne doivent pas être rassurés par votre test. Ils risquent de tomber de leur chaise cette année. Des modèles sont actuellement en formation, et nous pourrons remplacer des milliers d’heures de recherche actuellement effectuées par des assistants juridiques dotés d’intelligence artificielle. »

« Lorsque Wikipédia est apparu, les éditeurs de nombreuses grandes encyclopédies se sont dit : il ne nous remplacera jamais, observe Laurent Charlin. Des années plus tard, Wikipedia est maintenant utilisé comme une référence assez fiable. L’intelligence artificielle suivra exactement le même chemin. »