Étude menée à l’École polytechnique fédérale de Lausanne (EPFL)

Dans quelle mesure l’intelligence artificielle générative comme ChatGPT réussit-elle les examens ? C’est la question qu’a étudiée une équipe de l’EPFL dirigée par Antoine Bosselut. Elle a soumis aux variantes GPT 3.5 et GPT 4 de GenKI des questions d’examen issues de 50 cours couvrant un large éventail de disciplines MINT, dont l’informatique, les mathématiques, la biologie, la chimie, la physique et la science des matériaux. Résultat : GPT 4 a répondu correctement à 65,8 % des questions en moyenne, lorsqu’elles étaient formulées dans le style d’un profane en IA. Avec une meilleure stratégie de prompt, la machine a même atteint 85,1%. Selon les chercheurs, ces résultats plaident en faveur d’une révision de la conception de l’évaluation au niveau des programmes d’études dans l’enseignement supérieur.

Lire la suite