ChatGPT et maths : piètre performance ou pédagogue génial ?

L’équipe de BeneScio a récemment testé ChatGPT, un robot conversationnel devenu célèbre dans le domaine de l’intelligence artificielle. L’objectif de notre test est de soulever des questions notamment sur les implications de l’utilisation de ChatGPT dans l’enseignement des mathématiques.

Cette technologie innovante suscite des inquiétudes, en particulier dans le monde de l’enseignement. En effet, certains arguent qu’elle pourrait non seulement remplacer les enseignants. D’autres clament qu’elle va bouleverser les méthodes d’apprentissage traditionnelles. Plus particulièrement, de nombreux professionnels de l’enseignement craignent que l’utilisation de cette technologie puisse avoir des conséquences négatives sur la qualité de l’enseignement en mathématiques.

La consigne initiale formulée à ChatGPT

Notre demande initiale est simple : “Rédigez un exercice contextualisé (problème) impliquant la résolution d’une équation du second degré en mathématiques de niveau lycée.”

On remarquera rapidement que, même si la demande initiale semble s’adresser à un hypothétique professeur de mathématique artificiel, la machine intelligente se comporte davantage comme un élève (doué !).

Exercice de math proposé par ChatGPT (premier jet)

Voici la première réponse produite par ChatGPT (nous avons souligné en rouge les passages incorrects ou approximatifs):

Un fabricant de tentes décide de produire un modèle de tente avec une base carrée de 4 mètres de côté et une hauteur de 3 mètres. Il veut que la tente ait une surface de 48 mètres carrés. Cependant, il réalise qu’il peut augmenter la hauteur de la tente sans changer la base, mais cela augmentera le coût de production. Il veut donc déterminer la hauteur maximale qu’il peut donner à la tente tout en gardant une surface de 48 mètres carrés, de sorte que le coût de production reste raisonnable.

Déterminez la hauteur maximale que le fabricant peut donner à la tente tout en gardant la surface de 48 mètres carrés.

Solution :

Soit x la hauteur de la tente. Nous pouvons exprimer la surface de la tente en fonction de x comme suit :

Surface de la tente = (aire de la base de la tente) + (aire des quatre triangles équilatéraux formant le toit de la tente)

Surface de la tente = 4^2 + 4(x/2)^2

Surface de la tente = 16 + 2x^2

Nous savons que la surface de la tente doit être égale à 48 mètres carrés, donc :

16 + 2x^2 = 48

2x^2 = 32

x^2 = 16

x = ±4

Nous pouvons ignorer la solution négative car x doit être positive, donc la hauteur de la tente est de 4 mètres. Cependant, nous devons vérifier que si nous augmentons la hauteur de la tente, la surface de la tente reste égale à 48 mètres carrés. Si nous augmentons la hauteur de la tente à 5 mètres, nous obtenons :

Surface de la tente = 16 + 2(5)^2 = 66 mètres carrés

Par conséquent, la hauteur maximale que le fabricant peut donner à la tente tout en gardant une surface de 48 mètres carrés est de 4 mètres.

A la lecture de ce premier jet, voici les premiers constats :

• L’IA confond la hauteur de la tente avec la hauteur des triangles ;
• L’IA ne mentionne pas que la tente est en réalité une pyramide à base carrée. Elle s’en excusera plus tard, dans la discussion, en écrivant : “Dans l’exercice sur la tente, il aurait été judicieux de préciser la forme de la tente, qui est une tente de forme pyramidale à base carrée. Cette information aurait permis de mieux comprendre la situation et de déduire que la demi-base de la tente est égale à 2 mètres. Une meilleure formulation du problème aurait ainsi évité toute confusion dans la résolution de l’équation du second degré, et facilité la compréhension de l’exercice.” ;
• La discussion finale où l’IA élève la hauteur à 5 mètres n’est pas pertinente dans la résolution du problème.

Nous ajoutons, ci-après, un schéma afin que le lecteur puisse facilement repérer les éléments géométriques. Notons que ce dialogue schématique est impossible avec ChatGPT car la technologie n’utilise que le texte comme média d’échange.

Erreur de math : ChatGPT confond les inconnues

Ensuite, nous avons interpelé l’intelligence artificielle afin de corriger la définition des inconnues utilisées.

Nous lui avons écrit : “x ne représente pas la hauteur de la tente mais la hauteur des triangles qui se rejoignent en leur sommet. C’est la distance entre ce sommet et le sol que l’on cherche. Comment trouver alors la hauteur de la tente ?“.

Après s’être confondue en excuses, ChatGPT réécrit le problème en proposant h comme inconnue. La résolution est alors incorrecte comme le montre l’extrait suivant :

Soit h la hauteur de la tente. Nous pouvons exprimer la surface de la tente en fonction de h comme suit :

Surface de la tente = (aire de la base de la tente) + (aire des quatre triangles isocèles formant le toit de la tente)

Surface de la tente = 4^2 + 4(1/2 * 4 * h/2)

Surface de la tente = 16 + 4h

Elle en déduit alors que la hauteur de la tente doit être de 8m. Cette réponse est totalement absurde.

Nous l’avons encore interrogée afin de peaufiner sa réponse : “Encore une fois, tu te trompes car tu cherches la hauteur des triangles et pas la hauteur de la tente. Il faut certainement projeter la hauteur des triangles pour obtenir la hauteur de la tente. Mais comment ?“.

Amélioration proposée par ChatGPT : utiliser le théorème de Pythagore

L’intelligence artificielle répond alors (extrait) :

Soit h la hauteur de la tente. Nous pouvons exprimer la surface de la tente en fonction de h comme suit :

Surface de la tente = (aire de la base de la tente) + (aire des quatre triangles isocèles formant le toit de la tente)

Surface de la tente = 4^2 + 4(1/2 * 4 * h)

Surface de la tente = 16 + 8h

Nous savons que la surface de la tente doit être égale à 48 mètres carrés, donc :

16 + 8h = 48

8h = 32

h = 4

Ainsi, la hauteur de chaque triangle isocèle est de 4 mètres. Pour trouver la hauteur de la tente, nous pouvons utiliser le théorème de Pythagore. Soit x la hauteur de la tente, alors :

x^2 = h^2 + (2h)^2

Avec ce raisonnement, la machine affirme qu’il faut élever la tente jusqu’à 8,94 m ! Ce qui est impossible, bien entendu afin de respecter la surface de 48 mètres carrés.

Il faut tout de même constater que le théorème de Pythagore offre une piste très intéressante pour résoudre le problème tel qu’il est posé. Cette perspective répond complètement à la demande formulée.

Cependant, nous regrettons différents éléments posant encore problème :

• l’IA définit deux variables x et h comme hauteur de la tente (normalement, x devrait être la hauteur des triangles) ;
• Le théorème de Pythagore n’y est pas correctement appliqué.

L’enseignant humain apporte son aide la machine

L’enseignant humain apostrophe alors ChatGPT : “C’est faux, tu confonds h qui est la hauteur des triangles et x qui est la hauteur de la tente. De plus, pour Pythagore, il faut inclure le fait qu’une demi-base de la tente vaut 2 mètres. Peux-tu rédiger la réponse en tenant compte de ces remarques?“.

Même si l’intelligence artificielle confond encore une fois les variables, le raisonnement mathématique devient de plus en plus fiable mais le théorème de Pythagore n’est pas encore correctement utilisé.

L’humain propose alors son aide à la machine, comme il le ferait avec un élève : “Si h représente la hauteur de la tente et x la hauteur des triangles alors le lien entre h et x est la suivante : h^2 + 2^2 = x^2 Peux-tu rédiger la solution correctement ?”

Le problème de math final rédigé par ChatGPT

La réponse n’a pas été longue à attendre (environ 10 secondes). Voici le problème final tel que rédigé par l’IA dans lequel nous avons indiqué les corrections effectuées en vert.

Un fabricant de tentes décide de produire un modèle de tente avec une base carrée de 4 mètres de côté et une hauteur de 3 mètres. Il veut que la tente ait une surface de 48 mètres carrés. Cependant, il réalise qu’il peut augmenter la hauteur de la tente sans changer la base, mais cela augmentera le coût de production. Il veut donc déterminer la hauteur maximale qu’il peut donner à la tente tout en gardant une surface de 48 mètres carrés, de sorte que le coût de production reste raisonnable.

Déterminez la hauteur maximale que le fabricant peut donner à la tente tout en gardant la surface de 48 mètres carrés.

Solution :

Soit x la hauteur des triangles formés par le toit de la tente et soit h la hauteur de la tente que le fabricant veut déterminer. Nous savons que chaque côté de la base carrée mesure 4 mètres, donc l’aire de la base est 16 mètres carrés. L’aire des quatre triangles formant le toit de la tente est égale à 4 fois l’aire d’un triangle, donc :

Surface de la tente = 16 + 4*(4x/2) = 16 + 8x

Nous savons que la surface de la tente doit être égale à 48 mètres carrés, donc :

16 + 8x = 48

8x = 32

x = 4

Ainsi, la hauteur de chaque triangle isocèle est de 4 mètres. Pour trouver la hauteur de la tente, nous pouvons utiliser le théorème de Pythagore. En effet, les côtés de chaque triangle isocèle de la tente sont de longueur 2 mètres, donc la hauteur h de la tente est reliée à la hauteur x de chaque triangle isocèle par la relation :

h^2 + 2^2 = x^2

En substituant x = 4, nous avons :

h^2 + 2^2 = 4^2

h^2 + 4 = 16

h^2 = 12

h = √12

Ainsi, la hauteur maximale que le fabricant peut donner à la tente tout en gardant une surface de 48 mètres carrés est d’environ 3,46 mètres (arrondi à deux décimales). Si le coût de production reste raisonnable pour cette hauteur, le fabricant peut augmenter la hauteur de la tente jusqu’à environ 3,46 mètres tout en gardant une surface de 48 mètres carrés.

On notera alors les améliorations significatives suivantes :

• l’IA a modifié la définition des variables afin que le problème énoncé soit davantage cohérent ;
• Le théorème de Pythagore est correctement utilisé (merci à l’enseignant humain ! ) ;
• La réponse finale est correcte.

Afin de vérifier la réponse apportée par ChatGPT, voici la solution réalisée avec Geogebra :

Pour terminer ce test, nous lui avons demandé de rédigé d’autres exercices similaires en modifiant les valeurs numériques. Ce fut un succès aussi bien pour la rédaction que pour la résolution du problème. La machine apprend donc vite !

Conclusion : ChatGPT = prof de mathématiques ?

Il faut accepter le fait que l’intelligence artificielle, lors de ce test, n’a pu prendre complètement la place de l’enseignant. En effet, elle a pu rédiger un exercice mathématique cohérent et correct avec l’aide d’un enseignant (humain) qui l’a guidée tout au long de sa “réflexion”. Il faut néanmoins souligner sa capacité à s’adapter rapidement et à corriger sa copie avec diligence.

Un petit bémol tout de même : l’exercice est censé mobilier les compétences liées à la résolution d’équation du second degré. L’utilisation du théorème de Pythagore le permet, mais il faut reconnaître que la résolution de l’équation est simple.

Un élève doué et docile

On peut donc en conclure que ChatGPT n’est véritablement pas un enseignant ayant développé des compétences pédagogiques et didactiques, mais est, pour le moment (et jusqu’à quand ?), un élève doué et docile.

Nous pouvons tenter d’esquisser des réponses aux questions suivantes : les machines à intelligence artificielle pourront-elles remplacer les enseignants de mathématiques dans le futur ? Les élèves peuvent-ils utiliser des machines pour apprendre à résoudre des problèmes mathématiques ? Ces questions sont d’autant plus pertinentes que les machines à intelligence artificielle peuvent fournir une aide personnalisée et rapide aux élèves.

L’humain plus fort que la machine ?

De manière générale, il est important de se rappeler que les machines ne remplacent pas l’interaction humaine et les compétences d’enseignement uniques que les enseignants peuvent offrir. Cet exemple met en lumière que l’IA ne peut être utilisée que comme un outil complémentaire dans le processus d’apprentissage, offrant un potentiel de soutien personnalisé aux élèves et des avantages pratiques pour les enseignants.

Esprit critique nécessaire

Enfin, cet exemple montre combien l’esprit critique est nécessaire lors de l’utilisation de l’intelligence artificielle dans l’éducation. Bien que les machines puissent être utiles et efficaces dans de nombreux domaines, elles ont également des limites et des faiblesses. Il est important de reconnaître ces limites et de comprendre comment les machines peuvent compléter, mais non remplacer, les enseignants et leur expertise pédagogique. Les élèves doivent être conscients de ces limites et apprendre à utiliser les machines de manière critique et réfléchie pour tirer le meilleur parti de leur potentiel.