Le chatbot ChatGPT qui fait fureur depuis quelques semaines n’est pas parfait. Bien qu’il soit réputé pour son réalisme inégalé, il s’agit tout de même d’un robot et il peut parfois inventer des sujets inexistants.
Nous mêmes avions venté les capacités très réalistes de ChatGPT à réaliser des textes très réalistes. Cependant, il est logique que tout ne soit pas parfait de la part d’une intelligence artificielle. De la même manière qu’il réalise un travail fabuleux, cela peut être aussi le cas dans l’autre sens et le robot peut réaliser un travail complètement faux et hors sujet. ChatGPT a notamment généré de fausses informations dans le domaine de la science.
Plusieurs témoignages ont eu lieu sur Twitter. Teresa Kubacka, une data scientist, explique qu’elle a interrogé ChatGPT sur son sujet de doctorat de physique qui est le multiferroïsme. « Il a produit des explications raisonnablement solides et des bonnes citations. Jusqu’ici tout va bien – jusqu’à ce que je vérifie les citations », déclare t-elle.
Today I asked ChatGPT about the topic I wrote my PhD about. It produced reasonably sounding explanations and reasonably looking citations. So far so good – until I fact-checked the citations. And things got spooky when I asked about a physical phenomenon that doesn’t exist.
— Teresa Kubacka (@paniterka_ch) December 5, 2022
Teresa a trompé le chatbot, au départ, ChatGPT ne voulait pas donner des citations de chercheurs sur la question. Elle s’est montrée plus maline que le robot en lui faisant croire, entre autres, qu’il était un chercheur. Le chatbot a ensuite répondu à la question qui lui avait été posée, cependant malgré le fait que les auteurs soient bien des auteurs réels, les citations qu’a donné ChatGPT sont fausses. « Certains auteurs semblaient être de vrais chercheurs, mais issus de domaines différents », dit-elle.
Selon elle, le chatbot aurait fait un mix avec tout ce qu’il aurait trouvé pour répondre à la question. Le chatbot a aussi inventé des choses, lorsque Teresa lui a demandé ce qu’était « un électromagnon inversé cycloïda », le robot s’est permis d’inventer un terme en assurant que cela existait vraiment.
« Et là, c’est devenu très effrayant : d’une manière ou d’une autre, ChatGPT a inventé une explication pour un phénomène inexistant en utilisant un langage si sophistiqué et plausible que ma première réaction a été de me demander si cela pouvait être vrai ! », a t-elle déclaré.
Ce n’est pas le seul témoignage qui ne va pas dans le sens de ChatGPT, d’autres utilisateurs se sont plaints du fait que le chatbot inventait des mots.