Comment fonctionne ChatGPT ? La technique expliquée simplement

Il y a une chose qui est sur toutes les lèvres depuis quelques années : ChatGPT.

Enseignants s'inquiéter qu'il écrive les devoirs des élèves. 

Écrivains craindre que l'IA n'écrive des livres et des histoires à leur place. 

Codeurs ont peur qu'il construise des sites web et des applications mieux que les humains. 

Certains prédisent même que des millions d'emplois pourraient disparaître à cause de l'IA. 

Nous en avons tous entendu parler. Mais vous êtes-vous déjà demandé comment ChatGPT fonctionne ? 

Comment ChatGPT écrit-il les devoirs d'un enfant ? Que se passe-t-il dans les coulisses lorsque vous tapez une question et qu'il vous répond comme une vraie personne ? 

Comment une machine peut-elle écrire des poèmes, des histoires et du code, même si elle ne comprend pas les mots comme nous ?

Dans ce blog, nous regarderons à l'intérieur ChatGPT et expliquer ce qu'est ChatGPT et comment il fonctionne, étape par étape.

Vous apprendrez comment il se souvient des choses, quelles sont ses limites et comment des outils comme celui-ci sont construits en premier lieu. 

C'est parti !

La Fondation : Modèles linguistiques GPT

ChatGPT est une IA capable de comprendre et d'écrire comme un humain. 

C'est ce qu'on appelle un modèle linguistique parce qu'il travaille avec la langue - en la lisant, en la prédisant et en la générant. 

Mais il ne comprend pas comme les gens. Il ne pense pas. Il ne connaît pas les faits. Il se contente d'observer des modèles. 

Par exemple , 

• Si vous tapez , "Le ciel est...
• Il pourrait dire "bleu". 

Non pas parce qu'il sait que le ciel est bleu, mais parce qu'il a vu cette phrase des millions de fois au cours de sa formation. Il a appris que "bleu" vient souvent après "le ciel est".

Ce type d'IA est appelé LLMqui signifie Grand modèle de langue. 

Il s'appuie sur des tonnes de manuels, de sites web et autres pour comprendre comment les humains utilisent les mots. Mais il ne lit pas pour trouver le sens. Il apprend comment les mots sont généralement placés les uns à côté des autres. 

GPT est un type spécifique de LLM.

GPT signifie "Transformateur génératif pré-entraîné".

• Génératrice - il peut créer un nouveau texte.
• Pré-entraîné - Il doit apprendre avant de vous parler.
• Transformateur - la technologie clé qui sous-tend le fonctionnement de ChatGPT et qui lui permet de comprendre comment les mots sont liés les uns aux autres dans une phrase, un paragraphe ou même une conversation.

Voici les différentes versions de GPT qui ont été lancées au fil des ans.

Comment fonctionne ChatGPT

Voici une description simplifiée du fonctionnement de ChatGPT et du traitement de vos données en cinq étapes clés. 

• Étape 1 : Pré-entraînement sur des données massives

Grands modèles linguistiques (LLM) comme ChatGPT sont pré-entraînés en traitant de grandes quantités de textes provenant de l'internet afin d'apprendre des modèles linguistiques. 

Pendant le préapprentissage, le modèle traite des billions de jetons (petits morceaux de texte). 

A jeton peut être un mot, une partie de mot ou même une ponctuation, selon la manière dont le modèle tokenise l'entrée. 

Par exemple , 

Vous posez à ChatGPT une question de mathématiques, comme par exemple :

Problème :

• 2 + 3 = ? 

Au cours de sa formation, ChatGPT lit des centaines de milliards de mots tirés de livres, de nouvelles, d'articles, de Wikipédia, d'histoires, de documents scientifiques et même de fils de discussion sur Reddit.

Cette formation et ces lectures l'aident à comprendre le fonctionnement de l'addition. 

Par exemple ,

Il pourrait apprendre le propriété commutative (c'est-à-dire 2 + 3 = 3 + 2) dans de tels contextes.

ChatGPT voit de nombreux exemples comme 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Il n'apprend pas seulement ces exemples spécifiques, il apprend le modèle de l'addition. 

Il comprend comment les nombres interagissent avec le symbole "+" et comment le résultat suit généralement le symbole "=". 

• Étape 2 : L'architecture du transformateur

Une fois que ChatGPT a vu une quantité massive de mots, il a eu besoin d'un cerveau capable de donner un sens à toutes ces informations. Ce cerveau d'IA s'appelle "Transformateur".

Ce qui distingue le Transformer, c'est sa capacité à focaliser l'attention sur les parties les plus importantes de l'entrée, à l'instar de la façon dont nous traitons la langue. 

Par exemple ,

Appliquons cela à un problème mathématique :

• "Quelle est la somme de 5 et de 7 ?

Lors du traitement, le Transformer ne se contente pas d'aller mot par mot. 

Au lieu de cela, il examine le contexte complet - "somme", "5" et "7" - en une seule fois. 

Elle reconnaît que "somme" se réfère à "ajout" et que "5" et "7" sont les nombres concernés. 

Le transformateur donne alors plus "attention" aux mots qui ont un impact direct sur la réponse, et se concentre donc sur l'opération ("somme") et les nombres ("5" et "7"). 

Il s'agit d'un élément clé du fonctionnement de ChatGPT - il ne traite pas le problème de manière linéaire, mais d'une manière qui l'aide à comprendre la relation entre les éléments. 

C'est cette capacité à considérer chaque chose dans son contexte qui rend le transformateur si puissant. 

Au lieu de se contenter d'imaginer la suite, il comprend le sens en reliant les éléments pertinents de la phrase entre eux. 

• Étape 3 : Tokenisation et traitement linguistique

Lorsque vous tapez un texte dans ChatGPT, il le décompose en petites phrases. jetons. 

Certains jetons sont des mots entiers, tandis que d'autres ne sont que des parties de mots. 

Par exemple , 

Lorsque vous saisissez "ChatGPT est intelligent". ChatGPT le divise dans les jetons suivants :

["Chat", "G", "PT", "est", "intelligent"]

Même le nom "ChatGPT" est divisé en différents jetons. 

Ce processus est appelé la symbolisation. Comme les modèles ont été formés sur des jetons plutôt que sur des mots entiers, ils sont beaucoup plus souples :

Plusieurs langues (car les structures des mots varient d'une langue à l'autre),

Argot et abréviations (comme "u" pour "you" ou "idk" pour "I don't know").

Même les mots inventés ou les variations (comme la décomposition de "unbelievable" en "un", "believ", "able"). 

• Étape 4 : Mise au point et couches de sécurité

Une fois que ChatGPT a été formé sur une grande quantité de données, il n'est pas tout à fait prêt pour le prime time. 

Il a encore besoin d'aide pour s'assurer qu'il répond de la manière la plus utile, la plus polie et la plus sûre. 

A travers réglage fin superviséLes évaluateurs humains donnent à ChatGPT des exemples de ce qui constitue une bonne réponse. Par exemple , 

• "Qu'est-ce que 5 + 7 ?
  • Mauvaise réponse : La question est simple. Pourquoi ne le savez-vous pas ?
  • Bonne réponse: La somme de 5 et de 7 est égale à 12. 

Au fil du temps, ChatGPT est entraîné avec de meilleurs exemples à devenir plus poli, plus clair et plus ciblé. 

Une fois qu'il a acquis une base solide, il bénéficie d'une aide plus poussée grâce à Apprentissage par renforcement à partir de commentaires humains (RLHF).

Ce processus se déroule comme suit :

• ChatGPT répond. 
• Taux d'humains Cette réponse est basée sur la qualité du produit - son utilité, sa précision et sa sécurité. 
• ChatGPT apprend s'inspire de ce retour d'information et s'efforce de donner de meilleures réponses à l'avenir. 

Par exemple , Imaginez que ChatGPT réponde à un problème mathématique, tel que "Qu'est-ce que 12 divisé par 4 ? 

• ChatGPT répond : "3."
• Retour d'information sur l'homme : Cette réponse est excellente. 
• ChatGPT apprend : Il continue à donner ce type de réponse lorsque des questions similaires sont posées. 

L'objectif est que ChatGPT continue à s'améliorer, tout comme un étudiant qui apprend de ses erreurs passées. 

Enfin, l'un des objectifs importants de la mise au point par l'homme est l'amélioration de la qualité de la vie. s'aligner sur les valeurs humaines. 

Nous voulons qu'il soit non seulement intelligent, mais aussi utile, inoffensif et honnête. 

Par exemple , si un utilisateur pose une question complexe comme, "Quelle est la racine carrée de -1 ? 

Au lieu de donner une réponse incorrecte comme "i est la réponse" sans aucun contexte, il fournirait :

Réponse sûre et alignée : La racine carrée de -1 est un nombre imaginaire, communément représenté par "i". Ce concept est utilisé dans les mathématiques avancées. 

• Étape 5 : L'incitation à l'action, la réponse à l'action

C'est l'étape finale où ChatGPT est prêt à répondre à vos questions. 

Une invite est le texte (c'est-à-dire une question, une commande ou une déclaration) que vous tapez dans ChatGPT pour entamer la conversation et obtenir une réponse. 

Par exemple , 

Vous entrez dans l'invite "Quel temps fait-il aujourd'hui ?" 

Voici comment ChatGPT fonctionne en coulisses :

Vous saisissez un message → ChatGPT le décompose en jetons → Il recherche des motifs dans les jetons → Il prédit le mot suivant → Il forme une réponse → Il ajuste le ton en fonction de votre texte → Il obtient votre réponse finale

Pour l'invite "Quel temps fait-il aujourd'hui ? ChatGPT répondrait probablement par quelque chose comme : 

"Je ne peux pas vous donner d'informations météorologiques en temps réel, mais vous pouvez consulter un site ou une application météorologique comme Weather.com ou votre journal local pour obtenir les informations les plus précises".

En effet, ChatGPT n'a pas accès aux données en temps réel à moins d'être connecté à un outil qui récupère les informations en temps réel. 

Comment il se "souvient" des conversations

Lorsque vous parlez à ChatGPT, il semble qu'il se souvienne des choses que vous avez dites précédemment. 

Et c'est le cas, mais uniquement lorsque le chat est ouvert. Imaginez un grand bloc-notes où tout ce que vous tapez est noté : 

Vous dites :

• Mon chien s'appelle Max.

Quelques lignes plus loin, vous dites

• Quels sont les trucs que Max peut apprendre ?

ChatGPT relie les points. Il se souvient que Max est votre chien, parce qu'il est toujours sur le bloc-notes. 

Ce bloc-notes est appelé fenêtre contextuelle, et il contient un nombre limité de mots (appelés tokens). 

Certaines versions peuvent contenir environ 8 000 jetons, tandis que les plus récentes peuvent aller jusqu'à 32 000 jetons. 

Mais une fois la limite atteinte, il doit commencer à effacer les parties les plus anciennes pour faire de la place au nouveau texte. 

Ainsi, si vous dites "Mon chien s'appelle Max au début d'une longue discussion, puis, 50 paragraphes plus loin, demander, "Qu'est-ce qu'une bonne laisse pour lui ?" - il pourrait oublier qui est "lui". 

Parce que cette information a déjà été effacée du bloc-notes. 

Parlons maintenant de la mémoire entre les chats.

Normalement, lorsque vous fermez le chat, le bloc-notes est effacé. 

Ainsi, la prochaine fois que vous ouvrirez ChatGPT, il repartira à zéro.

 Mais si vous activez la mémoire personnalisée, ChatGPT peut se souvenir de certaines choses d'une session à l'autre. Par exemple , 

• Vous le dites : Je dirige une petite boulangerie en ligne appelée Sweet Crumbs. 
• Une semaine plus tard, vous dites : Rédigez-moi une description du produit. 
• Il pourrait répondre : Bien sûr ! Voici une description de vos biscuits Sweet Crumbs...

Il ne se souvient pas de tout. Il ne retient que ce que vous autorisez, et vous serez averti lorsque quelque chose sera ajouté. Vous pouvez consulter, modifier ou supprimer des souvenirs à tout moment.

Voici donc ce qu'il faut savoir... 

ChatGPT n'est pas réellement "se souvenir" comme une personne. Il se contente de regarder ce qui se trouve devant lui, c'est-à-dire la conversation en cours.

S'il semble rappeler quelque chose d'antérieur, c'est parce que cette information se trouve toujours dans la fenêtre contextuelle.

Limites du fonctionnement de ChatGPT

ChatGPT est incroyablement utile, mais il est important de comprendre ses limites, en particulier si vous l'utilisez pour tout ce qui concerne le contact avec les clients ou la conversion. 

1 - Pas de réelle compréhension ou conscience
ChatGPT ne comprend pas le contenu comme le font les humains. Il ne "connaît" pas les faits - il prédit simplement le prochain mot probable en se basant sur des données d'entraînement. 

Par exemple , 

Si vous posez la question, "Qu'est-ce que le succès ? il peut générer une réponse fluide, mais il n'a pas de croyances, de valeurs ou de conscience. Il imite des schémas, il ne cherche pas à comprendre.

2 - Biais des données d'apprentissage
Comme ChatGPT est formé sur de vastes sources mixtes provenant d'Internet, de livres, de forums et d'articles, il peut hériter des biais présents dans ces données. 

Si l'internet penche d'un côté sur un sujet, ChatGPT peut refléter ce point de vue - parfois subtilement, parfois non - même lorsque la neutralité est requise.

3 - Ne navigue pas sur Internet
ChatGPT ne peut pas obtenir de données en temps réel. Si vous l'interrogez sur un produit lancé la semaine dernière ou sur le cours d'une action aujourd'hui, il n'aura pas la moindre idée. 

Ses données d'apprentissage ont un seuil, et tout ce qui dépasse ce seuil est hors de portée.

4 - Peut "halluciner" des faits ou citer de fausses sources
L'une des bizarreries les plus dangereuses : ChatGPT peut inventer des choses. Demandez-lui une statistique ou une citation, et il vous répondra peut-être,

"Selon l'Organisation mondiale de la santé, 80% des adultes préfèrent la marque X à la marque Y."

Cela semble officiel, mais cette statistique n'existe probablement pas. 

Il n'a pas été récupéré, il a été inventé. Cette question est connue sous le nom de hallucinationIl est particulièrement risqué dans le domaine de la recherche, du journalisme ou du contenu technique. 

Si vous demandez à ChatGPT comment il fonctionne, vous verrez que les faits ne sont pas toujours exacts.

Si vous utilisez ChatGPT à des fins d'écriture, le résultat vous semblera rigide, robotique ou dépourvu d'une touche humaine. 

Pour de telles nuances, vous pouvez utiliser AI Humanizer. 

Le AI Humanizer réécrit les sorties de ChatGPT en fonction du ton, des nuances et de l'émotion, ce qui donne à votre contenu un battement de cœur. 

Il adoucit les tournures de phrases maladroites, ajoute de la chaleur, et fait en sorte que les textes techniques ou arides trouvent un écho auprès de votre public.

Lorsque votre contenu semble humain, il est plus performant. 

Que vous rédigiez des pages d'atterrissage, des courriels ou des articles sur LinkedIn, l'attachement à l'objet suscite la réaction. Et l'émotion entraîne la conversion.

Améliorations dans GPT-4 par rapport à GPT-3.5

GPT-3.5 est la version gratuite, qui est rapide, solide et idéale pour les tâches simples. GPT-4 est une version payante d'OpenAI qui est plus intelligente, plus puissante et beaucoup plus utile. 

Voici comment ChatGPT fonctionne avec les deux modèles :

En fin de compte, GPT-3.5 a été utile. GPT-4 est fiable, réfléchi et donne l'impression d'être à l'écoute.

Commencez à explorer - notre détecteur d'IA et notre humanisateur vous attendent dans le widget ci-dessous !

Comment sont construits les outils d'IA comme ChatGPT

La création d'une IA comme ChatGPT ou d'autres grands modèles de langage est un projet qui s'étend sur plusieurs années et qui implique des ensembles de données considérables, des équipes d'experts et une itération incessante. 

Voici comment cela se passe généralement : 

1. Première phase : collecte de données (6-12 mois)

Objectif : Enseigner les modèles de langage.

Avant qu'une IA puisse répondre à des questions, elle doit apprendre comment les humains écrivent et parlent. 

Cela commence par la collecte de centaines de milliards de mots provenant de livres, de sites web, d'actualités, d'articles, de documents universitaires, etc. 

Il ne "lit" pas comme les humains. Il identifie plutôt des modèles, comme nous l'avons expliqué dans les sections précédentes.

Temps nécessaire : 6 à 12 mois, en fonction de l'échelle et de la taille de l'équipe. 

2. Phase 2 : Pré-entraînement du modèle (6-9 mois)

Objectif : Construire le cerveau.

Le pré-entraînement consiste à alimenter le modèle avec de grands volumes de texte et à le laisser prédire les mots manquants encore et encore jusqu'à ce qu'il commence à les prédire correctement. 

Cette phase nécessite souvent des Grappes de GPU et des centaines de millions de dollars en ressources informatiques. 

Temps nécessaire : 6 à 9 mois de formation continue à la GPU.

3. Troisième phase : Mise au point et retour d'information (3-6 mois)

Objectif : Rendre l'IA utile.

Maintenant, il peut parler - mais est-ce que cela a un sens ? Peut-être ou peut-être pas. À ce stade, des évaluateurs humains notent les résultats, corrigent les erreurs et guident le modèle à l'aide de l'apprentissage par renforcement à partir du retour d'information humain (RLHF).

Temps nécessaire : 3 à 6 mois, souvent en parallèle avec les premiers tests.

4. Quatrième phase : Déploiement et infrastructure (en cours)

Objectif : Le rendre évolutif.

Une fois formé, le modèle est déployé sur des sites web, des applications, des API et des plateformes d'entreprise. Cela nécessite une infrastructure dorsale importante : centres de données, API à mise à l'échelle automatique et systèmes d'équilibrage de charge pour gérer des millions d'utilisateurs simultanés.

Période de temps : Commence après la formation, mais se poursuit indéfiniment.

5. Cinquième phase : Sécurité, partialité et éthique (en cours, parallèle)

Objectif : Veillez à ce qu'elles soient sûres, honnêtes et non nuisibles.

L'IA n'est pas seulement une question d'intelligence, c'est aussi une question de responsabilité. Les équipes chargées de l'éthique travaillent en parallèle pour signaler les abus potentiels, réduire les biais, bloquer les contenus préjudiciables et respecter les normes de protection de la vie privée. Elles évaluent en permanence le comportement du modèle dans le monde réel.

Période de temps : Processus tout au long de la vie ; intégré à toutes les étapes précédentes.

FAQ sur le fonctionnement de ChatGPT

Réflexions finales

Les grands modèles linguistiques (LLM) ont changé notre façon d'interagir avec la technologie.

Ils peuvent créer des textes qui ont l'air d'être écrits par un être humain, ce qui permet de répondre à des questions et de créer des contenus créatifs. 

Mais les LLM ne "comprendre" Ils fonctionnent en prédisant des schémas dans les données et non en s'appuyant sur la pensée humaine réelle. Ils fonctionnent en prédisant des schémas dans les données, et non en s'appuyant sur la pensée humaine. 

Au fur et à mesure que les LLM s'améliorent, nous devons réfléchir aux problèmes qu'ils peuvent causer, tels que les préjugés, les problèmes de protection de la vie privée et les utilisations abusives. 

Il est important d'utiliser l'IA avec prudence, en veillant à ce qu'elle soit équitable et transparente et qu'elle ne diffuse pas de fausses informations ou ne porte pas atteinte à la vie privée. 

Voici les les directives d'utilisation : 

• Sachez que l'IA peut avoir des préjugés dans son contenu.
  
• Utiliser les outils d'IA dans le respect des règles de confidentialité.
  
• Vérifiez deux fois les informations importantes auprès de sources fiables.
  
• Ne vous fiez pas trop à l'IA. Il s'agit d'un outil, qui ne remplace pas la pensée humaine.

La technologie de l'IA devenant de plus en plus puissante, la question se pose : Comment faire en sorte que ses avancées renforcent la créativité et la prise de décision de l'homme, plutôt que de remplacer ce qui fait de nous des êtres humains à part entière ?