Como o ChatGPT funciona? A tecnologia explicada de forma simples

Há uma coisa que está na boca de todo mundo nos últimos dois anos: ChatGPT.

Professores se preocupar com o fato de estar escrevendo a lição de casa dos alunos. 

Escritores temem que a IA possa escrever livros e histórias em vez deles. 

Codificadores têm medo de que ele crie sites e aplicativos melhores do que os humanos. 

Alguns até preveem que milhões de empregos podem desaparecer por causa da IA. 

Todos nós já ouvimos falar dela. Mas você já se perguntou como O ChatGPT funciona? 

Como o ChatGPT escreve a lição de casa de uma criança? O que está acontecendo nos bastidores quando você digita uma pergunta e ele responde como se fosse uma pessoa real? 

Como uma máquina pode escrever poemas, histórias e códigos, mesmo que não entenda as palavras como nós?

Neste blog, daremos uma olhada no interior ChatGPT e explicar o que é o ChatGPT e como ele funciona, passo a passo.

Você aprenderá como ele se lembra das coisas, quais são seus limites e como ferramentas como essa são criadas. 

Vamos começar!

A base: Modelos de linguagem GPT

O ChatGPT é uma IA que foi criada para entender e escrever como um ser humano. 

Isso é chamado de modelo de linguagem porque ele trabalha com a linguagem - lendo-a, prevendo-a e gerando-a. 

Mas ele não entende como as pessoas entendem. Ele não pensa. Não conhece fatos. Ele apenas observa os padrões. 

Por exemplo, 

• Se você digitar, "O céu está..."
• Ele pode dizer "azul". 

Não porque ele sabe que o céu é azul, mas porque viu essa frase milhões de vezes durante o treinamento. Ele aprendeu que "azul" geralmente vem depois de "o céu é".

Esse tipo de IA é chamado de LLM, que significa Modelo de idioma grande. 

Ele é treinado em toneladas de livros didáticos, sites e muito mais para descobrir como os seres humanos usam as palavras. Mas ele não está lendo para obter o significado. Ele está aprendendo como as palavras geralmente aparecem umas ao lado das outras. 

GPT é um tipo específico de LLM.

GPT significa "Transformador generativo pré-treinado".

• Gerador - ele pode criar um novo texto.
• Pré-treinado - ele aprende antes de falar com você.
• Transformador - a principal tecnologia por trás do funcionamento do ChatGPT, que o ajuda a entender como as palavras se relacionam entre si em uma frase, parágrafo ou até mesmo em uma conversa.

Aqui estão as diferentes versões do GPT que foram lançadas ao longo dos anos.

Como o ChatGPT funciona

Aqui está um detalhamento simplificado de como o ChatGPT funciona e processa sua entrada em cinco etapas principais. 

• Etapa 1: Pré-treinamento em dados massivos

Modelos de linguagem grandes (LLMs) como o ChatGPT são pré-treinados pelo processamento de grandes quantidades de texto da Internet para aprender padrões de linguagem. 

Durante o pré-treinamento, o modelo processa trilhões de tokens (pequenos pedaços de texto). 

A token pode ser uma palavra, parte de uma palavra ou até mesmo pontuação, dependendo de como o modelo tokeniza a entrada. 

Por exemplo, 

Você faz uma pergunta de matemática ao ChatGPT, como, por exemplo:

Problema:

• 2 + 3 = ? 

Durante seu treinamento, o ChatGPT lê centenas de bilhões de palavras de livros, notícias, artigos, Wikipedia, histórias, artigos científicos e até mesmo tópicos do Reddit.

Esse treinamento e essa leitura o ajudam a entender como funciona a adição. 

Por exemplo,

Ele pode aprender a propriedade comutativa (ou seja, 2 + 3 = 3 + 2) por meio desses contextos.

O ChatGPT vê muitos exemplos como 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Ele não aprende apenas esses exemplos específicos, ele aprende o padrão de adição. 

Ele entende como os números interagem com o símbolo "+" e como o resultado normalmente segue o símbolo "=". 

• Etapa 2: A arquitetura do transformador

Depois que o ChatGPT viu uma quantidade enorme de palavras, ele precisou de um cérebro que pudesse dar sentido a todas essas informações. Esse cérebro de IA é chamado de "Transformer".

O que diferencia o Transformer é sua capacidade de focar a atenção nas partes mais importantes da entrada, da mesma forma como processamos a linguagem. 

Por exemplo,

Vamos aplicar isso a um problema de matemática:

• "Qual é a soma de 5 e 7?"

Ao processar isso, o Transformer não usa apenas palavra por palavra. 

Em vez disso, ele analisa o contexto completo - "soma", "5" e "7" - de uma só vez. 

Ele reconhece que "sum" refere-se a "adição" e que "5" e "7" são os números envolvidos. 

O Transformer então fornece mais "atenção" para as palavras que afetam diretamente a resposta, portanto, ele se concentra na operação ("soma") e nos números ("5" e "7"). 

Essa é uma parte fundamental do funcionamento do ChatGPT - ele não processa linearmente o problema, mas de uma forma que o ajude a entender a relação entre os elementos. 

Essa capacidade de analisar tudo no contexto é o que torna o Transformer tão poderoso. 

Em vez de apenas descobrir o que vem a seguir, ele entende o significado conectando as partes relevantes da frase. 

• Etapa 3: Tokenização e processamento de linguagem

Quando você digita um texto no ChatGPT, ele divide seu prompt em pequenos tokens. 

Alguns tokens são palavras completas, enquanto outros são apenas partes de palavras. 

Por exemplo, 

Quando você insere "O ChatGPT é inteligente". O ChatGPT o divide nos seguintes tokens:

["Chat", "G", "PT", "is", "smart"]

Até mesmo o nome "ChatGPT" é dividido em diferentes tokens. 

Esse processo é chamado de tokenização. Como os modelos foram treinados com tokens em vez de palavras completas, ele é muito mais flexível:

Vários idiomas (já que idiomas diferentes têm estruturas de palavras diferentes),

Gírias e abreviações (como "u" para "you" (você) ou "idk" para "I don't know" (não sei)).

Até mesmo palavras inventadas ou variações (como quebrar "unbelievable" em "un", "believ", "able"). 

• Etapa 4: Ajuste fino e camadas de segurança

Depois que o ChatGPT foi treinado em uma grande quantidade de dados, ele ainda não está pronto para o horário nobre. 

Ele ainda precisa de ajuda para garantir que responda da maneira mais útil, educada e segura. 

Através de ajuste fino supervisionadoNo ChatGPT, os revisores humanos dão exemplos do que é uma boa resposta. Por exemplo, 

• "O que é 5 + 7?"
  • Resposta ruim: É uma pergunta fácil. Por que você não sabe disso?
  • Boa resposta: A soma de 5 e 7 é 12. 

Com o tempo, o ChatGPT é treinado com exemplos melhores para se tornar mais educado, claro e focado. 

Depois de ter uma base sólida, ele recebe ajuda mais avançada por meio de Aprendizagem por reforço com feedback humano (RLHF).

Esse processo é feito da seguinte forma:

• ChatGPT responde. 
• Taxa de humanos Essa resposta é baseada em sua qualidade, em sua utilidade, precisão e segurança. 
• ChatGPT aprende com esse feedback e tenta dar respostas melhores no futuro. 

Por exemplo, Imagine que o ChatGPT responda a um problema de matemática, como "Quanto é 12 dividido por 4?": 

• ChatGPT responde: "3."
• Feedback humano: Essa resposta é ótima. 
• O ChatGPT aprende: Ele continua dando esse tipo de resposta quando surgem perguntas semelhantes. 

O objetivo é que o ChatGPT continue melhorando, assim como um aluno que aprende com os erros do passado. 

Por fim, uma finalidade importante do ajuste fino feito por humanos é a alinhar-se aos valores humanos. 

Queremos que ele não seja apenas inteligente, mas também útil, inofensivo e honesto. 

Por exemplo, se um usuário fizer uma pergunta complexa, como, "Qual é a raiz quadrada de -1?" 

Em vez de fornecer uma resposta incorreta, como "i é a resposta", sem nenhum contexto, ele forneceria:

Resposta segura e alinhada: A raiz quadrada de -1 é um número imaginário, comumente representado como "i". Esse conceito é usado em matemática avançada. 

• Etapa 5: Prompt In, Response Out

Esta é a etapa final em que o ChatGPT está pronto para responder às suas solicitações. 

Um prompt é o texto (ou seja, pergunta, comando ou declaração) que você digita no ChatGPT para iniciar a conversa e obter uma resposta. 

Por exemplo, 

Você digita o prompt "Como está o tempo hoje?" 

Veja a seguir como o ChatGPT funciona nos bastidores:

Você digita um prompt → ChatGPT o divide em tokens → Procura padrões nos tokens → Prevê a próxima palavra → Forma uma resposta → Ajusta o tom com base em seu texto → Obtém sua resposta final

Para o prompt "Como está o tempo hoje?", O ChatGPT provavelmente responderia com algo como: 

"Não posso fornecer atualizações meteorológicas em tempo real, mas você pode consultar um site ou aplicativo de meteorologia como o Weather.com ou o noticiário local para obter as informações mais precisas."

Isso ocorre porque o ChatGPT não tem acesso a dados em tempo real, a menos que esteja conectado a uma ferramenta que obtenha informações em tempo real. 

Como ele "lembra" as conversas

Quando você conversa com o ChatGPT, parece que ele se lembra de coisas que você disse anteriormente. 

E isso acontece, mas somente enquanto o bate-papo estiver aberto. Imagine um grande bloco de notas onde tudo o que você digita é anotado: 

Você diz:

• O nome do meu cachorro é Max.

Algumas linhas depois, você diz:

• Que truques Max pode aprender?

O ChatGPT liga os pontos. Ele se lembra de que Max é seu cachorro, porque ele ainda está no bloco de notas. 

Esse bloco de notas é chamado de janela de contexto, e contém um número limitado de palavras (chamadas tokens). 

Algumas versões podem conter cerca de 8.000 tokens, enquanto as mais recentes podem chegar a 32.000 tokens. 

Mas quando você atinge o limite, ele precisa começar a apagar as partes mais antigas para abrir espaço para o novo texto. 

Portanto, se você disser "O nome do meu cachorro é Max" no início de um longo bate-papo e, 50 parágrafos depois, perguntar, "Qual é uma boa coleira para ele?" - ele pode se esquecer de quem é "ele". 

Porque essas informações já foram apagadas do bloco de notas. 

Agora vamos falar sobre a memória entre os bate-papos.

Normalmente, quando você fecha o bate-papo, o bloco de notas é limpo. 

Assim, na próxima vez que você abrir o ChatGPT, ele começará do zero.

 Mas se você ativar a memória personalizada, o ChatGPT poderá se lembrar de coisas em todas as sessões. Por exemplo, 

• Você conta: Dirijo uma pequena padaria on-line chamada Sweet Crumbs. 
• Uma semana depois, você diz: Escreva-me uma descrição do produto. 
• Ele pode responder: Claro! Aqui está uma descrição para seus cookies Sweet Crumbs...

Ele não se lembra de tudo. Ele lembra apenas o que você permite, e você será informado quando algo for adicionado. Você pode ver, editar ou excluir memórias a qualquer momento.

Então, o resumo é... 

O ChatGPT não é de fato "lembrar" como uma pessoa. Ele só olha para o que está à sua frente: a conversa atual.

Se parecer que ele se lembra de algo anterior, é porque essa informação ainda está dentro da janela de contexto.

Limitações do funcionamento do ChatGPT

O ChatGPT é incrivelmente útil, mas é importante entender suas limitações, especialmente se você estiver usando-o para qualquer coisa voltada para o cliente ou orientada para a conversão. 

1 - Sem entendimento ou consciência real
O ChatGPT não entende o conteúdo como os humanos. Ele não "conhece" fatos - ele simplesmente prevê a próxima palavra provável com base em dados de treinamento. 

Por exemplo, 

Se você perguntar, "O que significa sucesso?" pode gerar uma resposta fluente, mas não tem crenças, valores ou consciência. Ela está imitando padrões, não formando percepções.

2 - Vieses dos dados de treinamento
Como o ChatGPT é treinado em fontes grandes e mistas da Internet, livros, fóruns e artigos, ele pode herdar as tendências encontradas nesses dados. 

Se a Internet se inclinar para um lado em um tópico, o ChatGPT poderá refletir essa perspectiva - às vezes sutilmente, às vezes não - mesmo quando a neutralidade for necessária.

3 - Não navega na Internet
O ChatGPT não consegue obter dados em tempo real. Pergunte a ele sobre um produto lançado na semana passada ou sobre o preço de uma ação hoje, e ele não terá a menor ideia. 

Seus dados de treinamento têm um ponto de corte, e qualquer coisa após esse ponto está fora de alcance.

4 - Pode "alucinar" fatos ou citar fontes falsas
Uma das peculiaridades mais perigosas: O ChatGPT pode inventar coisas. Peça a ele uma estatística ou citação, e ele poderá responder,

"De acordo com a Organização Mundial da Saúde, 80% dos adultos preferem a marca X à marca Y."

Parece oficial, mas é provável que essa estatística não exista. 

Ele não foi recuperado, foi inventado. Esse problema é conhecido como alucinaçãoe é especialmente arriscado em pesquisas, jornalismo ou conteúdo técnico. 

Se você perguntar ao ChatGPT como ele funciona, verá que ele nem sempre é factualmente preciso.

Se você estiver usando o ChatGPT para escrever, o resultado parecerá rígido, robótico ou sem aquele toque humano. 

Para essas nuances, você pode usar Humanizador de IA. 

O Humanizador de IA reescreve os resultados do ChatGPT em termos de tom, nuance e emoção, dando ao seu conteúdo uma pulsação. 

Ele suaviza frases estranhas, acrescenta calor, e faz com que um texto técnico ou árido repercuta em seu público.

Quando seu conteúdo soa humano, ele tem um desempenho melhor. 

Independentemente de você estar escrevendo páginas de destino, e-mails ou publicações no LinkedIn, a capacidade de relacionamento gera respostas. E a emoção gera conversão.

Aprimoramentos no GPT-4 em relação ao GPT-3.5

O GPT-3.5 é a versão gratuita, que é rápida, sólida e excelente para tarefas simples. O GPT-4 é uma versão paga do OpenAI que é mais inteligente, mais avançada e muito mais útil. 

Veja como o ChatGPT funciona com os dois modelos:

O resultado final é que o GPT-3.5 foi útil. O GPT-4 é confiável, atencioso e parece que está ouvindo.

Comece a explorar - nosso Detector de IA e o Humanizador estão esperando no widget abaixo!

Como são criadas ferramentas de IA como o ChatGPT

Criar uma IA como o ChatGPT ou outros modelos de linguagem de grande porte é um projeto de vários anos que envolve conjuntos de dados enormes, equipes de especialistas e iteração incessante. 

Veja como isso geralmente acontece: 

1. Primeira fase: coleta de dados (6 a 12 meses)

Objetivo: Ensine os padrões de linguagem do modelo.

Antes que uma IA possa responder a perguntas, ela precisa aprender como os humanos escrevem e falam. 

Isso começa com a coleta de centenas de bilhões de palavras de livros, sites, notícias, artigos, trabalhos acadêmicos e muito mais. 

Ele não "lê" como os humanos. Em vez disso, ele identifica padrões, exatamente como explicamos nas seções anteriores.

Tempo necessário: 6 a 12 meses, dependendo da escala e do tamanho da equipe. 

2. Fase dois: Pré-treinamento do modelo (6 a 9 meses)

Objetivo: Desenvolver o cérebro.

O pré-treinamento envolve alimentar o modelo com grandes volumes de texto e permitir que ele preveja palavras ausentes repetidas vezes até começar a acertar. 

Essa fase geralmente requer Clusters de GPU e centenas de milhões de dólares em recursos de computação. 

Tempo necessário: 6 a 9 meses de treinamento ininterrupto em GPU.

3. Terceira fase: Ajuste fino e feedback humano (3 a 6 meses)

Objetivo: Torne a IA útil.

Agora ele pode falar, mas será que isso faz sentido? Talvez sim ou talvez não. Nesse ponto, os revisores humanos avaliam os resultados, corrigem os erros e orientam o modelo usando o Reinforcement Learning from Human Feedback (RLHF).

Tempo necessário: 3 a 6 meses, geralmente em paralelo aos testes iniciais.

4. Quarta fase: Implantação e infraestrutura (em andamento)

Objetivo: Torná-lo escalável.

Depois de treinado, o modelo é implantado em sites, aplicativos, APIs e plataformas empresariais. Isso requer uma infraestrutura de back-end séria: data centers, APIs de dimensionamento automático e sistemas de balanceamento de carga para lidar com milhões de usuários simultâneos.

Período de tempo: Começa após o treinamento, mas continua indefinidamente.

5. Quinta fase: Segurança, preconceito e ética (em andamento, em paralelo)

Objetivo: Mantenha-o seguro, honesto e não prejudicial.

A IA não se trata apenas de inteligência - trata-se de responsabilidade. As equipes éticas trabalham em paralelo para sinalizar possíveis usos indevidos, reduzir a parcialidade, bloquear conteúdo prejudicial e manter os padrões de privacidade. Elas avaliam constantemente como o modelo se comporta no mundo real.

Período de tempo: Processo vitalício; incorporado em todos os estágios acima.

Perguntas frequentes sobre como o ChatGPT funciona

Considerações finais

Os modelos de linguagem grandes (LLMs) mudaram a forma como interagimos com a tecnologia.

Eles podem criar textos que soam como se tivessem sido escritos por um ser humano, ajudando em tarefas como responder a perguntas e criar conteúdo criativo. 

Mas os LLMs não "entender" coisas ou pensam como pessoas. Eles funcionam prevendo padrões nos dados, não por meio do pensamento humano real. 

À medida que os LLMs melhoram, precisamos pensar nos problemas que eles podem causar, como preconceito, questões de privacidade e uso indevido. 

É importante usar a IA com cuidado, garantindo que ela seja justa, transparente e não divulgue informações falsas nem prejudique a privacidade. 

Aqui estão os diretrizes de uso: 

• Esteja ciente de que a IA pode ser tendenciosa em seu conteúdo.
  
• Use ferramentas de IA de forma a seguir as regras de privacidade.
  
• Verifique novamente as informações importantes de fontes confiáveis.
  
• Não confie muito na IA. Ela é uma ferramenta, não um substituto para o pensamento humano.

Como a tecnologia de IA continua a se tornar mais avançada, surge a pergunta: Como podemos garantir que seus avanços aprimorem a criatividade humana e a tomada de decisões, em vez de substituir as coisas que nos tornam exclusivamente humanos?