ChatGPT는 어떻게 작동하나요? 간단하게 설명하는 기술

지난 몇 년 동안 모든 사람의 입에 오르내렸던 한 가지가 있습니다: ChatGPT.

교사 학생들의 숙제를 작성하는 것이 아닐까 걱정하는 분들도 있습니다. 

작가 인공지능이 자신 대신 책과 기사를 쓸까 봐 두려워합니다. 

코더 인공지능이 인간보다 더 나은 웹사이트와 앱을 만들까봐 두려워하고 있습니다. 

일부에서는 다음과 같이 예측하기도 합니다. 수백만 개의 일자리가 사라질 수 있습니다. AI 덕분입니다. 

다들 들어보셨을 겁니다. 하지만 궁금한 점이 있으신가요? 어떻게 ChatGPT가 작동하나요? 

ChatGPT는 아이들의 숙제를 어떻게 작성하나요? 질문을 입력하면 실제 사람처럼 대답할 때 뒤에서 어떤 일이 일어나나요? 

기계는 우리처럼 단어를 이해하지 못하는데 어떻게 시와 이야기, 코드를 작성할 수 있을까요?

이 블로그에서 내부를 살펴보겠습니다. ChatGPT가 무엇이며 어떻게 작동하는지 단계별로 설명합니다.

사물을 기억하는 방법과 한계, 그리고 이러한 도구가 애초에 어떻게 만들어졌는지 알아볼 수 있습니다. 

시작해보자!

재단 GPT 언어 모델

ChatGPT는 사람처럼 이해하고 쓸 수 있도록 만들어진 인공지능입니다. 

이를 언어 모델 언어를 읽고, 예측하고, 생성하는 등 언어와 함께 작동하기 때문입니다. 

하지만 사람처럼 이해하지 못합니다. 생각하지 않습니다. 사실을 알지 못합니다. 그저 패턴만 볼 뿐입니다. 

예를 들어 

• 입력하는 경우 "하늘은..."
• 다음과 같이 표시될 수 있습니다. "파란색." 

하늘이 파랗다는 것을 알기 때문이 아니라 훈련 중에 그 문장을 수백만 번 봤기 때문입니다. "하늘은"이라는 문장 뒤에 "파란색"이 자주 온다는 것을 학습한 것입니다.

이러한 유형의 AI를 LLM를 나타내는 대규모 언어 모델. 

인공지능은 수많은 교과서, 웹사이트 등을 통해 인간이 단어를 사용하는 방식을 파악하도록 훈련받았습니다. 하지만 의미를 파악하기 위해 읽는 것이 아닙니다. 단어가 보통 어떻게 나란히 나타나는지 학습합니다. 

GPT 는 특정 종류의 LLM입니다.

GPT는 다음을 의미합니다. "사전 학습된 생성형 트랜스포머."

• 생성 - 를 입력하면 새 텍스트를 만들 수 있습니다.
• 사전 교육 - 사용자에게 말하기 전에 학습합니다.
• 트랜스포머 - 문장, 단락 또는 대화에서 단어가 서로 어떻게 연관되어 있는지 이해하는 데 도움이 되는 ChatGPT 작동 방식의 핵심 기술입니다.

다음은 수년 동안 출시된 다양한 버전의 GPT입니다.

ChatGPT 작동 방식

다음은 ChatGPT가 어떻게 작동하고 입력을 처리하는지를 5가지 주요 단계로 간략하게 설명한 것입니다. 

• 1단계: 대규모 데이터에 대한 사전 교육

대규모 언어 모델(LLM) ChatGPT와 같은 인공지능은 인터넷에서 방대한 양의 텍스트를 처리하여 언어 패턴을 학습하는 방식으로 사전 학습됩니다. 

사전 교육 중에 모델은 다음을 처리합니다. 수조 개의 토큰 (작은 텍스트 조각). 

A 토큰 는 모델이 입력을 토큰화하는 방식에 따라 단어, 단어의 일부 또는 문장 부호일 수 있습니다. 

예를 들어 

ChatGPT에 다음과 같은 수학 질문을 합니다:

문제입니다:

• 2 + 3 = ? 

ChatGPT는 학습하는 동안 책, 뉴스, 기사, Wikipedia, 이야기, 과학 논문, 심지어 Reddit 스레드에서 수천억 개의 단어를 읽습니다.

이 교육과 독서는 덧셈의 원리를 이해하는 데 도움이 됩니다. 

예를 들어

학습할 수 있습니다. 정류 속성 (즉, 2 + 3 = 3 + 2)와 같은 컨텍스트를 통해 계산합니다.

ChatGPT에는 다음과 같은 많은 예가 있습니다. 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

이러한 특정 예제만 학습하는 것이 아니라 덧셈의 패턴을 학습합니다. 

숫자가 "+" 기호와 상호 작용하는 방식과 결과가 일반적으로 "=" 기호를 따르는 방식을 이해합니다. 

• 2단계: 트랜스포머 아키텍처

ChatGPT가 방대한 양의 단어를 보고 나면 그 모든 정보를 이해할 수 있는 두뇌가 필요했습니다. 이 인공지능의 두뇌는 "트랜스포머."

트랜스포머의 차별화 요소는 다음과 같은 기능입니다. 주의 집중 언어를 처리하는 방식과 마찬가지로 입력의 가장 중요한 부분에 집중합니다. 

예를 들어

이를 수학 문제에 적용해 보겠습니다:

• "5와 7의 합은 얼마인가요?"

트랜스포머는 이를 처리할 때 단순히 단어 하나하나를 처리하는 것이 아닙니다. 

대신 '합계', '5', '7'과 같은 전체 컨텍스트를 한 번에 확인합니다. 

다음을 인식합니다. "합계" 는 다음을 나타냅니다. "추가" 그리고 "5"와 "7"은 관련된 숫자입니다. 

그런 다음 트랜스포머는 더 많은 "주의" 를 답에 직접적인 영향을 미치는 단어로 제한하여 연산('합계')과 숫자('5' 및 '7')에 초점을 맞춥니다. 

이것은 ChatGPT 작동 방식의 핵심 부분입니다. 는 문제를 선형적으로 처리하지 않습니다, 하지만 요소 간의 관계를 이해하는 데 도움이 되는 방식입니다. 

모든 것을 맥락에서 바라볼 수 있는 이 능력이 바로 트랜스포머를 강력하게 만드는 힘입니다. 

단순히 다음에 오는 내용을 파악하는 것이 아니라 문장의 관련 부분을 서로 연결하여 의미를 이해합니다. 

• 3단계: 토큰화 및 언어 처리

ChatGPT에 텍스트를 입력하면 프롬프트가 작게 나뉩니다. 토큰. 

어떤 토큰은 완전한 단어인 반면, 어떤 토큰은 단어의 일부분일 뿐입니다. 

예를 들어 

입력 시 "ChatGPT는 스마트합니다." ChatGPT는 이를 다음 토큰으로 분할합니다:

["Chat," "G," "PT," "is," "smart"]

심지어 "ChatGPT"라는 이름도 여러 개의 토큰으로 나뉩니다. 

이 프로세스를 토큰화. 모델은 전체 단어가 아닌 토큰으로 학습되었기 때문에 처리할 수 있는 범위가 훨씬 더 유연합니다:

다국어 (언어마다 단어 구조가 다르기 때문에),

속어 및 약어 (예: "당신"의 "u" 또는 "모르겠어요"의 "idk").

만들어낸 단어나 변형된 단어도 ('믿을 수 없는'을 'un', '믿다', 'able'로 분리하는 것과 같이). 

• 4단계: 미세 조정 및 안전 계층

방대한 양의 데이터로 ChatGPT를 학습한 후에는 아직 프라임 타임에 사용할 준비가 되지 않았습니다. 

가장 유용하고 정중하며 안전한 방식으로 응답하려면 여전히 도움이 필요합니다. 

통해 감독된 미세 조정를 통해 사람 리뷰어들이 ChatGPT에 좋은 응답의 예시를 제공합니다. 예를 들어 

• "5 + 7은 무엇인가요?"
  • 잘못된 답변입니다: 쉬운 질문입니다. 왜 이 사실을 모르시나요?
  • 좋은 답변: 5와 7의 합은 12입니다. 

시간이 지남에 따라 ChatGPT는 더 나은 예시를 통해 더 정중하고 명확하며 집중할 수 있도록 훈련됩니다. 

탄탄한 기초를 다지고 나면 다음을 통해 고급 지원을 받을 수 있습니다. 사람의 피드백을 통한 강화 학습 (RLHF).

이 과정은 다음과 같이 진행됩니다:

• ChatGPT가 답변합니다. 
• 사람 평가 얼마나 유용하고, 정확하고, 안전한지 등 얼마나 좋은지에 따라 그 답을 찾을 수 있습니다. 
• ChatGPT 학습 이 피드백을 통해 앞으로 더 나은 답변을 제공하기 위해 노력하고 있습니다. 

예를 들어 ChatGPT가 다음과 같은 수학 문제에 답한다고 상상해보십시오. "12를 4로 나눈 값은 무엇인가요?": 

• ChatGPT가 응답합니다: "3."
• 사람의 피드백: 이 답변은 훌륭합니다. 
• ChatGPT는 학습합니다: 유사한 질문이 올라오면 계속해서 이러한 유형의 답변을 제공합니다. 

과거의 실수로부터 배우는 학생처럼 ChatGPT가 계속 발전하는 것이 목표입니다. 

마지막으로, 사람이 미세 조정하는 중요한 목적 중 하나는 인간의 가치에 부합합니다. 

스마트할 뿐만 아니라 도움이 되고, 무해하며, 정직하기를 바랍니다. 

예를 들어 와 같은 복잡한 질문을 하는 경우, "-1의 제곱근은 무엇인가요?" 

문맥 없이 "내가 답이다"와 같은 오답을 제공하는 대신, 문맥에 맞는 답을 제공합니다:

안전하고 정렬된 응답: -1의 제곱근은 허수이며, 일반적으로 'i'로 표시됩니다. 이 개념은 고급 수학에서 사용됩니다. 

• 5단계: 프롬프트 인, 응답 아웃

이 단계는 ChatGPT가 사용자의 메시지에 응답할 준비가 완료되는 마지막 단계입니다. 

프롬프트는 대화를 시작하고 응답을 받기 위해 ChatGPT에 입력하는 텍스트(예: 질문, 명령어 또는 문구)입니다. 

예를 들어 

프롬프트를 입력합니다. "오늘 날씨가 어때요?" 

ChatGPT의 백그라운드 작동 방식은 다음과 같습니다:

프롬프트 입력 → ChatGPT가 토큰으로 나누기 → 토큰에서 패턴 찾기 → 다음 단어 예측 → 응답 형성 → 텍스트에 따라 어조 조정 → 최종 답변 얻기

프롬프트의 경우 "오늘 날씨가 어때요?", ChatGPT는 다음과 같이 응답할 가능성이 높습니다: 

"실시간 날씨 업데이트는 제공하지 못하지만 Weather.com과 같은 날씨 사이트나 앱 또는 지역 뉴스에서 가장 정확한 정보를 확인할 수 있습니다."

실시간 정보를 가져오는 도구에 연결되지 않는 한 ChatGPT는 실시간 데이터에 액세스할 수 없기 때문입니다. 

대화를 "기억"하는 방법

ChatGPT와 대화하면 이전에 말한 내용을 기억하는 것 같습니다. 

하지만 채팅이 열려 있는 동안에만 가능합니다. 입력하는 모든 내용이 기록되는 커다란 메모장을 상상해 보세요: 

당신이 말합니다:

• 제 반려견 이름은 맥스입니다.

몇 줄 후에 이렇게 말합니다:

• Max는 어떤 트릭을 배울 수 있나요?

ChatGPT는 점과 점을 연결합니다. 맥스는 여전히 메모장에 있기 때문에 여러분의 반려견이라는 사실을 기억합니다. 

이 메모장을 컨텍스트 창으로 이동합니다, 토큰이라고 하는 제한된 수의 단어를 보유합니다. 

일부 버전은 약 8,000개의 토큰을 보관할 수 있으며, 최신 버전은 최대 32,000개의 토큰을 보관할 수 있습니다. 

하지만 한도에 도달하면 새 텍스트를 위한 공간을 확보하기 위해 가장 오래된 부분을 지워야 합니다. 

따라서 다음과 같이 말한다면 "내 강아지 이름은 맥스입니다" 를 누르고 긴 채팅을 시작하고 50단락 후에 물어봅니다, "좋은 목줄은 무엇일까요?" - '그'가 누구인지 잊어버릴 수도 있습니다. 

해당 정보는 이미 메모장에서 지워졌기 때문입니다. 

이제 채팅 사이의 메모리에 대해 이야기해 보겠습니다.

일반적으로 채팅을 닫으면 메모장이 깨끗하게 지워집니다. 

따라서 다음에 ChatGPT를 열면 새로 시작됩니다.

 하지만 사용자 지정 메모리를 켜면 ChatGPT는 세션 전반에서 내용을 기억할 수 있습니다. 예를 들어 

• 당신이 말해봐요: 저는 Sweet Crumbs라는 작은 온라인 베이커리를 운영하고 있습니다. 
• 일주일 후, 이렇게 말합니다: 제품 설명을 작성해 주세요. 
• 응답할 수도 있습니다: 그럼요! 달콤한 부스러기 쿠키에 대한 설명은 다음과 같습니다...

모든 것을 기억하지는 않습니다. 사용자가 허용한 항목만 기억하며, 새로운 항목이 추가되면 알림을 받습니다. 언제든지 메모를 확인, 편집 또는 삭제할 수 있습니다.

요약하자면... 

ChatGPT는 실제로 "기억" 사람처럼 말이죠. 눈앞에 있는 것, 즉 현재 대화만 살펴봅니다.

이전 내용을 불러오는 것처럼 보인다면 해당 정보가 아직 컨텍스트 창 안에 있기 때문입니다.

ChatGPT 작동 방식의 한계

ChatGPT는 매우 유용하지만, 특히 고객 대면 또는 전환 중심적인 업무에 사용하는 경우에는 그 한계를 이해하는 것이 중요합니다. 

1 - 실제 이해나 의식 없음
ChatGPT는 사람처럼 콘텐츠를 이해하지 못합니다. 사실을 '아는' 것이 아니라 학습 데이터를 기반으로 다음에 나올 가능성이 높은 단어를 예측할 뿐입니다. 

예를 들어 

묻는다면, "성공이란 무엇을 의미할까요?" 유창한 반응을 이끌어낼 수는 있지만 신념, 가치, 인식이 없습니다. 인사이트를 형성하는 것이 아니라 패턴을 모방하는 것입니다.

2 - 학습 데이터의 편향성
ChatGPT는 인터넷, 책, 포럼, 기사 등의 다양한 대규모 소스에 대해 학습하기 때문에 해당 데이터에서 발견되는 편견을 그대로 이어받을 수 있습니다. 

인터넷이 특정 주제에 대해 한쪽으로 기울어져 있다면, 중립성이 요구되는 경우에도 ChatGPT는 때로는 미묘하게, 때로는 그렇지 않은 관점을 반영할 수 있습니다.

3 - 인터넷 검색을 하지 않습니다.
ChatGPT는 실시간 데이터를 가져올 수 없습니다. 지난 주에 출시된 제품이나 오늘 주가에 대해 물어봐도 전혀 알 수 없습니다. 

트레이닝 데이터에는 커트라인이 있으며, 그 이후의 데이터는 사용할 수 없습니다.

4 - 사실을 '환각'하거나 가짜 출처를 인용할 수 있습니다.
더 위험한 단점 중 하나입니다: ChatGPT는 무언가를 만들어낼 수 있습니다. 통계나 견적을 요청하면 응답할 수 있습니다,

"세계보건기구에 따르면 성인 중 80%가 브랜드 Y보다 브랜드 X를 선호합니다."

공식적으로 들리지만 해당 통계는 존재하지 않을 가능성이 높습니다. 

검색된 것이 아니라 발명된 것입니다. 이 문제는 환각특히 연구, 저널리즘 또는 기술 콘텐츠에서 위험할 수 있습니다. 

ChatGPT가 어떻게 작동하는지 물어보면 항상 정확하지는 않다는 것을 알 수 있습니다.

글쓰기 목적으로 ChatGPT를 사용하는 경우, 출력물이 딱딱하고 로봇처럼 느껴지거나 인간적인 느낌이 부족할 수 있습니다. 

이러한 뉘앙스를 위해 다음을 사용할 수 있습니다. AI 휴머나이저. 

The AI 휴머나이저 는 어조, 뉘앙스 및 감정에 맞게 ChatGPT 출력을 다시 작성하여 콘텐츠에 심장 박동을 부여합니다. 

It 어색한 표현을 부드럽게 하고 따뜻함을 더합니다, 기술적이거나 건조한 문구를 청중의 공감을 불러일으킬 수 있습니다.

콘텐츠가 인간적으로 들릴 때 더 좋은 성과를 낼 수 있습니다. 

랜딩 페이지, 이메일, LinkedIn 게시물 등 어떤 콘텐츠를 작성하든 관련성은 반응을 이끌어냅니다. 그리고 감정이 전환을 유도합니다.

GPT-4와 GPT-3.5의 개선 사항

GPT-3.5는 무료 버전으로, 빠르고 견고하며 간단한 작업에 적합합니다. GPT-4는 더 스마트하고 강력하며 훨씬 더 유용한 유료 버전의 OpenAI입니다. 

두 모델에서 ChatGPT가 작동하는 방식은 다음과 같습니다:

결론은 GPT-3.5가 도움이 되었다는 것입니다. GPT-4는 신뢰할 수 있고 사려 깊으며 경청하는 듯한 느낌을 줍니다.

아래 위젯에서 AI 디텍터와 휴머나이저가 기다리고 있습니다!

ChatGPT와 같은 AI 도구의 구축 방법

ChatGPT나 기타 대규모 언어 모델과 같은 AI를 만드는 것은 방대한 데이터 세트, 전문가 팀, 끊임없는 반복이 수반되는 다년간의 프로젝트입니다. 

일반적으로 이런 일이 발생하는 방식은 다음과 같습니다: 

1. 1단계: 데이터 수집(6~12개월)

목표: 모델 언어 패턴을 가르치세요.

인공지능이 질문에 답하려면 먼저 사람이 글을 쓰고 말하는 방식을 배워야 합니다. 

이는 책, 웹사이트, 뉴스, 기사, 학술 논문 등에서 수 천억 개의 단어를 수집하는 것으로 시작됩니다. 

사람처럼 '읽기'를 하지는 않습니다. 대신 위 섹션에서 설명한 대로 패턴을 식별합니다.

필요한 시간: 규모와 팀 규모에 따라 6~12개월이 소요됩니다. 

2. 2단계: 모델 사전 교육(6~9개월)

목표: 두뇌를 키우세요.

사전 학습은 모델에 대량의 텍스트를 입력하고 누락된 단어를 맞출 때까지 반복해서 예측하게 하는 것입니다. 

이 단계에서는 종종 강력한 GPU 클러스터 수억 달러에 달하는 컴퓨팅 리소스를 보유하고 있습니다. 

필요한 시간: 6~9개월의 논스톱 GPU 트레이닝.

3. 3단계: 미세 조정 및 인적 피드백(3~6개월)

목표: AI를 유용하게 활용하세요.

이제 말을 할 수 있게 되었지만 말이 되나요? 그럴 수도 있고 아닐 수도 있습니다. 이 시점에서 인간 리뷰어는 인간 피드백을 통한 강화 학습(RLHF)을 사용하여 결과물을 평가하고, 실수를 수정하고, 모델을 안내합니다.

필요한 시간: 3~6개월, 종종 초기 테스트와 함께 진행됩니다.

4. 4단계 배포 및 인프라(진행 중)

목표: 확장성을 확보하세요.

학습이 완료되면 이 모델은 웹사이트, 앱, API 및 엔터프라이즈 플랫폼에 배포됩니다. 이를 위해서는 수백만 명의 동시 사용자를 처리할 수 있는 데이터 센터, 자동 확장 API, 로드 밸런싱 시스템 등 상당한 백엔드 인프라가 필요합니다.

기간: 교육 후 시작되지만 무기한 계속됩니다.

5. 5단계: 안전, 편견 및 윤리(진행 중, 병행)

목표: 안전하고 정직하며 해롭지 않게 유지하세요.

AI는 단순한 지능이 아니라 책임에 관한 것입니다. 윤리팀은 잠재적인 오용 가능성을 경고하고, 편견을 줄이고, 유해한 콘텐츠를 차단하고, 개인정보 보호 표준을 준수하기 위해 노력합니다. 이들은 모델이 실제 환경에서 어떻게 작동하는지 지속적으로 평가합니다.

기간: 위의 모든 단계에 포함된 평생 프로세스.

ChatGPT 작동 방식에 대한 자주 묻는 질문

최종 생각

대규모 언어 모델(LLM)은 우리가 기술과 상호작용하는 방식을 변화시켰습니다.

사람이 쓴 것처럼 들리는 텍스트를 만들어 질문에 답하고 창의적인 콘텐츠를 만드는 등의 작업에 도움을 줄 수 있습니다. 

하지만 LLM은 그렇지 않습니다. "이해" 사람처럼 생각하지 않습니다. 실제 사람의 사고가 아닌 데이터의 패턴을 예측하는 방식으로 작동합니다. 

LLM이 개선됨에 따라 편견, 개인정보 보호 문제, 오용 등 발생할 수 있는 문제에 대해 생각해 볼 필요가 있습니다. 

공정하고 투명하며 허위 정보를 유포하거나 개인정보를 침해하지 않도록 AI를 신중하게 사용하는 것이 중요합니다. 

다음은 사용 가이드라인을 확인하세요: 

• AI는 콘텐츠에 편견이 있을 수 있다는 점에 유의하세요.
  
• 개인정보 보호 규칙을 준수하는 방식으로 AI 도구를 사용하세요.
  
• 신뢰할 수 있는 출처의 중요한 정보를 다시 확인하세요.
  
• AI에 너무 의존하지 마세요. AI는 인간의 사고를 대체하는 도구가 아니라 도구일 뿐입니다.

AI 기술이 점점 더 강력해지면서 의문이 생깁니다: 어떻게 하면 인공지능의 발전이 인간을 인간답게 만드는 바로 그 요소를 대체하지 않고 인간의 창의성과 의사결정을 향상시킬 수 있을까요?