ChatGPT의 부상: GPT-1에서 GPT-3까지, AIGC 시대가 다가오고 있다
ChatGPT란 무엇인가?
최근 OpenAI는 대화형 방식으로 상호작용할 수 있는 모델인 ChatGPT를 발표했으며, 그 지능성 덕분에 많은 사용자들에게 큰 인기를 얻고 있다.
ChatGPT는 이전에 OpenAI가 출시한 InstructGPT와도 관련이 있으며, ChatGPT 모델은 인간의 피드백을 활용한 강화학습(RLHF, Reinforcement Learning with Human Feedback)을 사용해 훈련되었다. 아마도 ChatGPT의 등장은 OpenAI의 GPT-4 정식 출시에 앞선 서막일지도 모른다.
GPT란 무엇인가? GPT-1에서 GPT-3까지
Generative Pre-trained Transformer(GPT)는 인터넷에서 이용 가능한 데이터를 기반으로 학습된 텍스트 생성 딥러닝 모델이다. 질문 응답, 텍스트 요약 생성, 기계 번역, 분류, 코드 생성 및 대화형 AI 등에 활용된다.
2018년, GPT-1이 탄생하였으며, 이 해는 자연어 처리(NLP) 분야에서 사전 훈련 모델의 원년으로 여겨진다.
성능 측면에서 GPT-1은 일정한 일반화 능력을 갖추고 있어 감독 학습과 무관한 NLP 작업에도 일부 활용될 수 있었다.
주요 활용 과제는 다음과 같다:
-
자연어 추론: 두 문장 간의 관계(함의, 모순, 중립) 판단;
-
질문 응답 및 상식 추론: 주어진 문서와 여러 답변 후보 중 정확한 답변 선택;
-
의미 유사도 판별: 두 문장이 의미적으로 관련성이 있는지 판단;
-
분류: 입력된 텍스트가 특정 범주 중 어느 하나에 속하는지 판단;
비록 GPT-1이 조정되지 않은 작업에서도 어느 정도 성능을 보였지만, 미세 조정된 감독 학습 작업에 비해 일반화 능력은 현저히 떨어졌기 때문에, GPT-1은 대화형 AI라기보다는 다소 제한적인 언어 이해 도구 수준에 머물렀다.
그 후 2019년에는 GPT-2가 예정대로 등장하였다. 그러나 GPT-2는 기존 네트워크 구조를 크게 혁신하거나 재설계하지 않고, 더 많은 파라미터와 더 큰 데이터셋만을 사용하였다. 최대 모델은 총 48층으로 구성되며, 파라미터 수는 15억 개에 달하며, 학습 목표는 비지도 사전 훈련 모델을 감독 학습 과제에 적용하는 것이었다. 성능 면에서, 이해 능력 외에도 GPT-2는 처음으로 생성 능력에서 뛰어난 잠재력을 보여주었으며, 요약 작성, 채팅, 문장 이어쓰기, 이야기 창작은 물론 가짜 뉴스 생성, 낚시 메일 발송, 온라인상의 역할극까지 모두 가능했다. "더 크게 만들기" 전략 이후, GPT-2는 다양한 분야에서 보편적이면서도 강력한 능력을 입증하였으며, 당시 여러 특정 언어 모델링 과제에서 최고 성능을 달성하였다.
이후 등장한 GPT-3는 거의 모든 자연어 처리 과제를 수행할 수 있는 비지도 모델(현재는 자가 지도 모델이라 불리는 경우가 많음)로서, 문제 기반 검색, 독해, 의미 추론, 기계 번역, 문서 생성, 자동 질의 응답 등을 포함한 광범위한 작업을 수행할 수 있다. 또한 이 모델은 다수의 과제에서 뛰어난 성능을 보였는데, 프랑스어-영어, 독일어-영어 기계 번역 과제에서는 당시 최고 수준을 달성하였으며, 자동 생성된 글은 인간이 쓴 것인지 기계가 생성한 것인지 거의 구분할 수 없을 정도였다(정확률 52%, 무작위 추측과 동일 수준). 더욱 놀라운 것은 두 자리수 덧셈·뺄셈 계산 과제에서 거의 100% 정확도를 기록했으며, 작업 설명에 따라 코드를 자동 생성하는 기능까지 갖추고 있다. 비지도 모델임에도 불구하고 다양한 기능과 뛰어난 성능을 보이며, 사람들은 이를 통해 일반 인공지능(AGI)의 가능성을 엿볼 수 있었으며, 이것이 바로 GPT-3가 그렇게 큰 영향을 미친 주된 이유로 보인다.
GPT-3 모델이란 무엇인가?
사실상 GPT-3는 단순한 통계적 언어 모델에 불과하다. 기계학습 관점에서 언어 모델은 이미 주어진 문장 조각을 기반으로 다음 단어가 나올 확률 분포를 예측하는 모델이다. 언어 모델은 사람이 만든 대화 시스템의 응답이 자연스럽고 유창한지를 평가하는 데 사용되기도 하며, 동시에 새로운 문장을 생성하는 데에도 활용된다. 예를 들어 "낮 12시다, 우리 같이 식당에"라는 문장 조각이 주어졌을 때, 언어 모델은 '식당' 다음에 어떤 단어가 올지를 예측할 수 있다. 일반적인 언어 모델은 다음 단어로 '밥 먹자'를 예측할 수 있지만, 강력한 언어 모델은 시간 정보를 반영하여 '점심 먹자'와 같은 맥락에 맞는 단어를 생성할 수 있다.
일반적으로 언어 모델의 성능은 주로 두 가지 요소에 의해 결정된다:
-
첫째, 해당 모델이 과거의 모든 문맥 정보를 얼마나 잘 활용할 수 있는가 하는 점이다. 위의 예시에서 '낮 12시'라는 장거리 의미 정보를 포착하지 못한다면, '점심 먹자'를 예측하기는 매우 어렵다.
-
둘째, 모델이 학습할 수 있는 충분히 풍부한 과거 문맥 정보, 즉 훈련 말뭉치의 다양성과 규모가 중요하다. 언어 모델은 자가 지도 학습에 속하므로, 목적 함수는 관찰된 텍스트의 언어 모델 확률을 극대화하는 것이며, 따라서 별도의 라벨링 없이 모든 텍스트를 훈련 데이터로 사용할 수 있다.
GPT-3는 더 뛰어난 성능과 훨씬 많은 파라미터를 보유하고 있어, 다양한 주제의 텍스트를 포함하고 있으며, 이전 세대인 GPT-2보다 명백히 우수하다.
현재 가장 큰 밀집형 신경망인 GPT-3는 웹페이지 설명을 실제 코드로 변환하거나, 인간처럼 서사를 창작하고, 맞춤형 시를 만들어내며, 게임 스크립트를 생성할 수 있을 뿐 아니라, 사상가들의 사상을 흉내 내어 삶의 진리를 예측하는 것까지 가능하다. 또한 GPT-3는 추가 미세 조정 없이도 문법 난제를 처리할 수 있으며, 출력 형식에 대한 몇 가지 예시만 제공하면(소량 학습) 작업을 수행할 수 있다.
말하자면 GPT-3는 우리가 언어 전문가에게 기대하는 거의 모든 것을 충족시키고 있다고 할 수 있다.
GPT-3의 문제점은 무엇인가?
하지만 GTP-3는 완벽하지 않다. 현재 사람들이 인공지능에 대해 가장 우려하는 문제 중 하나는, 챗봇이나 텍스트 생성 도구들이 인터넷 상의 모든 텍스트를 선별 없이, 품질을 가리지 않고 학습함으로써 오류가 있거나 악의적이고 공격적인 언어를 출력할 수 있다는 점이다. 이러한 문제는 향후 응용 분야에 심각한 영향을 미칠 수 있다.
OpenAI는 향후 더욱 강력한 GPT-4를 출시할 계획이라고 밝힌 바 있다:
GPT-3와 GPT-4, 인간 두뇌 비교 (출처: Lex Fridman @youtube)
GPT-4는 내년에 출시될 예정이며, 튜링 테스트를 통과할 수 있고, 인간과 차이를 느낄 수 없을 정도로 진보할 것으로 알려졌다. 또한 기업이 GPT-4를 도입하는 비용도 크게 줄어들 전망이다.
ChatGPT와 InstructGPT
ChatGPT에 대해 논할 때, 그 전신인 InstructGPT에 대해서도 언급해야 한다.
2022년 초, OpenAI는 InstructGPT를 발표하였으며, 이 연구에서는 GPT-3에 비해 '정렬 연구(alignment research)'를 적용하여, 더 사실적이고, 무해하며, 사용자의 의도를 더 잘 따르는 언어 모델을 훈련하였다.
InstructGPT는 미세 조정된 새로운 버전의 GPT-3로, 유해하고, 거짓되며, 편향된 출력을 최소화하도록 설계되었다.
InstructGPT의 작동 원리는 무엇인가?
개발자들은 지도 학습과 인간의 피드백을 통한 강화 학습을 결합하여 GPT-3의 출력 품질을 향상시켰다. 이 학습 방식에서 인간은 모델의 잠재적 출력 결과들을 순위 매긴다. 강화 학습 알고리즘은 이러한 높은 순위의 출력을 생성하는 모델을 보상한다.
훈련 데이터셋은 프롬프트 생성으로 시작되며, 일부 프롬프트는 GPT-3 사용자의 입력을 기반으로 한다. 예를 들어 "개구리에 관한 이야기를 들려줘" 또는 "6살 아이에게 달 착륙을 간단히 설명해줘"와 같은 요청이다.
개발자는 프롬프트를 세 부분으로 나누고, 각각 다른 방식으로 응답을 생성한다:
-
전문 작가들이 첫 번째 그룹의 프롬프트에 직접 응답한다. 개발자들은 훈련된 GPT-3를 미세 조정하여, 각 프롬프트에 대한 기존 응답을 생성하게 하고, 이를 통해 InstructGPT를 만든다.
-
다음 단계는 더 나은 응답에 더 높은 보상을 주도록 모델을 훈련시키는 것이다. 두 번째 그룹의 프롬프트에 대해 최적화된 모델은 여러 응답을 생성한다. 인간 평가자가 각 응답을 순위 매긴다. 프롬프트 하나와 두 개의 응답이 주어졌을 때, 보상 모델(또 다른 사전 훈련된 GPT-3)은 평가가 높은 응답에 더 높은 보상을, 낮은 응답에는 낮은 보상을 부여하는 법을 배운다.
-
개발자들은 세 번째 그룹의 프롬프트와 강화 학습 기법인 근접 정책 최적화(PPO, Proximal Policy Optimization)를 사용해 언어 모델을 추가로 미세 조정한다. 프롬프트가 주어지면 언어 모델이 응답을 생성하고, 보상 모델이 그에 따른 보상을 부여한다. PPO는 이 보상을 활용하여 언어 모델을 업데이트한다.
왜 중요한가?
핵심은 —— 인공지능은 책임감 있는 인공지능이어야 한다는 점이다.
OpenAI의 언어 모델은 교육 분야, 가상 치료사, 글쓰기 보조 도구, 롤플레잉 게임 등에 도움을 줄 수 있다.이러한 분야에서는 사회적 편견, 잘못된 정보, 유해한 콘텐츠가 큰 문제를 일으킬 수 있으므로, 이러한 결점을 피할 수 있는 시스템이야말로 실제로 유용하게 활용될 수 있다.
ChatGPT와 InstructGPT의 훈련 과정은 어떻게 다른가?
전반적으로 ChatGPT는 위에서 설명한 InstructGPT와 마찬가지로 인간의 피드백을 통한 강화 학습(RLHF)을 사용해 훈련되었다.
차이점은 훈련용 데이터를 설정하고 수집하는 방식에 있다. (설명하자면, 기존 InstructGPT 모델은 하나의 입력에 하나의 출력을 대응시키고, 이를 훈련 데이터와 비교하여 정답은 보상하고 오답은 패널티를 주는 방식이었다. 반면 현재의 ChatGPT는 하나의 입력에 대해 모델이 여러 출력을 생성하고, 인간이 이 출력 결과들을 '인간다운 말'부터 '엉터리'까지 순서대로 나열하여, 모델이 인간의 순위 매기기 방식을 학습하도록 하는 전략인데, 이를 지도 학습(supervised learning)이라고 한다. 본 문단은 장즈jian 박사님께 감사드립니다.)
ChatGPT의 한계는 무엇인가?
다음과 같다:
a) 강화 학습(RL) 훈련 단계에서 질문에 대한 진실이나 정답의 구체적인 출처가 없기 때문에, 당신의 질문에 대한 확실한 답변을 제공할 수 없다.
b) 모델이 보다 신중하게 훈련되어, 오보를 방지하기 위해 질문 자체를 거부할 수 있다.
c) 지도 학습 과정에서 모델이 이상적인 답변을 아는 것처럼 유도되거나 편향될 수 있으며, 이는 모델이 임의의 응답 집합을 생성한 후 인간 평가자가 좋은 응답을 선택하고 순위를 매기는 방식과 다르다.
참고: ChatGPT는 표현 방식에 민감하다. 때때로 특정 문구에 대해 반응하지 않다가도, 질문이나 문구를 약간 조정하면 정확히 답변하는 경우가 있다. 또한 훈련자들은 더 긴 답변을 선호하는 경향이 있어, 모델이 지나치게 장황한 답변을 생성하거나 특정 구절을 과도하게 반복하는 경향이 있으며, 초기 프롬프트나 질문이 모호할 경우 모델이 적절히 설명을 요구하지 않는다는 문제가 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
