a16z 대화 AI 스타 유니콘: 대규모 모델의 미래는 어떻게 발전할 것인가?
a16z의 투자자들은 네 명의 신진 AI 스타트업 CEO들과 LLM의 미래 방향에 대해 논의했다.
참석자로는 Anthropic의 CEO 다리오 아모데이(Dario Amodei), Cohere의 CEO 에이든 고메즈(Aidan Gomez), Character.AI의 CEO 노암 샤제르(Noam Shazeer), 그리고 AI21 Labs의 요아브 쇼함(Yoav Shoham)이 있다.
이들은 다음과 같은 네 가지 핵심 방향을 제시했다:
-
환각(hallucination) 문제를 최대한 해결하고, 방향성을 확보하라
-
더 크고 정밀한 메모리 솔루션으로 개인화 문제를 해결하라
-
지식에서 추론을 거쳐 행동까지 나아가, 모델에게 도구 사용법을 가르치라
-
다중모달(multimodal) 기술을 통해 모델이 진정한 범용성을 갖추도록 하라
「환각」 문제: 운전대를 단단히 잡아라
대규모 모델은 여전히 「환각」 문제가 있기 때문에, 많은 창업자들이 제품이나 업무 프로세스에 LLM을 적용하는 데 신중하다.
이 문제를 해결하기 위해 모델 출력에 집중하고, 복잡한 사용자 요구사항을 더 잘 이해하고 실행할 수 있도록 돕는 것이 중요하다. 핵심 모델 기업들은 이를 LLM 출력을 제어하는 방법으로 개선하고 있으며, 이를 우리는 steering(방향 전환)이라고 부른다.
Character.AI의 CEO 샤저는 LLM을 어린이에 비유했다. "이는 모델을 어떻게 더 잘 안내할 것인가 하는 문제다. 우리가 원하는 일을 모델이 할 수 있도록 올바른 방법을 알려줘야 한다. 어린이도 때때로 허구를 만들어내며, 현실과 환상 사이의 경계를 분명히 알지 못한다."
현재 Guardrails 및 LMQL 등 일부 연구 성과와 도구들이 등장했지만, 여전히 연구는 진행 중이며 a16z는 이 방향성이 궁극적으로 LLM의 제품화를 가능하게 할 핵심이라고 본다.
기업 입장에서는 steering 개선이 매우 중요하다. Anthropic의 창립자이자 CEO인 아모데이는 LLM의 예측 불가능성이 불안감을 준다고 말하며, API 제공자로서 "아니요, 모델은 그렇게 하지 않습니다" 또는 적어도 "거의 그렇게 하지 않습니다"라고 말할 수 있기를 바란다고 밝혔다.
LLM 출력을 개선함으로써 개발자들은 모델 성능과 고객 요구 간의 일치 문제에 대해 더 큰 자신감을 가질 수 있게 된다.
Steering 개선은 광고 등 정확성과 신뢰성이 중요한 산업에도 도움이 될 것이다.
"법률, 의료, 저축 재무 정보 관리 및 금융 리스크 관리 영역부터 기업 브랜드 보호가 필요한 곳까지, 이러한 시나리오에서는 예측 불가능하거나 설명하기 어려운 기술 사용을 원하지 않을 것이다."
Steering를 개선하면, LLM은 더 적은 프롬프트 엔지니어링만으로도 더욱 복잡한 작업을 수행할 수 있게 되며, 이는 사용자의 의도를 더 잘 이해할 수 있기 때문이다.
LLM 출력에 대한 더 나은 제어는 민감한 소비자 애플리케이션에서 모델 활용 가능성을 열어줄 수 있다. 사용자들은 개인화되고 정확한 응답을 기대한다.
사용자가 LLM과 대화하거나 창의적인 콘텐츠를 생성할 때는 다소 부정확한 출력을 용납할 수 있지만, 일상 업무에서 주요 결정을 위한 조언을 받거나 생활 코치, 치료사, 의사 역할을 맡길 때는 더 정확한 출력을 원한다.
LLM이 검색과 같은 인터넷 시대의 뿌리 깊은 도구와 제품을 실제로 대체할 수 있을지는, 결국 Steering을 얼마나 잘 수행하여 출력을 개선하고 사용자 신뢰를 구축할 수 있는지에 달려 있을지도 모른다.
「메모리」 문제: 목표는 개인화
컨텍스트(context) 능력은 개인화를 제약하는 시급히 해결해야 할 약점이다.
비록 프롬프트(prompt) 와 파인튜닝(fine-tune) 을 통해 어느 정도의 개인화가 가능하지만, 전자는 대량 처리가 어렵고, 후자는 비용이 많이 들며 재학습이 필요하고 종종 폐쇄형 LLM 기업과 긴밀히 협력해야 한다. 이는 소규모 팀과 개인 사용자에게 거의 불가능하다.
컨텍스트 학습은 LLM이 기업 콘텐츠, 전문 용어 또는 특정 컨텍스트로부터 학습하는 능력으로, 마치 성배처럼 여겨진다. 이는 더욱 정교하고 특정 요구 사항에 맞는 출력물을 만들 수 있기 때문이다.
컨텍스트 능력을 해제하기 위해서는 LLM이 더 강력한 메모리와 기억 능력을 가져야 한다.
LLM의 메모리는 두 가지 주요 구성 요소로 이루어진다: 컨텍스트 윈도우(context windows) 와 검색(retrieval).
컨텍스트 윈도우는 훈련 데이터 외부에서 모델이 처리하고 정보를 추출해내기 위해 입력되는 텍스트다.
검색은 모델 훈련 데이터의 코퍼스 외부에서 관련 정보 및 문서(컨텍스트 데이터)를 찾아 참조하는 것이다.
현재 대부분의 LLM은 컨텍스트 윈도우가 제한적이며 다른 정보를 로컬에서 검색할 수 없어 콘텐츠 생성의 개인화 정도가 낮다. 하지만 더 큰 컨텍스트 윈도우와 개선된 검색을 통해 LLM은 개인 상황에 맞는 세밀한 출력을 직접 제공할 수 있다.
특히 컨텍스트 윈도우를 확장하면 모델이 더 많은 텍스트를 처리하고 컨텍스트 유지 능력을 향상시켜 대화에서 일관성을 유지할 수 있다.
이는 장문 요약, 장시간 이어지는 대화에서 맥락에 맞는 일관된 답변 생성 등 심층적 이해와 장문 입력이 필요한 작업 수행 능력을 크게 향상시킨다.
컨텍스트 능력 개선은 진행 중이다. GPT-4는 8k 및 32k 컨텍스트 윈도우를 제공하며, GPT-3.5와 ChatGPT는 각각 4k 및 16k 토큰만 지원한다.
Claude는 최근 컨텍스트 능력을 100k 토큰까지 확장했다.
그러나 컨텍스트 길이를 늘리는 것만으로는 기억 능력을 충분히 향상시키기 어렵다. 왜냐하면 추론 비용과 시간은 길이 증가에 따라 거의 선형 또는 제곱 규모로 증가하기 때문이다.
검색 메커니즘은 가장 관련성 높은 컨텍스트 데이터를 통해 LLM의 원래 훈련 코퍼스를 보완하고 강화한다. LLM의 정보는 일반적으로 업데이트하기 어렵기 때문에 검색에는 두 가지 이점이 있다. AI21 Labs의 창립자 쇼함은 "첫째, 훈련 당시에는 존재하지 않았던 정보 소스에 접근할 수 있고, 둘째, 모델이 특정 작업과 관련된 정보에 집중하도록 할 수 있다"고 말했다.
벡터 데이터베이스는 관련 정보를 효율적으로 검색하는 사실상의 표준이 되었으며, 대규모 모델의 메모리 계층으로서 모델이 방대한 정보 중에서 정확한 데이터를 더 빠르고 정확하게 탐색하고 인용할 수 있도록 한다.
확장된 컨텍스트 윈도우와 검색 메커니즘은 대규모 지식 저장소나 복잡한 데이터베이스를 탐색하는 기업 사용 사례에 매우 유용할 것이다. 기업은 파인튜닝 없이 내부 지식, 과거 고객 기록, 재무 결과 등의 독점 데이터를 대규모 모델의 입력으로 사용할 수 있게 된다.
대규모 모델의 기억 능력 향상은 교육, 보고서 작성, 내부 검색, 데이터 분석 및 비즈니스 인텔리전스, 고객 지원 분야에서 개선과 심층적 맞춤화를 가능하게 할 것이다.
소비자 분야에서는 향상된 컨텍스트 윈도우와 검색 메커니즘이 강력한 개인화 기능을 실현해 사용자 경험을 근본적으로 변화시킬 수 있다.
노암 샤제르는 "중요한 돌파구 중 하나는 각 사용자에게 맞춤화할 수 있는 높은 기억 용량을 가진 모델을 개발하는 것이며, 이를 규모에 맞게 비용 효율적으로 서비스 제공하는 것이다. 당신의 심리치료사가 당신 인생의 모든 면을 이해하기를 원할 것이고, 당신의 선생님이 이미 알고 있는 지식을 파악하기를 원할 것이며, 인생 코치가 당신에게 조언을 제공하기를 원할 것이다. 모두 컨텍스트를 필요로 한다"고 말했다.
에이든 고메즈도 이 발전에 대해 기대감을 드러냈다. "모델이 이메일, 캘린더, 메시지 등 개인과 관련된 데이터에 접근할 수 있게 되면, 모델은 당신과 다른 사람들의 관계, 친구나 동료와의 소통 방식을 이해하고, 이러한 맥락 안에서 최대한의 유용성을 제공할 수 있게 될 것이다."
지식에서 행동으로: 모델에게 도구 사용법을 가르치자
대규모 모델의 진정한 힘은 자연어를 행동의 매개체로 만드는 것에 있다.
대규모 모델은 일반적이고 잘 문서화된 시스템에 대해 복잡한 이해를 가지고 있지만, 그 시스템에서 추출된 정보를 실제로 실행할 수는 없다.
예를 들어 OpenAI의 ChatGPT, Anthropic의 Claude, Character AI의 Lily는 항공권 예약 방법을 자세히 설명할 수 있지만, 직접 예약을 수행할 수는 없다(비록 ChatGPT 플러그인이 이를 해결하기 시작하고 있긴 하다).
아모데이는 "이론상 대규모 모델은 모든 지식을 가진 뇌를 갖고 있지만, 구체적인 조작 명령(이름)을 실제 실행 단계(버튼 누르기)로 변환하는 매핑 관계가 부족하다. 서로 다른 컴포넌트를 연결하는 데는 별도의 추가 훈련이 필요하지 않다. 대규모 모델 자체는 신체 없는 뇌와 같으며, 조작 방법에 대한 이론적 이해는 있지만 실제 실행 도구가 없어, 손과 발이 연결되지 않은 상태와 같다"고 말했다.
이미 여러 기업들이 대규모 모델의 도구 사용 능력을 지속적으로 개선하고 있다. Bing과 Google 같은 기존 기업뿐 아니라 Perplexity, You.com 같은 스타트업들도 검색 API를 도입했다. AI21 Labs는 계산기, 날씨 API, 위키 API, 데이터베이스 등 미리 정의된 일련의 도구와 모델을 결합한 Jurassic-X를 출시해 독립형 대규모 모델의 많은 한계를 해결했다.
OpenAI는 ChatGPT가 Expedia, OpenTable, Wolfram, Instacart, Speak, 웹 브라우저, 코드 인터프리터 등의 도구와 상호작용할 수 있도록 하는 플러그인을 출시했는데, 이를 '애플의 앱스토어 시대'에 비유하기도 했다. 최근에는 GPT-3.5와 GPT-4에 함수 호출 기능을 도입해 개발자가 GPT의 기능을 외부 도구와 자유롭게 연결할 수 있도록 했다.
지식 추출 중심에서 행동 중심으로 초점을 전환함으로써, 다양한 기업과 사용자 유형에 ‘손’과 ‘발’을 제공해 수많은 응용 시나리오를 열 수 있다.
소비자에게는 대규모 모델이 곧 요리법을 추천한 후 필요한 재료를 주문하거나, 브런치 장소를 추천하고 테이블을 예약하는 것도 가능해질 수 있다.
기업의 경우 창업자들이 대규모 모델을 통합해 애플리케이션을 훨씬 쉽게 사용할 수 있게 만들 수 있다.
아모데이가 지적했듯이, "사용자 인터페이스 측면에서 매우 사용하기 어려운 기능이라도 자연어로 설명만 하면 복잡한 작업을 수행할 수 있게 될 수 있다."
예를 들어 Salesforce 같은 애플리케이션에 대규모 모델을 통합하면 사용자가 자연어로 업데이트를 요청하면 모델이 자동으로 변경을 수행함으로써 CRM 관리에 필요한 시간을 크게 줄일 수 있다. Cohere와 Adept 같은 스타트업들이 이러한 복잡한 도구에 대규모 모델을 통합하는 작업을 진행 중이다.
고메즈는 앞으로 2년 내로 대규모 모델이 Excel 같은 애플리케이션을 사용할 수 있게 될 것으로 보지만, 여전히 여러 개선이 필요하다고 말했다.
"우리는 도구를 사용할 수 있는 첫 번째 세대의 모델을 갖게 될 것이며, 상상력이 풍부하지만 매우 민감할 것이다. 궁극적으로 우리는 어떤 소프트웨어든 모델에게 주고 '이 도구의 기능은 무엇이고, 어떻게 사용하는지'에 대한 설명만 제공하면 모델이 그것을 사용할 수 있는 이상적인 시스템을 얻게 될 것이다. 대규모 모델에게 특정 및 일반 도구들을 제공할 수 있게 된다면, 그로 인해 해방되는 자동화 능력은 해당 분야의 스타 제품이 될 것이다."
다중모달: 언어 모델은 진정한 범용 모델이 아니다
채팅 인터페이스가 많은 사용자에게 직관적일지라도, 사람들은 읽고 쓰는 것보다 듣고 말하는 빈도가 훨씬 높다.
아모데이가 지적했듯이, "AI 시스템이 할 수 있는 일은 제한되어 있다. 왜냐하면 모든 것이 텍스트 형식은 아니기 때문이다."
다중모달 특성을 갖추거나 오디오 및 시각 포맷을 원활하게 처리하고 생성할 수 있는 모델은 상호작용을 언어를 넘어서는 수준으로 끌어올릴 수 있다.
GPT-4, Character.AI, 메타의 ImageBind 등은 이미 이미지, 오디오 및 기타 모달리티를 처리하고 생성할 수 있지만, 생성 품질은 아직 기초 수준에 머물러 있다(비록 모델이 계속 개선되고 있긴 하다).
고메즈는 "우리 모델은 시각 정보를 직접 처리하는 데 여전히 미흡하며, 이 부분을 개선해야 한다. 현재 우리는 많은 그래픽 사용자 인터페이스(GUI)를 구축했지만, 모두 사용자가 시각적으로 볼 수 있다는 전제 하에 설계되었다"고 말했다.
대규모 모델이 진화함에 따라 다중모달 능력은 이해와 상호작용 모두에서 강화될 것이며, 브라우저처럼 GUI에 의존하는 기존 앱을 사용할 수 있게 될 것이다. 또한 사용자가 채팅 인터페이스를 넘어 더욱 몰입감 있고 연결성 높으며 내용이 풍부한 경험을 할 수 있도록 할 것이다.
샤제르는 "다중모달 모델과의 통합은 경험을 더욱 흥미롭고 사용자와 더 긴밀하게 연결할 수 있다"고 말하며, "나는 현재 핵심 지능의 대부분이 텍스트에서 비롯되지만, 오디오와 비디오는 경험을 더욱 흥미롭게 만들 수 있다고 믿는다. AI 멘토와의 영상 통화에서부터 AI와 함께 각본을 작성하는 것까지, 다중모달 기술은 엔터테인먼트, 학습 및 개발, 콘텐츠 생성 분야에서 소비자 및 기업 애플리케이션에 걸쳐 변화를 일으킬 잠재력을 지닌다"고 덧붙였다.
다중모달은 도구 사용과도 밀접하게 연결된다. 대규모 모델이 처음에는 API를 통해 외부 소프트웨어와 연결되지만, 다중모달은 인간을 위해 설계된 도구들—맞춤형 통합이 없는 전통적인 ERP 시스템, 데스크톱 애플리케이션, 의료 장비, 제조 기계 등—을 사용할 수 있게 해줄 것이다.
이 분야에서도 이미 흥미로운 발전이 나타나고 있다. 예를 들어 구글의 Med-PaLM-2 모델은 유방 X선 및 X-ray 영상을 종합할 수 있다. 그리고 장기적으로 보면, 컴퓨터 비전과의 통합을 포함한 다중모달 기술은 로봇, 자율주행 및 물리 세계와 실시간 상호작용이 필요한 다른 애플리케이션을 통해 대규모 모델을 물리적 현실로 확장할 수 있다.
대규모 모델에는 몇 가지 한계가 있지만, 연구자들은 짧은 시간 안에 놀라운 개선을 이루었다. 실제로 본 글을 작성하는 동안 여러 차례 수정해야 했는데, 이는 기술이 매우 빠르게 발전하고 있다는 증거다.
고메즈도 동의한다. "대규모 모델이 20번 중 1번씩 거짓말을 하는 확률은 분명히 너무 높다. 그러나 나는 매우 낙관적이다. 우리가 이런 시스템을 처음으로 만들고 있기 때문이다. 사람들의 기대치는 매우 높아졌고, 목표가 '컴퓨터가 단순히 수학 연산만 하는 어리석음'에서 '사람보다 더 잘하는 것'으로 올라갔다. 우리는 인간과 기계 사이의 격차를 성공적으로 좁혔으며, 지금의 비판은 컴퓨터가 인간 수준에 도달할 수 있는지를 묻는 데까지 이르렀다."
우리는 다음의 네 가지 혁신에 특히 기대를 걸고 있으며, 이들은 창업자들이 제품을 만들고 회사를 운영하는 방식을 바꾸게 될 것이다. 장기적으로는 그 잠재력이 훨씬 더 크다.
아모데이는 예측한다. "언젠가는 모든 생물학적 데이터를 읽고 암 치료법을 찾을 수 있는 모델이 등장할지도 모른다."
실제로 가장 훌륭한 새로운 애플리케이션은 아직 알려지지 않았다.
Character.AI의 샤제르는 사용자들이 이러한 애플리케이션을 개발하도록 하고 있다. "우리는 많은 새로운 애플리케이션이 등장하는 것을 보게 될 것이다. 그것이 무엇인지 말하기 어렵다. 수천 가지의 애플리케이션이 등장할 것이며, 대부분의 사용자가 소수의 엔지니어보다 이 기술을 어떻게 활용할 수 있는지를 더 잘 알고 있다."
우리는 이러한 진보가 우리 삶과 일하는 방식에 미칠 깊은 영향을 기대하며, 창업자들과 기업들이 이러한 새로운 도구와 능력을 통해 강력하게 역량을 강화할 수 있기를 기대한다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
