모델, 인프라, 애플리케이션과 관련하여 현재까지 해결되지 않은 핵심 문제들
글: 엘라드
대부분의 분야에서 시간이 흐름에 따라 사물에 대한 이해가 점점 더 명확해진다. 그러나 생성형 AI 분야에서는 상황이 정반대일 수 있다. 우리는 이 분야가 여전히 매우 초기 단계에 있으며, 새로운 변수, 모달리티, 시스템 변화들이 극도로 복잡하다고 본다. 이러한 초기 탐색 과정 속에서 방대한 정보를 필터링하고 불확실성 속에서 실천을 통해 가능한 경로를 모색하며 깊은 사고를 축적하는 일이 우리가 계속해서 해오고 있는 일이다.
엘라드는 반복적인 창업가이자 에어비앤비(Airbnb), 코인베이스(Coinbase), 피그마(Figma), 노션(Notion), 핀터레스트(Pinterest) 등의 유명 프로젝트에 조기에 투자한 인물이다. 본문에서는 최근 그가 LLM, 인프라 계층 및 AI 애플리케이션 계층에서 아직 해결되지 않은 문제들을 제시한다. 내용이 심도 있고 포괄적이며, 함께 논의하고 피드백을 나누기를 권장한다.
거대 기술 기업들은 막대한 투자를 통해 LLM 시장 구조를 형성해왔다. 이는 중요한 질문을 제기한다. 바로 이런 시장 환경 속에서 소규모 스타트업과 독립 개발자들이 어떻게 입지를 찾을 수 있을 것인지? '자본 천장'이라는 것이 존재할까? 즉, 선두 모델의 높은 비용을 감당할 수 있는 것은 오직 대기업만이 가능할까?
Llama와 Mistral 같은 오픈소스 모델들도 LLM 분야에서 중요한 역할을 하고 있다. 오픈소스 모델은 폐쇄형 모델에 대한 대안으로 기술의 보급과 혁신을 촉진한다. 하지만 상업적 사용에 대한 제약과 지속 가능성은 여전히 오픈소스 대규모 모델이 해결해야 할 핵심 과제이다.
01. LLM 관련 문제
어떤 의미에서 LLM은 두 가지 종류로 나눌 수 있다. 하나는 기술의 최전선에 있는 범용 모델(GPT-4 등)이고, 다른 하나는 그 외의 모든 모델들이다. 엘라드는 2021년에 막대한 자본이 필요하다는 이유로, 선두 모델 시장은 소수 회사들로 구성된 과점 시장으로 진화할 것이라고 예측했다. 동시에 비선두 대규모 모델들은 가격 중심의 경쟁이 강화되며, 오픈소스 모델의 영향력이 커질 것으로 내다봤다.
현재 상황은 실제로 그런 방향으로 흘러가고 있는 듯하다. 선두 LLM 시장은 과점 구조가 될 가능성이 크며, 현재 주요 경쟁자로는 OpenAI, Google, Anthropic 같은 폐쇄형 모델과 Meta의 Llama, Mistral 같은 오픈소스 모델이 있다. 앞으로 1~2년 안에 이 목록이 다소 바뀔 수 있지만, 선두 모델의 훈련 비용은 계속 증가하는 반면, 다른 범용 모델들의 비용은 매년 줄어들면서 성능은 향상되고 있다. 예를 들어, 지금 GPT-3.5 수준의 모델을 훈련하는 비용은 2년 전보다 약 5분의 1 수준일 수 있다.
모델 규모가 커짐에 따라 자금 조달은 점점 더 클라우드 서비스 제공업체와 거대 기술 기업들로부터 이루어지고 있다. 예를 들어 마이크로소프트는 OpenAI에 100억 달러 이상을 투자했으며, Anthropic는 아마존과 구글로부터 70억 달러의 자금을 유치했다. NVIDIA 역시 이 분야에 막대한 투자를 하고 있다. 이에 비해 리스크 투자(VC)를 통한 자금 조달은 미미한 수준이다. 선두 모델의 훈련 비용이 급증함에 따라 신규 자금 공급처는 주로 대형 기술 기업이나 아랍에미리트처럼 지역 기업을 지원하는 국가 정부에 집중되고 있다. 이러한 추세는 시장에 영향을 미치고 있으며 잠재적 승자들을 조기에 결정할 수도 있다.
클라우드 서비스 제공업체의 투자는 그들이 얻는 수익에 비하면 빙산의 일각에 불과하다. 예를 들어 마이크로소프트의 Azure는 분기마다 250억 달러의 수입을 올리고 있으며, OpenAI에 투자한 약 100억 달러는 Azure의 6주간 수입에 불과하다. 그러나 AI는 Azure 수입에 큰 영향을 미치고 있다. 최근 Azure의 수입은 AI 덕분에 6%포인트 증가했는데, 이는 연간 50~60억 달러의 추가 수입을 의미한다. 수입이 순이익은 아니지만, 이 정도 수치는 여전히 주목할 만하며, 대형 클라우드 서비스 제공업체들이 더 많은 대규모 모델에 자금을 지원할 동기가 있음을 보여준다. 동시에 Meta의 Llama 모델에 대한 행보도 간과할 수 없다. Meta는 최근 대규모 모델 훈련을 위해 200억 달러 예산을 책정하겠다고 발표했다.
LLM과 관련된 몇 가지 핵심 질문
클라우드 서비스 제공업체들은 대규모 컴퓨팅 자원/자본을 제공함으로써 소수의 선두 기업들을 만들어내고, 이를 통해 과점 시장을 고착시키고 있는가? 클라우드 제공업체가 새로운 LLM 기업에 대한 지원을 중단하고 기존 기업들에만 지속적으로 자금을 지원하게 되면 어떤 일이 벌어질까? 기초 모델에 대한 가장 큰 자금 지원자는 리스크 투자가 아니라 클라우드 서비스 제공업체들이다. 그들은 M&A에 제약이 있으며 클라우드 사용 자체에서 수익을 얻기 때문에 이러한 전략이 합리적이다. 하지만 이는 시장 역학에 왜곡을 초래할 수 있다. 장기적으로 LLM의 경제 구조와 시장 구조에 어떤 영향을 미칠까? 자본과 인재 부족으로 인해 새로운 LLM 기업들이 지속적으로 실패하게 되는 상황이 곧 도래할 가능성은 없을까?
OSS(오픈소스 소프트웨어) 모델들이 AI의 경제 구조를 기초 모델에서 클라우드 컴퓨팅으로 전환시킬 수 있을까? Meta는 오픈소스 모델에 대한 지원을 계속할 것인가? 만약 그렇다면 Llama-N이 최첨단 대형 모델들과 어깨를 나란히 할 수 있을까? AI의 최전선에서 뛰어난 성능을 보이는 오픈소스 모델은 LLM에서 클라우드 컴퓨팅 및 추론 서비스 제공자로의 전환을 통해 일부 AI 인프라 구조를 변화시킬 수 있으며, 다른 LLM 기초 모델 기업들의 수익을 줄일 수도 있다.
Llama2의 이용 약관에는 사용자의 수가 7억 미만일 경우 상업적 사용을 허용한다는 조항이 있다. 이는 일부 대형 경쟁자들의 모델 사용을 차단한다. 대형 클라우드 서비스 제공업체는 Meta에 Llama 사용료를 지불해야 한다. 이는 Meta가 Llama에 대한 장기적 통제권을 유지하면서 수익을 창출할 수 있는 방식을 마련한 것이다.
모델의 가격과 성능 사이의 관계를 어떻게 이해해야 할까? 인간이 작업을 수행하는 속도와 비교했을 때 느리더라도 뛰어난 성능을 가진 모델은 매우 가치가 있을 수 있다. 최신 Gemini 모델은 100만 개 이상의 토큰을 처리할 수 있는 컨텍스트 윈도우를 갖추고 있어 이러한 방향으로 발전하고 있는 것으로 보인다. 컨텍스트 윈도우의 길이와 이해 깊이의 향상은 사용자가 AI 활용 방식을 생각하는 데 있어 변화를 가져올 수 있다. 반대로 Mistral은 작고, 빠르며, 저렴한 추론용 고성능 모델의 가치를 보여주고 있다. 아래 표는 이 문제를 세분화하여 설명하고 있다.
기초 모델의 아키텍처는 어떻게 진화할 것인가? 다른 아키텍처를 가진 에이전트 모델들이 LLM의 미래 가능성을 어느 정도 대체할 수 있을까? 언제쯤 다른 형태의 기억 및 추론 기능이 도입될 것인가?
정부는 국내 AI 선도 기업을 지원하거나 조달을 유도할 것인가? 정부는 현지 가치, 언어 등 다양한 문화적 요구를 반영하는 모델을 지원하려 할까? 클라우드 서비스 제공업체와 글로벌 대형 기술 기업 외에도 다른 잠재적 자본 원천은 국가들이다. 현재 유럽, 일본, 인도, 아랍에미리트, 중국 등 여러 국가에 우수한 대형 모델 기업들이 존재한다. 정부 수입만으로도 수십억 달러 가치의 지역화된 AI 기초 모델 기업들을 몇 개나 만들 수 있을 것이다.
02. 인프라 관련 문제
다양한 용도의 인프라 기업들이 존재한다. 예를 들어 Braintrust는 평가, 프롬프트, 로깅, 에이전트 등을 제공하여 기업들이 '감각에 의존하는' AI 분석에서 데이터 기반 분석으로 전환하도록 돕는다. Scale.ai와 기타 기업들은 데이터 라벨링, 파인튜닝 및 기타 분야에서 핵심적인 역할을 수행한다.
AI 인프라에서 가장 불확실한 문제는 AI 클라우드 스택의 진화와 관련이 있다. 스타트업과 대기업은 AI 클라우드 서비스에 대해 매우 다른 요구사항을 가지고 있다. 스타트업의 경우 Anyscale, Baseten, Modal, Replicate, Together 등 새로운 클라우드 서비스 제공업체와 도구들이 고객 확보와 수익 증가라는 올바른 궤도에 올라와 있다.
특수한 요구사항을 가진 대기업들에게는 여전히 해결되지 않은 문제가 남아 있다. 예를 들어: 현재의 AI 클라우드 기업들이 대기업을 위해 로컬/BYOC/VPN 버전 제품을 만들어야 할까? 대기업들은 다음을 최적화하려 할 것이다:
(a) 이미 예산이 배정된 기존 클라우드 마켓플레이스 크레딧을 사용해 서비스를 구매하는 것;
(b) 지연 시간과 성능 문제로 인해 AWS, Azure, GCP와 같은 네트워크 애플리케이션/데이터 호스팅 위치에서 완전한 왕복 요청을 고려하는 것;
(c) 보안성과 규정 준수(FedRAMP, HIPAA 등)에 대한 관심.
AI 클라우드의 단기 스타트업 시장은 장기적인 기업 수요와 다를 수 있다.
AI 클라우드 서비스의 채택은 어느 정도 GPU 자원 제약/GPU 중개로 인한 것인가? 주요 클라우드 제공업체가 GPU를 충분히 확보하지 못하는 상황에서, 기업들은 수요를 충족하기 위해 충분한 GPU를 확보하려 안간힘을 쓰고 있으며, 이는 자체 GPU 클라우드를 운영하는 스타트업의 채택을 가속화하고 있다. NVIDIA가 취할 수 있는 잠재적 전략 중 하나는 초대규모 클라우드 제공업체의 협상력을 낮추고 시장을 분할하며 산업 발전을 촉진하기 위해 이러한 신규 제공업체들에게 GPU를 우선 배정하는 것이다. GPU 병목 현상은 언제 끝날 것이며, 이는 새로운 AI 클라우드 제공업체들에게 어떤 영향을 미칠까? 주요 클라우드 플랫폼에서 GPU 부족 현상이 끝나는 것은 유일한 사업이 GPU 클라우드인 기업들에게는 부정적인 영향을 미칠 수 있지만, 더 많은 도구와 서비스를 제공하는 기업들은 그러한 상황에서도 더 쉽게 전환할 수 있을 것이다.
AI 클라우드 서비스에서 어떤 서비스들이 통합되고 있는가? 임베디드 모델과 RAG(재사용 가능한 생성형 에이전트)를 교차 판매하고 있는가? 지속적인 업데이트, 정밀 조정 또는 기타 서비스를 제공하고 있는가? 이는 데이터 라벨링 기업이나 유사 서비스를 제공하는 다른 기업들에 어떤 영향을 미치는가? 어떤 서비스는 모델 제공업체에 직접 통합되는가? 또 어떤 서비스는 클라우드를 통해 제공되는가?
AI 클라우드 시장에서 서로 다른 기업들은 어떤 비즈니스 모델을 추구할 것인가?
AI 클라우드 세계에는 분명히 두 가지 시장 세분화가 존재한다: 스타트업과 중대형 기업. 'GPU만' 제공하는 비즈니스 모델은 클라우드 서비스에 대한 요구가 적은 스타트업 세그먼트에 기본적으로 적용된다. 대기업의 경우, 주요 플랫폼에서의 GPU 클라우드 제약에 더 많이 묶일 수 있다. 그렇다면 개발자 도구, API 엔드포인트, 전문 하드웨어 등을 제공하는 기업들은 두 가지 유사한 모델로 진화할 것인가? (a) AI용 'Snowflake/Databricks' 모델 또는 (b) AI용 'Cloudflare' 모델? 만약 그렇다면, 각각 어떤 기업이 어떤 모델을 채택하고 있는가?
emergent AI 클라우드의 규모는 얼마나 될 수 있는가? Heroku, Digital Ocean, Snowflake 또는 AWS 수준까지 도달할 수 있을까?
매우 긴 컨텍스트 윈도우를 가진 모델이 등장함에 따라 AI 기술 스택은 어떻게 진화하고 있는가? 컨텍스트 윈도우와 프롬프트 엔지니어링, 파인 튜닝, RAG, 추론 비용 사이의 상호작용을 어떻게 이해해야 할까?
규제 당국의 인수합병(M&A) 억제 정책은 이 시장에 어떤 영향을 미칠까? 적어도 열여 개 이상의 기업들이 AI 클라우드 관련 제품과 서비스를 개발하고 있다. 기술 산업의 인수합병을 적극적으로 반대하는 정부 아래에서 창업가들은 어떻게 엑싯 전략을 세워야 할까? AI 클라우드 기업들 간 통합이 이루어져야 하는가? 시장 규모를 확대하고 제공 서비스를 최적화하기 위해서 말이다?
03. AI 애플리케이션 관련 문제
ChatGPT는 많은 AI 창업가들의 출발점이었다. ChatGPT 이전의 Midjourney와 Stable Diffusion 이전까지 대부분 사람들은 지금 경험하고 있는 트랜스포머/디퓨전 모델 혁명에 주목하지 않았다. 모델과 기술에 가장 가까운 AI 연구자들과 인프라 엔지니어들이 이 기술을 기반으로 한 신생 기업을 설립하는 첫 번째 그룹이었다. 반면 모델과 기술에서 멀리 떨어진 엔지니어, 디자이너, 제품 매니저들은 지금에 와서야 AI의 중요성을 인식하고 있다.
ChatGPT는 약 15개월 전에 출시되었다. 사직을 결정하는 데 9~12개월, 공동 창업자와 함께 초기 아이디어를 브레인스토밍하는 데 몇 개월, 이후 구현에 다시 몇 개월이 걸린다고 가정하면, 이 시간 주기상 곧 시장에 AI 관련 애플리케이션이 쏟아져 나올 시점이다.
B2B 애플리케이션: 새롭게 등장하는 B2B 애플리케이션 물결 속에서, 어떤 기업들과 시장이 중요해질 것인가? 기존 기업들이 가치를 얻는 분야는 어디이며, 스타트업들이 가치를 얻는 분야는 어디인가?
소비자: 가장 초기의 AI 제품들은 '전문 소비자(prosumer)' 제품이었다. 즉 개인과 상업적 용례 모두에서 사용 가능한 제품들이다. ChatGPT, Midjourney, Perplexity, Pika 같은 애플리케이션이 그 예이다. 그런데 왜 일반 소비자를 위한 AI 제품은 그리 적은가? 2007~2012년의 소셜 제품 세대는 오늘날의 AI 제품 사용자층과는 거의 맞지 않는 듯하다. AI 제품의 사용과 개발은 더 신선한 인재를 필요로 하며, 더 스마트하고 혁신적인 사용자들이 참여하여 다음 세대 위대한 AI 소비자 물결을 함께 만들어야 한다.
에이전트: AI 에이전트는 다양한 일을 할 수 있다. 어떤 분야가 강력한 집중형 제품이 될 것이며, 어떤 스타트업들이 사용 사례를 찾고 있는가?
이상이 AI 분야에서 고민해볼 만한 중요한 질문들의 전체 목록이다. 생성형 AI의 발전은 우리 모두가 겪고 있는 흥미진진한 기술 혁명의 순간이다. 앞으로 더욱 기대되고 흥미로운 창조물들이 등장할 것이다. 위의 질문들에 대한 사고는 창업가들이 시장 수요를 더 잘 충족시키고 이 분야의 발전을 추진하는 데 도움이 될 수 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
