샘 알트먼 최신 인터뷰: OpenAI가 직면한 과제와 미래 방향성
TechFlow 선정TechFlow 추천
샘 알트먼 최신 인터뷰: OpenAI가 직면한 과제와 미래 방향성
이 글은 Humanloop의 CEO인 Raza Habib가 OpenAI의 CEO Sam Altman과 진행한 최신 인터뷰 내용을 바탕으로 작성되었습니다. 인터뷰에서 Sam Altman은 현재의 어려움, GPU 자원 제약, Context 길이, 다중모달(multimodal), 오픈소스 문제 등에 관해 매우 솔직하게 이야기했습니다.
Web3 심층 보도에 집중하고 흐름을 통찰서문
지난주 Humanloop의 CEO인 Raza Habib는 Sam Altman과 다른 개발자 20명과 함께 OpenAI의 API와 제품 계획에 대해 논의할 수 있는 기회를 가졌다. Sam은 매우 솔직했다. 이 대화는 실제 개발자들이 겪는 문제부터 OpenAI의 미션 및 AI의 사회적 영향과 관련된 보다 큰 주제까지 폭넓게 다뤘다. 다음은 주요 핵심 내용들이다.
현재 OpenAI는 GPU에 크게 의존하고 있음
전체 토론을 통해 반복적으로 등장한 주제는 현재 OpenAI가 GPU에 극도로 의존하고 있다는 점이며, 이로 인해 많은 단기 계획들이 지연되고 있다는 것이다. 고객들의 가장 큰 불만은 API의 안정성과 속도다. Sam은 이러한 우려를 인정하며 대부분의 문제가 GPU 부족에서 비롯된 것이라고 설명했다.
32k 이상의 긴 컨텍스트는 아직 더 많은 사용자에게 확대 제공되지 못하고 있다. OpenAI는 여전히 O(n^2) 어텐션 스케일링 문제를 해결하지 못했기 때문에, 조만간 100k~1M 토큰의 컨텍스트 윈도우는 가능할 수 있지만(올해 내), 그보다 더 큰 윈도우는 연구적 돌파구가 필요하다.
파인튜닝 API 역시 GPU 가용성에 의해 제약받고 있다. OpenAI는 아직 Adapters나 LoRa 같은 효율적인 파인튜닝 방법을 사용하지 않고 있으며, 따라서 파인튜닝 작업과 관리에 상당한 컴퓨팅 자원이 소모된다. 앞으로 더 나은 파인튜닝 지원이 제공될 것이며, 심지어 커뮤니티가 기여한 모델들을 공유할 수 있는 시장을 운영할 가능성도 있다고 언급했다.
전용 용량 제공 역시 GPU 가용성에 제한을 받고 있다. OpenAI는 고객에게 모델의 전용 사본을 제공하는 전용 용량 서비스도 제공한다. 이 서비스를 이용하려면 고객이 최소 10만 달러 이상을 선지불 약속해야 한다.
OpenAI의 단기 로드맵
2023년:
더 저렴하고 빠른 GPT-4 — 이것이 최우선 과제다. 전반적으로 OpenAI는 "지능의 비용"을 최소화하는 것을 목표로 하며, 따라서 API 비용을 계속 낮추기 위해 노력할 것이다.
더 긴 컨텍스트 윈도우 — 가까운 미래에 백만 토큰 수준의 컨텍스트 윈도우가 가능할 것으로 보인다.
파인튜닝 API — 최신 모델로 파인튜닝 API가 확장될 예정이며, 구체적인 형태는 개발자들이 진정으로 원하는 방식에 따라 결정될 것이다.
상태 유지형 API (Stateful API) — 오늘날 채팅 API를 호출할 때마다 동일한 대화 기록을 반복해서 전달해야 하고, 동일한 토큰에 대해 다시 요금을 지불해야 한다. 향후 API 버전에서는 대화 기록을 기억하게 될 것이다.
2024년:
멀티모달성(Multimodality) — GPT-4 출시 당시 일부 데모를 통해 시연되었지만, 더 많은 GPU가 확보되어야 모든 사용자가 이용할 수 있을 정도로 확장 가능하다.
플러그인은 PMF를 달성하지 못했으며, API에 곧바로 도입되긴 어려울 듯
많은 개발자들은 API를 통해 외부에서 ChatGPT 플러그인을 호출하는 것에 관심을 갖고 있지만, Sam은 그러한 기능이 곧 출시되긴 어려울 것이라고 말했다. 현재 플러그인의 사용 현황을 보면 브라우징 기능을 제외하면 다른 사용 사례들은 아직 PMF(Product-Market Fit)에 도달하지 못했다고 판단된다. 사람들은 자신들의 앱이 ChatGPT 내에서 실행되기를 원한다고 생각했지만, 실제로 사람들이 진정 원하는 것은 자신의 앱 안에 ChatGPT 기능을 통합하는 것이라는 것이다.
OpenAI는 고객과의 경쟁을 피할 것이다—단, ChatGPT는 제외
많은 개발자들이 OpenAI의 API를 사용해 앱을 만들었을 때, OpenAI가 자신들과 경쟁하는 제품을 출시할까 걱정하고 있다. 하지만 Sam은 OpenAI는 ChatGPT 외에는 추가로 다른 제품을 출시하지 않을 것이라고 밝혔다. 그는 훌륭한 플랫폼 회사는 하나의 킬러 앱을 가져야 하며, ChatGPT가 바로 그것이라고 설명했다. 이를 통해 OpenAI는 스스로의 제품 사용자로서 API 품질을 향상시킬 수 있다고 말했다. ChatGPT의 비전은 업무에서의 초지능 어시스턴트가 되는 것이지만, OpenAI는 그 외의 다른 GPT 활용 사례에는 개입하지 않을 것이라고 강조했다.
규제가 필요하지만, 오픈소스도 필요하다
Sam은 향후 모델에 대한 규제를 촉구하고 있지만, 현재 존재하는 모델들이 위험하다고 보진 않는다. 현재 모델들에 대한 규제나 금지는 큰 실수라고 생각한다. 그는 오픈소스의 중요성을 재차 강조하며, OpenAI가 GPT-3의 오픈소스화를 고려 중이라고 밝혔다. 아직 오픈소스화하지 않은 이유 중 하나는 대규모 모델을 호스팅하고 제공할 수 있는 개인이나 기업이 얼마나 될지에 대한 회의감 때문이다.
스케일링 법칙(Scaling Laws)은 여전히 유효하다
최근에는 "거대 모델의 시대는 끝났다"는 주장을 담은 많은 글들이 등장했다. 그러나 이것은 원래 의미를 정확히 반영하지 못하고 있다.
OpenAI의 내부 데이터는 모델 성능에 대한 스케일링 법칙이 여전히 유효함을 보여주며, 모델을 더 크게 만들면 계속해서 성능 향상이 이루어진다. 물론 스케일링 속도 자체는 지속되기 어렵다. OpenAI는 짧은 몇 년 사이에 모델 크기를 수백만 배나 늘렸으며, 앞으로도 그런 식으로 계속 확장하는 것은 불가능하다. 그러나 이는 OpenAI가 더 큰 모델을 만들려는 노력을 멈춘다는 의미는 아니다. 다만 매년 두 배에서 네 배 정도씩 증가할 수는 있어도, 수십 또는 수백 배씩 늘리는 일은 없을 것이라는 뜻이다.
스케일링 법칙이 여전히 유효하다는 사실은 AGI 개발 타임라인에 중요한 의미를 갖는다. 스케일링 가설은 우리가 이미 AGI를 구축하는 데 필요한 대부분의 요소를 이미 가지고 있으며, 나머지 대부분의 작업은 기존 방법을 더 큰 모델과 더 큰 데이터셋에 적용하는 것이라는 것을 의미한다. 만약 스케일링의 시대가 끝났다면, 우리는 AGI까지 아주 먼 길을 가야 할 것으로 예상해야 한다. 반면, 스케일링 법칙이 계속 유효하다는 점은 AGI 실현까지 비교적 짧은 시간이 걸릴 가능성이 높음을 강력히 시사한다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
