Open AI도 GPU가 부족해, 비용 절감이 최우선 목표다
저자 | 령즈쥔
편집 | 웨이스제
샘 알트먼(Sam Altman)의 유럽 방문은 여전히 진행 중이다. 얼마 전 런던에서 그는 AI 기업 휴먼루프(HumanLoop)의 CEO와 비공개 대담을 나누었다. HumanLoop는 개발자들이 대규모 언어 모델 위에 애플리케이션을 구축할 수 있도록 돕는 회사다.
휴먼루프의 CEO인 라자 하비브(Raza Habib)는 이번 대화의 핵심 내용을 정리해 자사 홈페이지에 공개했다.하지만 이후 OpenAI의 요청으로 해당 문서는 삭제되었다.이는 외부의 관심을 더욱 증폭시켰다. 누군가는 여기 담긴 OpenAI의 일부 아이디어가 변경되었기 때문일 것이라고 추측했다.
TechFlow는 삭제된 이 대화록을 검토한 결과, 샘 알트먼이 바라보는 OpenAI의 단기 계획뿐 아니라,마이크로소프트 클라우드 컴퓨팅 자원의 막대한 지원을 받는 동시에 OpenAI가 직면한 부담도 함께 드러났음을 발견했다.
결국,모델의 파인튜닝과 추론(inference)은 여전히 막대한 컴퓨팅 자원을 소모한다.
The Information의 보도에 따르면, OpenAI의 모델은 이미 마이크로소프트 애저(Microsoft Azure)에서 12억 달러 상당의 컴퓨팅 자원을 사용했으며,계산 자원을 OpenAI 중심으로 집중하면서 마이크로소프트 내 다른 부서들의 서버 이용이 제한되고 있다.
이에 대해 샘 알트먼은비용 절감이 현재 가장 우선적인 목표라고 밝혔다.
또한 샘은 현재 더 긴 컨텍스트 창을 제공하거나 파인튜닝 API를 제공하는 등의 서비스 역시GPU 자원의 제약을 받고 있음을 언급했다.
이번 대화에서 샘 알트먼은 경쟁과 상용화 등 외부의 여러 관심사에도 응답했다:
-
최근 세계적 수준의 제품 책임자 피터 덩(Peter Deng)을 영입했지만,OpenAI는 더 많은 제품 출시를 고려하지 않을 것이라고 밝혔다;
-
향후 애플리케이션 트렌드는 ChatGPT 위에 플러그인이 추가되는 것이 아니라, 대규모 모델의 기능이 더 많은 앱에 통합되는 방향이며, 현실에서 대부분의 플러그인은 PMF(Product / Market Fit, 제품 시장 적합성)를 달성하지 못하고 있기 때문이라고 설명했다;
-
지난 몇 년간 OpenAI는 모델 규모를 수백만 배 확장해왔지만, 이러한 속도는 지속 불가능하다. 앞으로 OpenAI는 모델 성능 향상을 위해매년 1~3배 정도의 속도로 모델 규모를 늘릴 계획이라고 말했다.
이 대화록은 5월 29일 공개되었으며, 네티즌들의 기록에 따르면 6월 3일경 삭제되었다.다음은 백업을 통해 복구한 내용이다:
OpenAI는 현재 GPU 자원의 심각한 제약을 받고 있다
대화가 길어질수록필요한 컴퓨팅 자원은 지수적으로 증가한다
현재 OpenAI의 GPU 자원은 매우 한정적이며, 이는 많은 단기 계획을 지연시키고 있다. 고객들의 가장 큰 불만은 API의 안정성과 속도다. 샘은 이를 인정하며,주요 원인이 GPU 부족 때문이라고 설명했다.
더 긴 32K 컨텍스트는 아직 더 많은 사람에게 제공되지 못하고 있다.OpenAI는 어텐션(attention) 메커니즘의 O(n^2) 스케일링 문제를 해결하지 못했으며, 따라서 올해 안에 10만~100만 토큰의 컨텍스트 윈도우를 갖는 것은 가능해 보이지만, 그 이상은 연구적 돌파구가 필요하다.
더 긴 32K 컨텍스트는 아직 더 많은 사용자에게 제공되지 않는다.OpenAI는 어텐션 메커니즘의 O(n^2) 스케일링 문제를 극복하지 못했으며, 비록 올해 안에 10만~100만 토큰의 컨텍스트 윈도우를 제공할 가능성이 있어 보이지만, 그 이상은 연구적 돌파구가 필요하다.
참고: O(n^2)는 시퀀스 길이가 증가함에 따라 어텐션 연산에 필요한 컴퓨팅 자원이 지수적으로 증가함을 의미한다. O는 알고리즘의 시간 또는 공간 복잡도의 증가율 상한, 즉 최악의 경우를 나타내며, (n^2)는 복잡도가 입력 크기의 제곱에 비례함을 의미한다.
파인튜닝 API 역시 현재 GPU 가용성의 제약을 받고 있다.아직 어댑터(Adapter)나 LoRa 같은 효율적인 파인튜닝 방법을 도입하지 않아, 파인튜닝을 통한 모델 운영과 관리는 매우 컴퓨팅 집약적이다. 향후 파인튜닝에 대한 지원을 강화할 계획이며, 커뮤니티 기반 모델 기여 마켓플레이스를 운영할 가능성도 있다.
전용 용량 제공도 GPU 가용성에 의해 제한된다. OpenAI는 고객에게 모델의 사설 복제본을 제공하는 전용 용량 서비스를 제공한다. 이 서비스를 이용하려면 고객이 최소 10만 달러를 선불로 지불하겠다는 약속이 필요하다.
OpenAI의 근간 로드맵
2023년: 지능의 비용 감소;2024년: 다중 모달(multimodal)의 제한적 공개.
샘은 OpenAI API의 임시적 단기 로드맵도 공유했다.
2023년:
-
더 저렴하고 빠른 GPT-4—이것이 최우선 과제다. 전반적으로 OpenAI는 '지능의 비용'을 가능한 한 낮추는 것을 목표로 하며, 시간이 지남에 따라 API 비용을 계속 낮추기 위해 노력할 것이다.
-
더 긴 컨텍스트 윈도우—가까운 장래에 컨텍스트 윈도우가 최대 100만 토큰까지 확장될 수 있다.
-
파인튜닝 API—파인튜닝 API는 최신 모델로 확장되겠지만, 구체적 형태는 개발자들이 진정으로 원하는 것이 무엇인지에 따라 결정될 것이다.
-
상태 유지형 API(stateful API)—현재 채팅 API를 호출할 때마다 동일한 대화 기록을 반복해서 전송하고, 동일한 토큰 비용을 반복해서 지불해야 한다. 미래에는 대화 기록을 기억하는 API 버전이 제공될 예정이다.
2024년:
다중 모달(multimodal)—GPT-4의 일부로 시범적으로 공개되겠지만, 더 많은 GPU가 준비되기 전까지는 전면 확장되지 않는다.
상용화에 대한 전망과 고찰:
플러그인은 「PMF가 없다」, 아마도 API에 곧바로 도입되지는 않을 것이다.
많은 개발자들이 API를 통해 ChatGPT 플러그인에 접근하기를 원하지만, 샘은 이런 플러그인이 당분간 출시되지 않을 것이라고 말했다. 브라우징(Browsing) 플러그인을 제외하면, 다른 플러그인들은 아직 PMF(Product/Market Fit)를 달성하지 못한 것으로 보인다.그는 많은 사람들이 자신의 앱이 ChatGPT 내부에 존재하기를 원한다고 생각하지만, 실제로는 ChatGPT가 자신의 앱 안에 존재하기를 원한다는 사실을 지적했다.
ChatGPT 외부에서는OpenAI는 고객과의 경쟁을 피할 것이다
위대한 기업들은핵심 킬러 앱 하나를 갖는다.
많은 개발자들이 OpenAI API를 활용해 제품을 개발하는 데 주저하는 이유는, OpenAI가 궁극적으로 자신들과 경쟁할 제품을 출시할 수 있기 때문이다. 샘은 OpenAI는 ChatGPT 외부에서는 더 이상 제품을 출시하지 않을 것이라고 말했다. 그는 역사적으로 위대한 플랫폼 기업들은 하나의 킬러 앱을 가지고 있으며, ChatGPT가 바로 그것이라고 설명했다. ChatGPT는 개발자들이 스스로의 제품 고객이 되어 API를 개선하도록 허용할 것이다. ChatGPT의 비전은 초지능 작업 보조자가 되는 것이지만, 그 외의 다양한 GPT 활용 사례들에 대해서는 OpenAI가 직접 참여하지 않을 것이라고 밝혔다.
규제가 필요하지만,지금은 아님
「대규모 모델을 보유하고 운영할 수 있는 개인이나 기업이 얼마나 될지 나는 의심스럽다」
샘은 향후 모델에 대한 규제를 촉구하지만, 현재의 모델은 위험하지 않다고 판단하며, 이를 규제하거나 금지하는 것은 큰 오류라고 본다. 그는 다시 한번 오픈소스의 중요성을 강조하며, OpenAI가 GPT-3를 오픈소스로 공개할 가능성을 고려 중이라고 밝혔다.아직 오픈소스화하지 않은 부분적인 이유는, 대규모 언어 모델(LLM)을 보유하고 서비스할 수 있는 개인 및 기업이 얼마나 될지에 대한 의문 때문이라고 말했다.
스케일 법칙은 여전히 유효하다
몇 년간 수백만 배에 달하는 확장 속도는영원히 지속될 수 없다.
최근 들어 "거대 AI 모델의 시대는 끝났다"는 주장이 많이 제기되고 있다. 그러나 이것은 정확하지 않다. (참고: 지난 4월 MIT 행사에서 샘 알트먼은 "우리는 이제 거대 모델 시대의 종말에 거의 다다랐다"고 발언한 바 있다.)
OpenAI의 내부 데이터는,모델 성능에 관한 스케일 법칙이 여전히 유효하며,모델의 크기를 늘리면 성능도 계속 향상된다는 것을 보여준다.
단지 OpenAI가 몇 년 만에 모델을 수백만 배 확장한 것처럼 극단적인 확장 속도는 더 이상 지속될 수 없다.이는 OpenAI가 더 큰 모델을 만들려는 노력을 멈춘다는 의미가 아니라, 매년 모델 규모가 수십 배씩 커지는 것이 아니라, 1~3배 정도씩 커질 것이라는 의미다.
스케일 법칙의 지속은 AGI 개발 일정에 중요한 의미를 갖는다.스케일 법칙이 유효하다는 가정은 우리가 이미 AGI를 구축하는 데 필요한 대부분의 요소를 확보했으며, 남은 작업은 기존 방법을 더 큰 모델과 더 큰 데이터셋에 적용하는 것임을 시사한다. 만약 스케일의 시대가 끝났다면, 우리는 AGI에서 더 멀어질 수 있다. 반면 스케일 법칙이 여전히 유효하다는 사실은, AGI 도달까지의 시간이 더 짧을 가능성을 강하게 암시한다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
极客公园
