ChatGPT에서 AI 대규모 모델의 사설 배포까지, 기업의 기술적 구원투수는 과연 누구인가?
메타는 최근 GPT-3.5와 견줄 수 있는 무료 오픈소스 상용 자연어 대규모 모델 LLaMa2를 출시했다. 메타는 LLaMa2의 무료 오픈소스 상용화를 발표한 것 외에도 LLaMa2에 관한 일부 관련 데이터를 공개했다. 파라미터 버전 측면에서 LLaMa2는 70억, 130억, 700억 파라미터 등 세 가지 다른 버전을 제공한다.
LLaMa2와 같은 대규모 언어 모델이 점점 더 많은 생산 분야를 혁신함에 따라 기업들이 어떻게 대규모 모델을 활용하고 AI를 사설화 배치할 것인지가 점점 더 뜨거운 화두가 되고 있다. 최근에는 자금력이 비교적 강한 국영기업과 업계 고객들이 업종별 전문 데이터를 기반으로 한 전용 대규모 모델을 구축할 수 있도록 지원하는 사설화 대규모 모델 솔루션을 찾고 있으며, 이는 대규모 모델의 상용화 방식 중 또 하나의 방법으로 상당한 시장 잠재력을 지니고 있다.
현재 많은 기업들이 AI 대규모 모델의 사설화 배치를 준비하고 있다. 예를 들어 Contextual AI는 기업의 사설화 배치를 위한 증강 생성(RAG) 기술 연구를 진행 중이며, Cohere는 고객의 요구에 따라 모델을 트레이닝하고 있고, Reka사는 모델 정제 기술을 통해 업계를 선도하는 사설화 코드 역량 플랫폼을 제공하며 기업의 개발 효율성을 크게 향상시키고 있다. R3PO는 이번에 이 분야를 심층 분석하여 AI 대규모 모델의 사설화 배치 현황과 성장 가능성을 소개한다.
1. 기업의 디지털 미래는 AI 대규모 모델의 사설화 배치 없이는 불가능하다
많은 대형 전통 기업들은 데이터 보안 등의 이유로 공용 클라우드 AI 서비스를 사용할 수 없다. 그러나 이러한 기업들의 AI 기초 역량은 상대적으로 취약하며, 기술 및 인재 축적도 부족한 상태다. 하지만 지능형 업그레이드는 기업의 필수적이며, 때로는 절박한 요구이기도 하다. 이런 상황에서 AI 기술 회사가 기업 내부에 AI 중앙 플랫폼(Middle Platform)을 사설화 배치하는 것은 경제적이고 효율적인 전략이다.
최근 텐센트 탕도성은 한 연설에서 "범용 대규모 모델은 100개의 시나리오 중 70~80% 문제를 해결할 수 있지만, 특정 기업의 구체적인 시나리오 요구를 완전히 충족시키지는 못할 수 있다"고 지적했다. 범용 대규모 모델은 일반적으로 광범위한 공개 문헌과 웹 정보를 기반으로 학습하기 때문에 많은 전문 지식과 산업 데이터가 부족하여 산업 특화성과 정확도 면에서 한계가 있다. 반면 사용자들은 기업이 제공하는 전문 서비스에 대해 높은 수준을 요구하며 오류 허용 범위는 낮다. 기업이 잘못된 정보를 공개하면 심각한 결과를 초래할 수 있다. 따라서 산업별 대규모 모델을 기반으로 자체 데이터를 결합해 미세 조정함으로써 기업은 고도로 활용 가능한 지능형 서비스를 구축할 수 있다. 또한 범용 모델보다 전용 모델은 파라미터가 적어 훈련 및 추론 비용이 낮고, 모델 최적화도 용이하다.
또한 산업별 대규모 모델과 모델 개발 도구는 사설화 배치, 권한 관리, 데이터 암호화 등을 통해 기업의 민감한 데이터 유출을 방지할 수 있다. 게다가 대규모 모델을 실제 시나리오에 적용하려면 알고리즘 설계와 모델 배포 등 일련의 과정을 거쳐야 하며, 각 단계에서 실수가 있어서는 안 된다. 모델은 지속적으로 반복되고 조정되어야 하며, 이를 위해서는 체계적이고 공학적인 도구가 필요하다.
2. AI 대규모 모델의 사설화 배치는 과연 어떤 의미가 있나?
최근 대규모 모델 맞춤형 처리 서비스를 제공하는 Reka사는 5800만 달러 규모의 펀딩을 유치하며, 기업용 사설화 AI 모델 시장이 점차 확대되고 있음을 보여주고 있다.
GPT-4와 같은 대규모 언어 모델은 이미 텍스트 분석 및 생성 능력이 매우 뛰어나지만, 그 훈련 비용은 막대하며 수직적 분야에서의 학습이 어렵기 때문에 현재로서는 브랜드 스타일에 따라 광고 카피를 작성하는 등의 특정 작업을 수행하기 어렵다. 이런 점에서 그들의 '범용성'은 오히려 부담이 된다.
기업의 수직적 분야 응용과 AI 통합의 어려움을 해결하기 위해 기업용 사설화 배치 솔루션이 최선의 선택이 되고 있다. 기업용 AI 사설화 배치란 AI 기술을 공용 클라우드 플랫폼에서 기업이 소유한 사설 인프라로 옮기는 과정을 말한다. 이 방식은 기업이 더 높은 수준의 데이터 보안과 개인정보 보호를 확보할 수 있을 뿐 아니라 AI 응용 프로그램을 더욱 효과적으로 제어하고 맞춤화할 수 있게 한다. 기업용 AI 사설화 배치는 일반적으로 내부 AI 인프라 구축, 데이터 저장 및 처리 능력 확보, AI 전문 인력의 관리 및 운영 등을 포함한다.
Reka사는 기업용 AI 사설화 배치의 필요성과 의의에 대해 다음과 같은 다섯 가지 측면에서 설명했다:
1. 데이터 프라이버시 및 보안 강화
기업 내부에 AI 시스템을 배치함으로써 민감한 데이터가 기업의 보안 경계를 벗어날 필요가 없어지므로 데이터 유출 및 보안 취약점 위험이 줄어든다. 이는 민감한 정보를 포함하는 작업을 처리하는 기업에 더 높은 신뢰성과 보호를 제공한다.
2. 맞춤화 및 유연성 향상
기업용 AI 사설화 배치는 조직이 자체 요구에 따라 AI 애플리케이션을 맞춤화할 수 있도록 해준다. 이러한 맞춤화 능력을 통해 기업은 특정 비즈니스 시나리오에 더 잘 적응하고 필요에 따라 유연하게 조정 및 확장할 수 있다.
3. 고성능 및 저지연
AI 시스템을 기업 내부 인프라에 배치하면 더 빠른 데이터 전송 및 처리 속도를 실현할 수 있다. 실시간 의사결정과 신속한 대응이 필요한 비즈니스에서는 매우 중요하며, 전체 효율성과 경쟁력을 높인다.
4. 비용 효율성 증가
기업용 AI 사설화 배치는 초기 투자가 필요하지만 장기적으로 보면 긍정적인 비용 효과를 가져올 수 있다. 장기간 공용 클라우드 플랫폼에 의존하는 것과 비교해 운영 비용을 절감할 수 있으며, 예산을 더 잘 통제하고 계획할 수 있다.
5. 데이터 거버넌스 및 규정 준수
기업용 AI 사설화 배치는 기업이 데이터 거버넌스를 더 잘 관리하고 통제할 수 있게 하며, 규제 및 규정 준수 요건을 충족시킨다. 개인정보 보호 및 데이터 사용 규정 준수와 관련된 산업 분야에서는 특히 중요하다.
3. 개인화된 맞춤화와 최적화: Reka의 모델 정제 기술이 기업 추천 모델에 큰 가능성을 열다
딥마인드, 구글, 바이두, 메타 출신의 연구원들이 설립한 Reka사는 현재 DST Global Partners와 Radical Ventures가 리드 투자했으며, 전략적 파트너인 Snowflake Ventures와 GitHub 전 CEO 네이트 프리드먼을 포함한 투자자들도 이번 펀딩에 참여했다.
Reka사는 현재 첫 번째 상용 제품 Yasa를 개발했다. 원래 목표를 완전히 달성하지는 못했지만, 맞춤형 모델 분야에서 어느 정도 돌파구를 마련했다. 요가타마는 Yasa가 단어와 어구뿐 아니라 이미지, 영상, 표 형식 데이터까지 이해할 수 있는 멀티모달 AI 어시스턴트라고 밝혔다. 또한 기본적인 아이디어 생성과 질문 답변뿐 아니라 기업 내부 데이터에 대한 자체적인 통찰도 제공할 수 있다고 말했다.
GPT-4 등의 모델과 달리 Yasa는 독점 데이터와 애플리케이션에 쉽게 맞춤화될 수 있다. 텍스트 외에도 Yasa는 멀티모달 인공지능 '어시스턴트'로, 단어와 어구뿐 아니라 이미지, 영상, 표 형식 데이터도 이해할 수 있도록 훈련되었다. 요가타마는 이를 통해 아이디어 생성, 기본 질문 답변뿐 아니라 기업 내부 데이터로부터 인사이트를 얻는 데 사용할 수 있다고 말했다.
Reka사의 다음 단계 계획은 더 다양한 유형의 데이터를 수용하고 생성하며 지속적으로 자기 진화하는 인공지능에 집중하는 것이며, 재학습 없이 최신 상태를 유지하는 것이다. 이를 위해 Reka사는 고객이 자체 인프라 또는 Reka API를 통해 맞춤화된 모델을 실행할 수 있도록 하는 서비스도 제공하고 있다. 이는 애플리케이션 및 프로젝트 제약 조건에 따라 달라진다.
4. AI 대규모 모델 사설화 배치 시장, 호조세 지속
맞춤형 기업용 AI 배치 기술은 자원 효율성, 실시간 성능, 개인화, 해석 가능성 등의 장점을 통해 대규모 추천 모델에 더 높은 효율성과 유연성을 제공하며, 추천 시스템의 성능과 사용자 경험을 향상시킨다.
요약하자면, 많은 기업들이 맞춤형 AI 모델 개발의 길을 걷고 있으며, 이로 인해 각 기업은 모델을 처음부터 구축할 필요 없이 모두 AI 기업이 될 기회를 갖게 되었다. 명백히 이러한 추세가 발전함에 따라 기업용 사설화 AI 모델 시장 규모는 계속해서 커질 수밖에 없다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
R3PO
