심층 연구: 암호화 보상을 통해 AI 모델을 크라우드펀딩하는 것이 가능한가?
저자: Jeff Amico
번역: TechFlow
서론
코로나19 팬데믹 기간 동안, Folding@home은 중요한 이정표를 달성했습니다. 이 연구 프로젝트는 전 세계 약 200만 대의 자원 봉사자 장치로부터 2.4 엑사플롭스(exaFLOPS)의 컴퓨팅 성능을 확보했으며, 이는 당시 세계 최대 슈퍼컴퓨터보다 15배 이상 강력한 처리 능력을 의미했습니다. 이를 통해 과학자들은 코로나바이러스 단백질의 동적 행동을 대규모로시뮬레이션할 수 있었고, 특히 초기 팬데믹 시기에 바이러스와 그 병리 메커니즘에 대한 이해를 심화시켰습니다. 그들의 연구 성과는 이러한 이해를 크게 진전시켰습니다.
Folding@home 사용자의 글로벌 분포, 2021년
Folding@home은 자발적인 계산 참여(volunteer computing)의 오랜 역사를 기반으로 하며, 대규모 문제 해결을 위해 컴퓨팅 리소스를 공동 작업하는 방식입니다. 이 개념은 1990년대 SETI@home에서 널리 알려졌으며, 외계 생명체 탐색을 위해 500만 대 이상의 자원 봉사 컴퓨터를 모았습니다. 이후 이 아이디어는 천체물리학, 분자생물학, 수학, 암호학, 게임 등 다양한 분야로 확장되었습니다. 모든 경우에서 집단의 힘은 개별 프로젝트의 능력을 극대화하여 혼자서는 달성하기 어려운 성과를 만들어내었고, 보다 개방적이고 협업적인 연구를 가능하게 했습니다.
많은 사람들이 이러한 공유 모델을 딥러닝에도 적용할 수 있을지 궁금해합니다. 즉, 대중이 함께 대규모 신경망을 훈련시킬 수 있을까? 선도적인 모델 훈련은 인류 역사상 가장 컴퓨팅 집약적인 작업 중 하나입니다. 다른 @home 프로젝트들과 마찬가지로, 현재 비용은 소수의 대형 참여자들만 감당할 수 있는 수준을 넘어섰습니다. 이는 점점 더 적은 회사들이 새로운 돌파구를 찾게 되면서 향후 발전을 저해할 위험이 있으며, 동시에 소수에게 AI 시스템의 통제권을 집중시키게 됩니다. 당신이 이 기술에 대해 어떤 입장을 취하든, 이것은 우려해야 할 미래입니다.
대부분의 비판자들은 분산 훈련 개념을 현재의 훈련 기술과 호환되지 않는다고 일축합니다. 그러나 이런 견해는 점점 더 낡은 것으로 드러나고 있습니다. 새로운 기술들이 등장하여 노드 간 통신 요구를 줄여, 네트워크 연결이 불안정한 장치에서도 효율적인 훈련이 가능하게 되었습니다. 여기에는 DiLoCo, SWARM Parallelism, lo-fi, 이기종 환경에서의 기초 모델 분산 훈련 등 여러 방법이 포함됩니다. 이들 중 다수는 내결함성을 갖추고 있으며 이기종 컴퓨팅을 지원합니다. 또한 DiPaCo와 분산형 믹스 오브 익스퍼트(Decentralized Mixture of Experts)와 같은 아키텍처는 분산 네트워크를 위해 특별히 설계되었습니다.
또한 다양한 암호화 원시 기술(cryptographic primitives)들이 성숙해지며, 네트워크가 전 세계적으로 리소스를 조율할 수 있게 되었습니다. 이러한 기술들은 디지털 화폐, 국경 간 결제, 예측 시장 등의 애플리케이션을 가능하게 합니다. 초기 자원 봉사 프로젝트들과 달리, 이러한 네트워크들은 종종 예상되는 최대 규모의 클라우드 훈련 클러스터보다 몇 차례 더 큰 컴퓨팅 파워를 결집할 수 있습니다.
이러한 요소들은 새로운 모델 훈련 패러다임을 구성하고 있습니다. 이 패러다임은 연결될 경우 활용 가능한 수많은 엣지 장치를 포함한 글로벌 컴퓨팅 자원을 충분히 활용합니다. 이는 대부분의 훈련 워크로드 비용을 새로운 경쟁 메커니즘을 통해 낮출 것입니다. 또한 협업적이고 모듈화된 형태의 새로운 훈련 방식을 가능하게 하며, 고립되고 단일한 방식 대신 모델 개발을 혁신할 수 있습니다. 모델은 대중으로부터 컴퓨팅 자원과 데이터를 받아 실시간으로 학습할 수 있으며, 개인은 자신이 만든 모델의 일부를 소유할 수 있습니다. 연구자들도 높은 컴퓨팅 예산을 회수하기 위해 자신의 발견을 상품화할 필요 없이, 새로운 연구 성과를 다시 공개적으로 공유할 수 있습니다.
본 보고서는 대규모 모델 훈련의 현황과 관련 비용을 검토합니다. SETI에서 Folding, BOINC에 이르는 과거의 분산 컴퓨팅 노력들을 살펴보고, 대안적 접근법의 영감을 얻고자 합니다. 분산 훈련의 역사적 도전 과제들을 논의하면서, 이러한 문제들을 극복할 수 있는 최신 돌파구들을 소개합니다. 마지막으로 미래의 기회와 과제를 정리합니다.
선도적 모델 훈련의 현황
선두 모델 훈련의 비용은 대형 플레이어가 아닌 사람들에게는 이미 감당할 수 없는 수준에 도달했습니다. 이 추세는 새롭지 않지만, 현실에 따르면 상황은 더욱 악화되고 있으며, 선도 실험실들이 끊임없이확장 가설을 시험하고 있기 때문입니다. 보고에 따르면, OpenAI는 올해 훈련에 30억 달러 이상을 지출할 예정입니다. Anthropic는 2025년까지 100억 달러 규모의 훈련이 시작될 것이며, 1000억 달러 규모의 모델도 멀지 않았다고 예측했습니다.
이러한 추세는 산업의집중화로 이어지고 있으며, 소수의 기업만이 참여 비용을 감당할 수 있기 때문입니다. 이는 핵심적인 정책적 질문을 제기합니다. 선도적인 AI 시스템이 한두 기업에 의해 통제되는 상황을 우리가 받아들일 수 있는가? 또한 이는 작은 실험실들이 확장 실험에 필요한 컴퓨팅 자원을 부담할 수 없기 때문에 연구 커뮤니티 내에서 진행 속도를 제한하고 있습니다. 산업 리더들도 반복해서 이 문제를 언급하고 있습니다:
Meta의 Joe Spisak: [모델] 아키텍처의 능력을 진정으로 이해하려면 규모에서 실험해야 합니다. 저는 이것이 현재 생태계에서 부족한 부분이라고 생각합니다. 학계를 보면, 훌륭한 인재들이 많지만 컴퓨팅 자원 접근성이 부족한 것이 문제입니다. 그들은 위대한 아이디어를 가지고 있지만, 그것을 실제로 구현할 길이 없습니다.
Together의 Max Ryabinin: 고가의 하드웨어 요구 사항은 연구 커뮤니티에 큰 부담을 주고 있습니다. 대부분의 연구자들은 대규모 신경망 개발에 참여할 수 없습니다. 필요한 실험을 수행하는 데 비용이 너무 들기 때문입니다. 우리가 계속해서 모델 크기를 늘리는 방식으로 나아간다면, 결국 누가 경쟁할 수 있을지...
Google의 Francois Chollet: 우리는 대규모 언어 모델(LLMs)이 일반 인공지능(AGI)을 실현하지 못했다는 것을 알고 있습니다. 동시에 AGI를 향한 진전은 정체되어 있습니다. 우리가 LLM에서 직면하는 한계는 5년 전과 동일합니다. 우리는 새로운 아이디어와 돌파구가 필요합니다. 다음의 돌파구는 외부 팀에서 나올 가능성이 크다고 생각합니다. 왜냐하면 모든 대형 실험실들은 더 큰 LLM을 훈련하는 데 바쁘기 때문입니다. 일부 사람들은 하드웨어 개선과 클라우드 컴퓨팅 자본 지출이 이 문제를 해결할 것이라며 이러한 우려를 의심합니다. 그러나 이는 현실적이지 않습니다. 한편으로, 이십 년대 말까지 차세대 Nvidia 칩의 FLOP 수는 오늘날 H100보다 10배 증가할 수 있으며, 이로 인해 FLOP 당 가격은 80~90% 하락할 수 있습니다. 마찬가지로, 이십 년대 말까지 전체 FLOP 공급량은 약 20배 증가하며, 네트워크 및 관련 인프라도 개선될 것으로 예상됩니다. 이 모든 것은 달러당 훈련 효율을 향상시킵니다.
출처: SemiAnalysis AI Cloud TCO 모델
동시에, 실험실들이 더 큰 규모로 확장하려는 욕구로 인해 전체 FLOP 수요도 크게 증가할 것입니다. 지난 10년간의 훈련 컴퓨팅 추세가 유지된다면, 2030년에는 선도적 훈련의 FLOPs가 약 2e29에 도달할 것으로 예상됩니다. 현재의 훈련 실행 시간과 이용률을 기준으로, 이러한 규모의 훈련에는 약 2000만 개의 H100과 동등한 GPU가 필요합니다. 선도적 실험실들이 여전히 여러 개 존재한다면, 전체 필수 FLOPS는 이 숫자의 몇 배가 될 것이며, 공급량은 여러 실험실 사이에 분배될 것입니다. EpochAI는 그 시점에 약 1억 개의 H100과 동등한 GPU가 필요할 것으로 예측하며, 이는 2024년 출하량의 약 50배에 해당합니다. SemiAnalysis 역시 유사한 예측을 하며, 선도적 훈련 수요와 GPU 공급이 해당 기간 동안 거의 동기화되어 성장할 것이라고 봅니다.
여러 이유로 인해 공급 상황은 더욱 긴박해질 수 있습니다. 예를 들어, 제조 병목 현상이 예상된 출하 일정을 지연시키는 경우—이는 흔한 일입니다. 또는 데이터센터를 운영할 만큼 충분한 에너지를 생산하지 못하는 경우. 혹은 이러한 에너지원을 전력망에 연결하는 데 어려움을 겪는 경우. 또는 자본 지출에 대한 점증하는 감사가 결국 산업의 규모를 축소시키는 경우 등이 있습니다. 최선의 경우에도 현재의 방식은 소수의 기업만이 연구를 진전시킬 수 있도록 만들 뿐이며, 그것조차도 충분하지 않을 수 있습니다.
분명히 우리는 새로운 접근법이 필요합니다. 이 접근법은 다음의 돌파구를 찾기 위해 지속적으로 데이터센터, 자본 지출, 에너지 소비를 확장하는 대신, 기존 인프라를 효율적으로 활용하고 수요 변동에 따라 유연하게 확장할 수 있어야 합니다. 이는 더 많은 실험이 가능한 연구 환경을 만들며, 훈련 실행이 더 이상 수억 달러의 컴퓨팅 예산을 회수해야 하는 투자로 간주되지 않게 됩니다. 이러한 제약이 해소되면, 많은 사람들이 일반 인공지능(AGI) 실현을 위해서는 반드시 필요하다고 보는 현재의 대규모 언어 모델(LLM) 패턴을 넘어서게 될 수 있습니다. 이러한 대안적 방식이 어떻게 나타날 수 있는지를 이해하기 위해, 우리는 과거의 분산 컴퓨팅 사례에서 영감을 얻을 수 있습니다.
집단 컴퓨팅: 간략한 역사
SETI@home은 1999년에 이 개념을 대중화시켰으며, 수백만 명의 참여자가 무선 신호를 분석하여 외계 지성을 찾도록 했습니다. SETI는 Arecibo 망원경에서 전자기 데이터를 수집하여 여러 배치로 나누고, 인터넷을 통해 사용자들에게 전송했습니다. 사용자들은 일상 활동 중에 데이터를 분석한 후 결과를 다시 보내주었습니다. 사용자 간의 의사소통은 필요 없었으며, 각 배치는 독립적으로 검토될 수 있어 높은 수준의 병렬 처리가 가능했습니다. 최전성기에는 SETI@home이 500만 명 이상의 참여자를 보유했으며, 처리 능력은 당시 최대 슈퍼컴퓨터를 초과했습니다. 결국 2020년 3월 서비스를 종료했지만, 그 성공은 이후의 자원 봉사 컴퓨팅 운동에 영감을 주었습니다.
Folding@home은 2000년에 이 개념을 이어받아, 알츠하이머병, 암, 파킨슨병 등 질병에서의 단백질 접힘을 시뮬레이션하기 위해 엣지 컴퓨팅을 활용했습니다. 자원봉사자들은 개인용 컴퓨터의 유휴 시간을 이용해 단백질 시뮬레이션을 수행하며, 연구자들이 단백질이 어떻게 잘못 접히고 질병을 유발하는지를 연구하는 데 기여했습니다. 역사상 여러 시기에 걸쳐 Folding@home의 컴퓨팅 능력은 당시 최대 슈퍼컴퓨터를 초과했으며, 특히 2000년대 후반과 코로나 팬데믹 기간에는 최초로 1엑사플롭스를 넘는 분산 컴퓨팅 프로젝트가 되었습니다. 설립 이후 Folding@home 연구팀은 200편 이상의 동료 평가 논문을 발표했으며, 모두 자원봉사자의 컴퓨팅 능력에 의존했습니다.
버클리 오픈 인프라스트럭처(BOINC)는 2002년 이 개념을 대중화시켜, 다양한 연구 프로젝트를 위한 자원 봉사 컴퓨팅 플랫폼을 제공했습니다. SETI@home 및 Folding@home을 포함해 천체물리학, 분자생물학, 수학, 암호학 분야의 새로운 프로젝트들을 지원했습니다. 2024년까지 BOINC는 진행 중인 30개 프로젝트와 약 1,000편의 과학 논문을 목록화하고 있으며, 모두 그들의 컴퓨팅 네트워크를 활용해 생성되었습니다.
연구 분야 외에도 자원 봉사 컴퓨팅은 바둑(LeelaZero, KataGo)과 체스(Stockfish, LeelaChessZero)와 같은 게임 엔진 훈련에 사용되었습니다. LeelaZero는 2017년부터 2021년까지 자원 봉사 컴퓨팅을 통해 훈련되었으며, 천만 판 이상의 자기 대전(self-play)을 통해 오늘날 가장 강력한 바둑 엔진 중 하나를 만들었습니다. 마찬가지로 Stockfish는 2013년부터 자원 봉사 네트워크에서 지속적으로 훈련되어, 가장 인기 있고 강력한 체스 엔진 중 하나가 되었습니다.
딥러닝 적용의 도전 과제
그러나 이러한 모델을 딥러닝에 적용할 수 있을까요? 전 세계의 엣지 장치들을 연결하여 저렴한 공용 훈련 클러스터를 만들 수 있을까요? 애플 노트북에서부터 Nvidia 게임용 그래픽카드에 이르는 소비자 하드웨어는 딥러닝 성능 면에서 점점 더 뛰어난 성능을 보여주고 있습니다. 많은 경우 이러한 장치들의 성능은 데이터센터 그래픽카드보다 달러당 성능이 더 뛰어납니다.
그러나 이러한 자원들을 분산 환경에서 효과적으로 활용하기 위해서는 다양한 도전 과제들을 극복해야 합니다.
첫째, 현재의 분산 훈련 기술은 노드 간의 빈번한 통신을 전제로 하고 있습니다.
현재 최첨단 모델은 너무 커져서 수천 개의 GPU에 걸쳐 훈련을 분할해야 합니다. 이는 여러 가지 병렬화 기술을 통해 이루어지며, 일반적으로 사용 가능한 GPU 간에 모델, 데이터셋, 또는 둘 다를 분할합니다. 이는 높은 대역폭과 낮은 지연 시간의 네트워크를 필요로 하며, 그렇지 않으면 노드들이 데이터 도착을 기다리며 유휴 상태에 머무르게 됩니다.
예를 들어, 분산 데이터 병렬 기술 (DDP)은 데이터셋을 각각의 GPU에 분배하며, 각 GPU는 특정 데이터 조각에서 전체 모델을 훈련하고, 그 후 그래디언트 업데이트를 공유하여 각 단계의 새로운 모델 가중치를 생성합니다. 이는 비교적 제한된 통신 오버헤드를 요구하며, 노드들이 매 역전파 후에 그래디언트 업데이트만 공유하고, 집단 통신 작업이 계산과 부분적으로 중첩될 수 있기 때문입니다. 그러나 각 GPU가 모델 가중치, 활성화 값, 옵티마이저 상태 전체를 메모리에 저장해야 하므로, 이 방법은 작은 모델에만 적용 가능합니다. 예를 들어 GPT-4는 훈련 시 10TB 이상의 메모리가 필요했으며, 반면 단일 H100은 80GB만 제공합니다.
이 문제를 해결하기 위해, 모델을 GPU들 사이에 분할하는 다양한 기술들이 사용됩니다. 예를 들어, 텐서 병렬 기술(tensor parallelism)은 단일 레이어 내에서 개별 가중치를 분할하여 각 GPU가 필요한 연산을 수행하고 출력을 다른 GPU로 전달합니다. 이는 각 GPU의 메모리 요구를 줄이지만, 효율성을 높이기 위해 높은 대역폭과 낮은 지연 시간의 연결이 필요합니다.
파이프라인 병렬 기술(pipeline parallelism)은 모델의 레이어를 각 GPU에 할당하며, 각 GPU는 작업을 수행하고 파이프라인의 다음 GPU와 업데이트를 공유합니다. 텐서 병렬보다 통신량이 적긴 하지만, "버블(bubbles)"(즉, 유휴 시간)이 발생할 수 있으며, 파이프라인 뒤쪽의 GPU가 앞쪽 GPU의 정보를 기다리며 작업을 시작하지 못하는 상황입니다.
이러한 도전 과제를 해결하기 위해 다양한 기술이 개발되었습니다. 예를 들어, ZeRO(Zero Redundancy Optimizer)는 통신 오버헤드를 증가시켜 메모리 사용을 줄이는 메모리 최적화 기술로, 더 큰 모델을 특정 장치에서 훈련할 수 있게 합니다. ZeRO는 모델 파라미터, 그래디언트, 옵티마이저 상태를 GPU들 사이에 분할하여 메모리 요구를 줄이지만, 장치가 분할된 데이터에 접근할 수 있도록 광범위한 통신에 의존합니다. 이는 완전 분할 데이터 병렬(FSDP) 및 DeepSpeed와 같은 인기 기술의 기반이 됩니다.
이러한 기술들은 일반적으로 대규모 모델 훈련에서 결합되어 자원 활용 효율을 극대화하며, 이를 3D 병렬이라고 부릅니다. 이 구성에서는 텐서 병렬이 일반적으로 단일 서버 내에서 가중치를 GPU에 분배하는 데 사용되며, 이는 분할된 각 레이어 간에 많은 통신이 필요하기 때문입니다. 그 후 파이프라인 병렬이 서로 다른 서버들 사이(하지만 데이터센터 내 동일한 섬 내)에서 레이어를 분배하는 데 사용되며, 이는 통신 요구가 적기 때문입니다. 마지막으로 데이터 병렬 또는 FSDP가 서로 다른 서버 섬들 사이에서 데이터셋을 분할하는 데 사용되며, 이는 비동기 업데이트 공유 또는 그래디언트 압축을 통해 더 긴 네트워크 지연을 수용할 수 있습니다. Meta는 아래 다이어그램에서 보듯, 이러한 조합 방법을 사용하여 Llama 3.1을 훈련했습니다.
이러한 방법들은 (더 느리고 변동성이 큰) 소비자용 인터넷 연결을 통해 장치를 의존하는 분산 훈련 네트워크에 핵심적인 도전 과제를 제기합니다. 이러한 환경에서는 통신 비용이 엣지 컴퓨팅의 이점을 금방 초과할 수 있으며, 장치들이 데이터 도착을 기다리며 유휴 상태에 머무르게 됩니다. 간단한 예로, 10억 개의 파라미터를 가진 반정밀도 모델을 DDP로 훈련할 때, 각 GPU는 각 최적화 단계에서 2GB의 데이터를 공유해야 합니다. 전형적인 인터넷 대역폭(예: 초당 1기가비트)을 가정하고, 계산과 통신이 중첩되지 않는다고 하면, 그래디언트 업데이트 전송에 최소 16초가 소요되어 상당한 유휴 시간이 발생합니다. 텐서 병렬처럼 더 많은 통신이 필요한 기술은 물론 더 열악한 성능을 보입니다.
둘째, 현재의 훈련 기술은 내결함성이 부족합니다. 다른 분산 시스템과 마찬가지로, 규모가 커질수록 훈련 클러스터는 고장에 더 취약해집니다. 그러나 이 문제는 현재 기술이 주로 동기식(synchronous)이라는 점에서 훨씬 더 심각합니다. 즉, 수천 개의 GPU 중 단 하나의 GPU라도 고장 나면 전체 훈련이 정지되어 다른 GPU들이 처음부터 다시 시작해야 합니다. 어떤 경우에는 GPU가 완전히 고장 나지 않고도 다양한 이유로 느려져, 수천 개의 다른 GPU 속도를 늦추기도 합니다. 오늘날 클러스터의 규모를 고려하면, 이는 수천만에서 수억 달러의 추가 비용을 의미할 수 있습니다.
Meta는 Llama 훈련 과정에서 이러한 문제들을 상세히 설명했는데, 400회 이상의 예기치 못한 중단을 경험했으며, 평균적으로 하루에 약 8회 중단이 있었습니다. 이러한 중단은 주로 GPU 또는 호스트 하드웨어 고장과 같은 하드웨어 문제로 인한 것이었습니다. 이로 인해 GPU 이용률은 38~43%에 그쳤습니다. OpenAI는 GPT-4 훈련에서 더 나쁜 성과를 보였으며, 32~36%에 그쳤는데, 이 역시 훈련 중 빈번한 오류 때문이었습니다.
다시 말해, 선도 실험실들은 동일한 최신 하드웨어, 네트워크, 전원, 냉각 시스템을 갖춘 완벽하게 최적화된 환경에서 훈련을 수행함에도 불구하고, 여전히 40% 미만의 이용률을 기록하고 있습니다. 이는 주로 하드웨어 고장과 네트워크 문제 때문이며, 엣지 훈련 환경에서는 처리 능력, 대역폭, 지연 시간, 신뢰성 측면에서 장치들이 불균형하기 때문에 문제가 더욱 심각해집니다. 더군다나 분산 네트워크는 다양한 이유로 전체 프로젝트를 방해하거나 특정 작업에서 부정행위를 시도하는 악의적인 행위자들에 취약합니다. 순수 자원 봉사 네트워크인 SETI@home조차도 참여자들 간의 부정행위가 있었던 바 있습니다.
셋째, 선도 모델 훈련은 거대한 규모의 컴퓨팅 능력을 필요로 합니다. SETI와 Folding과 같은 프로젝트들이 인상적인 규모에 도달했지만, 오늘날 선도적 훈련에 필요한 컴퓨팅 능력과 비교하면 훨씬 작습니다. GPT-4는 20,000개의 A100으로 구성된 클러스터에서 훈련되었으며, 반정밀도 기준 최대 처리량은 6.28 엑사플롭스입니다. 이는 Folding@home의 피크 성능보다 3배 이상 큽니다. Llama 405b는 16,000개의 H100으로 훈련되었으며, 최대 처리량은 15.8 엑사플롭스로, Folding의 피크보다 7배 큽니다. 여러 실험실들이 이제 10만 개 이상의 H100 클러스터를 구축하려는 계획을 세우고 있으며, 각 클러스터의 컴퓨팅 능력은 놀라운 99 엑사플롭스에 달할 수 있습니다.
이는 당연한 일입니다. 왜냐하면 @home 프로젝트들은 자원봉사자 중심이기 때문입니다. 기여자들은 자신의 메모리와 프로세서 사이클을 기부하며 관련 비용을 부담합니다. 이는 자연스럽게 상업적 프로젝트와 비교해 규모를 제한합니다.
최근의 진전
이러한 문제들은 분산 훈련 노력에 오랫동안 영향을 미쳤지만, 이제 더 이상 불가능해 보이지는 않습니다. 새로운 훈련 기술들이 등장하여 노드 간 통신 요구를 줄여 인터넷 연결 장치에서도 효율적인 훈련이 가능하게 되었습니다. 이러한 기술들 중 다수는 대규모 모델 훈련을 위해 跨数据中心 효율적 통신 기술을 필요로 하는 대형 실험실에서 나온 것입니다. 또한 내결함성 훈련 방법과 암호화 인센티브 시스템의 진전도 있어, 엣지 환경에서 더 큰 규모의 훈련을 지원할 수 있게 되었습니다.
효율적인 통신 기술
DiLoCo는 구글의 최근 연구로, 장치 간 업데이트된 모델 상태를 전달하기 전에 로컬 최적화를 수행함으로써 통신 오버헤드를 줄입니다. 이 방법은 이전의 연합 학습(federated learning) 연구를 기반으로 하며, 전통적인 동기 훈련과 유사한 성능을 보이면서도 노드 간 통신량을 500배 줄였습니다. 이후 이 방법은 다른 연구자들에 의해 재현되었으며, 10억 개 이상의 파라미터를 가진 더 큰 모델 훈련으로 확장되었습니다. 또한 비동기 훈련으로 확장되어, 노드들이 모든 업데이트를 한 번에 공유하는 대신, 서로 다른 시간에 그래디언트 업데이트를 공유할 수 있게 되었습니다. 이는 처리 능력과 네트워크 속도가 서로 다른 엣지 하드웨어에 더 잘 적응합니다.
다른 데이터 병렬 방법들, 예를 들어 lo-fi와 DisTrO는 통신 비용을 더욱 줄이기 위해 개발되었습니다. Lo-fi는 완전히 로컬 마이크로튜닝(fullly local fine-tuning)을 제안하며, 노드가 독립적으로 훈련하고 최종적으로만 가중치를 전달한다는 의미입니다. 이 방법은 10억 개 이상의 파라미터를 가진 언어 모델을 미세 조정할 때 기준 성능과 유사한 성능을 보이며, 통신 오버헤드를 완전히 제거합니다. 초기 보고서에 따르면, DisTrO는 새로운 유형의 분산 옵티마이저를 채택하여 통신 요구를 4~5자릿수 감소시킬 수 있다고 주장하지만, 이 방법은 아직 확인되지 않았습니다.
새로운 모델 병렬 방법들도 등장하여 더 큰 규모를 가능하게 했습니다. DiPaCo(同样是谷歌)는 모델을 여러 모듈로 나누며, 각 모듈은 특정 작업을 위한 다양한 전문가(experts)를 포함합니다. 그런 다음 훈련 데이터를 '경로(paths)'로 분할하는데, 각 데이터 샘플에 해당하는 전문가 시퀀스입니다. 주어진 분할에 대해 각 작업자는 공유 모듈에 필요한 통신을 제외하고 특정 경로를
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@gensynai
