실리콘에서 지능까지: 인공지능 훈련 및 추론 기술 스택 심층 분석
글: IOSG Ventures
인공지능(AI)의 빠른 발전은 복잡한 인프라에 기반하고 있다. AI 기술 스택은 하드웨어와 소프트웨어로 구성된 계층 구조이며, 현재 AI 혁명의 핵심 기반이다. 본 글에서는 이 기술 스택의 주요 계층을 심층적으로 분석하고 각 계층이 AI 개발 및 적용에 어떻게 기여하는지를 설명한다. 마지막으로 이러한 기본 지식을 이해하는 것이 왜 중요한지 살펴보며, 특히 DePIN(탈중앙화 물리 인프라) 프로젝트와 같은 암호화폐와 AI가 교차하는 영역에서의 기회를 평가할 때 그 중요성을 강조한다.
1. 하드웨어 계층: 실리콘 기반
가장 바닥에는 인공지능에 물리적인 연산 능력을 제공하는 하드웨어 계층이 있다.
-
CPU(중앙처리장치): 계산의 기본 처리기로 순차적 작업 처리에 능숙하며, 데이터 전처리, 소규모 AI 작업, 다른 구성 요소들의 조정 등 일반 컴퓨팅에 필수적이다.
-
GPU(그래픽처리장치): 원래 그래픽 렌더링을 위해 설계되었지만, 수많은 단순 계산을 동시에 수행할 수 있는 능력 덕분에 AI의 핵심 요소가 되었다. 이 병렬 처리 능력은 딥러닝 모델 훈련에 매우 적합하며, GPU의 발전 없이는 오늘날의 GPT 모델들은 실현될 수 없었을 것이다.
-
AI 가속기: AI 워크로드를 위해 특별히 설계된 칩으로, 일반적인 AI 연산에 최적화되어 훈련 및 추론 작업에서 고성능과 고효율을 제공한다.
-
FPGA(프로그래머블 게이트 어레이): 재프로그래밍이 가능한 특성으로 유연성을 제공하며, 특정 AI 작업에 맞게 최적화할 수 있어 낮은 지연 시간이 요구되는 추론 시나리오에서 특히 유용하다.
2. 저수준 소프트웨어: 미들웨어
AI 기술 스택에서 이 계층은 고급 AI 프레임워크와 하위 하드웨어 사이를 연결하는 다리 역할을 하므로 매우 중요하다. CUDA, ROCm, OneAPI, SNPE 등의 기술은 고급 프레임워크와 특정 하드웨어 아키텍처 간의 연결을 강화하여 성능 최적화를 가능하게 한다.
NVIDIA의 독점 소프트웨어 레이어인 CUDA는 회사가 AI 하드웨어 시장에서 부상한 기반이 되었다. NVIDIA의 리더십은 하드웨어 우위뿐만 아니라, 소프트웨어 및 생태계 통합이 만들어낸 강력한 네트워크 효과를 반영한다.
CUDA가 큰 영향력을 갖는 이유는 AI 기술 스택에 깊이 통합되어 있으며, 이 분야의 사실상 표준이 된 일련의 최적화 라이브러리를 제공하기 때문이다. 이 소프트웨어 생태계는 강력한 네트워크 효과를 형성하는데, CUDA에 능숙한 AI 연구자들과 개발자들이 학계와 산업계에서 훈련 과정 중 이를 사용함으로써 확산된다.
이러한 선순환은 CUDA 기반의 도구와 라이브러리 생태계가 AI 실무자들에게 점점 더 없어서는 안 될 존재가 되면서, NVIDIA의 시장 리더십을 더욱 강화한다.
하드웨어와 소프트웨어의 이 같은 공생 관계는 NVIDIA가 AI 컴퓨팅의 최전선에서 입지를 굳히는 동시에, 보통 상품화된 경쟁이 치열한 하드웨어 시장에서 보기 드문 높은 가격 결정 능력을 부여한다.
CUDA의 지배적 위치와 경쟁자들의 비교적 묵묵부답인 상황은 진입 장벽을 크게 만드는 여러 요인들 때문인데, NVIDIA가 GPU 가속 컴퓨팅 분야에서 선점한 이점 덕분에 경쟁자들이 자리를 잡기 전에 강력한 생태계를 구축할 수 있었다. AMD나 Intel과 같은 경쟁자들도 훌륭한 하드웨어를 보유하고 있지만, 그들의 소프트웨어 계층은 필요한 라이브러리와 도구가 부족하며 기존 기술 스택과의 원활한 통합이 어렵기 때문에 NVIDIA/CUDA와의 격차가 발생한다.
3. 컴파일러: 번역기
TVM(텐서 가상 머신), MLIR(멀티레벨 중간 표현), PlaidML은 다양한 하드웨어 아키텍처에서 AI 워크로드를 최적화하는 문제에 대해 서로 다른 해결책을 제시한다.
워싱턴 대학의 연구에서 비롯된 TVM은 고성능 GPU부터 자원이 제한된 엣지 디바이스까지 다양한 장치에서 딥러닝 모델을 최적화할 수 있는 능력으로 빠르게 주목받았다. 특히 추론 시나리오에서 두드러지는 장점은 하위 공급업체와 하드웨어의 차이를 완전히 추상화하여, NVIDIA 장치뿐 아니라 AMD, Intel 등 다양한 하드웨어에서 추론 워크로드를 원활하게 실행할 수 있게 한다는 점이다.
그러나 추론을 넘어선 훈련 영역에서는 상황이 더욱 복잡해진다. AI 훈련에서 하드웨어 간 호환이 가능한 컴퓨팅이라는 궁극적 목표는 여전히 해결되지 않았다. 하지만 이 방면에서는 주목할 만한 몇 가지 시도가 있다.
Google의 MLIR 프로젝트는 보다 근본적인 접근 방식을 취한다. 여러 추상화 수준에 걸쳐 통합된 중간 표현을 제공함으로써, 추론과 훈련 모두를 위한 전체 컴파일러 인프라를 간소화하려는 목적을 가지고 있다.
현재 Intel이 주도하는 PlaidML은 이 경주에서의 다크호스로 자리매김하고 있다. 전통적인 AI 가속기 외의 아키텍처를 포함한 다양한 하드웨어 아키텍처에서의 이식성에 집중하며, AI 워크로드가 모든 종류의 컴퓨팅 플랫폼에서 원활하게 작동하는 미래를 전망한다.
만약 이러한 컴파일러 중 하나라도 기술 스택에 잘 통합되어 모델 성능에 영향을 주지 않으며 개발자의 추가 수정 없이 작동한다면, 이는 CUDA의 방어막에 큰 위협이 될 수 있다. 그러나 현재로서는 MLIR와 PlaidML이 아직 충분히 성숙하지 못했으며 AI 기술 스택에 잘 통합되지 못하고 있어, CUDA의 리더십에 명백한 위협이 되지는 않는다.
4. 분산 컴퓨팅: 조정자
Ray와 Horovod는 대규모 AI 응용에서 확장 가능한 처리라는 핵심 요구사항을 해결하는 두 가지 다른 분산 컴퓨팅 접근 방식을 대표한다.
UC 버클리 RISELab에서 개발된 Ray는 범용 분산 컴퓨팅 프레임워크이다. 유연성이 뛰어나 머신러닝 외에도 다양한 유형의 워크로드를 분산할 수 있다. Ray의 액터 기반 모델은 Python 코드의 병렬화를 크게 단순화하여 강화학습 및 복잡하고 다양한 워크플로우가 필요한 기타 AI 작업에 특히 적합하다.
원래 Uber에서 설계된 Horovod는 딥러닝의 분산 구현에 초점을 맞춘다. 여러 GPU와 서버 노드에서 딥러닝 훈련 과정을 확장하는 간결하고 효율적인 솔루션을 제공한다. Horovod의 강점은 사용 편의성과 신경망의 데이터 병렬 훈련 최적화에 있으며, TensorFlow, PyTorch 등의 주요 딥러닝 프레임워크와 완벽하게 통합되어 개발자가 기존 훈련 코드를 대량의 수정 없이 쉽게 확장할 수 있도록 한다.
5. 결론: 암호화폐 관점에서
분산 컴퓨팅 시스템을 구축하려는 DePIN 프로젝트에게는 기존 AI 스택과의 통합이 무엇보다 중요하다. 이러한 통합은 현재의 AI 워크플로우와 도구와의 호환성을 보장하여 채택 장벽을 낮춘다.
암호화폐 분야에서 현재의 GPU 네트워크는 본질적으로 탈중앙화된 GPU 임대 플랫폼으로, 보다 복잡한 분산형 AI 인프라로 나아가는 초기 단계라고 할 수 있다. 이러한 플랫폼은 분산형 클라우드보다는 에어비앤비식 시장에 가깝다. 일부 애플리케이션에는 유용할 수 있지만, 대규모 AI 개발을 추진하는 데 핵심적인 요구인 진정한 분산 훈련을 지원하기엔 아직 부족하다.
Ray와 Horovod와 같은 현행 분산 컴퓨팅 표준은 전 세계적으로 분산된 네트워크를 위해 설계된 것이 아니며, 실제로 작동하는 탈중앙화 네트워크를 위해서는 이 계층에서 또 다른 프레임워크를 개발해야 한다. 일부 회의론자들은 트랜스포머 모델이 학습 과정에서 밀집한 통신과 전역 함수 최적화가 필요하기 때문에 분산 훈련 방법과는 불호환하다고 주장하기도 한다. 반면 낙관론자들은 전 세계에 분산된 하드웨어와 잘 작동할 수 있는 새로운 분산 컴퓨팅 프레임워크를 제안하려는 노력을 하고 있다. Yotta는 이러한 문제를 해결하려는 스타트업 중 하나이다.
NeuroMesh는 한 발 더 나아간다. 머신러닝 프로세스를 특별히 혁신적인 방식으로 재설계하는데, 전체 손실 함수의 최적해를 직접 찾는 대신 예측 코딩 네트워크(PCN)를 사용해 지역 오차 최소화를 통해 수렴을 찾음으로써, 분산형 AI 훈련의 근본적 병목 현상을 해결한다.
이 접근법은 전례 없는 수준의 병렬화를 가능하게 할 뿐 아니라 RTX 4090과 같은 소비자용 GPU에서도 모델 훈련이 가능하게 하여 AI 훈련의 민주화를 이루고 있다. 구체적으로, 4090 GPU의 연산 능력은 H100과 유사하지만 대역폭 부족으로 인해 모델 훈련 과정에서 충분히 활용되지 못했다. PCN은 대역폭의 중요성을 줄이기 때문에 이러한 저가형 GPU를 활용할 수 있게 되어, 상당한 비용 절감과 효율성 향상을 가져올 수 있다.
GenSyn은 또 다른 야심 찬 암호화 기반 AI 스타트업으로, 일련의 컴파일러 구축을 목표로 한다. GenSyn의 컴파일러는 어떤 유형의 컴퓨팅 하드웨어라도 AI 워크로드에 무리 없이 사용할 수 있게 해준다. 비유하자면 TVM이 추론에 하는 역할처럼, GenSyn은 모델 훈련을 위한 유사한 도구를 만들려는 것이다.
성공한다면 다양한 하드웨어를 효율적으로 활용해 더 복잡하고 다양한 AI 작업을 처리할 수 있는 탈중앙화 AI 컴퓨팅 네트워크의 능력을 크게 확장할 수 있다. 이처럼 야심 찬 비전은 다양한 하드웨어 아키텍처에서 최적화하는 복잡성과 높은 기술적 위험으로 인해 도전적이지만, 만약 이 비전을 실행에 옮기고 이질적인 시스템의 성능 유지와 같은 장애물을 극복한다면, 이러한 기술은 CUDA와 NVIDIA의 방어막을 약화시킬 수도 있다.
추론 관련해서는 Hyperbolic의 접근법이 검증 가능한 추론과 이종 컴퓨팅 자원의 탈중앙화 네트워크를 결합함으로써 비교적 실용적인 전략을 보여준다. TVM과 같은 컴파일러 표준을 활용함으로써 Hyperbolic은 다양한 하드웨어 구성에서 성능과 신뢰성을 유지하면서 광범위한 칩(AMD, Intel 포함 NVIDIA에서부터 소비자용 하드웨어 및 고성능 하드웨어까지)을 집계할 수 있다.
이러한 암호화와 AI의 교차 분야에서의 발전은 AI 컴퓨팅이 더 분산되고, 효율적이며, 접근 가능한 미래를 예고한다. 이러한 프로젝트들의 성공은 단순히 기술적 우위에만 의존하지 않으며, 기존 AI 워크플로우와의 원활한 통합 능력과 AI 실무자 및 기업의 실제 관심사들을 해결하는 능력에도 달려 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
IOSG Ventures
