a16z '문도' 쿠스코 실전 가이드 2: 단독 작전에서 집단 배치로
글: J1N, Techub News
서론: 이포크 원에서 투로
Kuzco는 LLM(대규모 언어 모델) 컴퓨팅 파워를 위한 전용 마이닝 네트워크로, 올해 9월 9일 뉴욕에서 a16z가 출범한 암호화폐 스타트업 액셀러레이터 프로그램(CSX)의 가을기수에 선정되었다. 이 프로그램에 선발된 프로젝트는 최소 50만 달러의 투자금을 받으며 a16z 운영팀의 지도와 지원을 제공받게 된다. 현재 해당 액셀러레이터 프로그램은 종료되었다.
11월 16일, Kuzco는 첫 번째 단계(Epoch One) 인센티브 프로그램이 2024년 11월 18일 종료되며 모든 작업이 일시 중단되고 데이터 스냅샷이 영구 저장되며 최종 포인트 순위가 새로운 리더보드에 공개될 예정이라고 발표했다.
공식적으로 공개된 바에 따르면 Epoch One은 2024년 3월 6일 시작되었으며, 최고 기준 장비 수가 8,000대를 넘었고, 이 네트워크에서는 메타(Meta)가 공개한 8B 사양의 Llama-3 AI 대형 언어 모델이 구동되어 총 1조 개 이상의 토큰을 추론 처리했다.
또한 몇 주 내에 펀딩 정보 및 프로젝트 로드맵을 공개할 예정이며, 두 번째 단계(Epoch Two) 인센티브 프로그램은 12월 9일 시작될 예정이다. Epoch Two에서는 NVIDIA 하드웨어의 더 높은 처리량과 신뢰성, A100 및 H100과 같은 고사양 컴퓨팅 장비 연결 유도, 이미지 생성 및 다중 모달 언어 모델(VLM) 지원 확대 등 새로운 기능들이 도입될 예정이다.
현재 Epoch Two 시작까지 약 2주간의 준비 기간이 남아 있으며, 본 글에서는 다음 내용들을 다룰 것이다:
-
개인 마이닝 실천 경험과 성과, 단일 장비에서 클러스터 구성으로의 전환 과정을 공유한다.
-
리서치와 실천을 통해 펀딩을 유치하고 고사양 머신을 구축하는 전 과정을 소개한다.
-
하드웨어 구성과 프로젝트 요구사항 간의 적합성을 분석하며 투자자들의 일반적인 의문점을 해소한다.
Epoch One 회고: 개인전투
장비 구성
필자의 장비 목록에는 RTX 시리즈 그래픽카드인 2060, 2070S, 3080, 4060, 4060Ti, 4장의 4070S와 애플 M2, M3 장비 2대가 포함된다. 이러한 장비들은 여러 대의 호스트, 노트북 컴퓨터, 그리고 전용 마이너 한 대에 분산 배치되어 있다.
비용
참고로, 이 그래픽카드들은 필자가 매년 게임 용도로 구매한 것으로, 마이닝을 위해 별도로 구입한 것은 아니다. 따라서 비용 산정 시 하드웨어 구매 비용은 제외하고 실제 전기요금만을 통계에 포함하였다. 아래는 필자가 처음 작성한 글 「a16z ‘제자’ Kuzco 실전 가이드: 어떻게 AI 컴퓨팅 파워 마이닝을 효율적으로 수행할 것인가?」에서 조립한 마이너를 예로 든다.
해당 마이너의 사양은 다음과 같다:
-
메인보드: z490 (나중에 산업용 보드로 교체)
-
CPU: 10세대 I9
-
그래픽카드: 2060, 2070s, 3080, 4060ti, 4070s
직접 조립한 마이너
아래는 해당 마이너가 10월과 11월 동안 소비한 전력량으로, 총 564kWh이며, 획득한 포인트(KZO Point)는 약 6억 점이다. 모든 장비를 합산하면 약 11억 점을 획득하였다. 정확한 전기요금은 각자의 지역별 요금에 따라 달라지므로 참고 자료로만 활용하시기 바란다.
그림 가장 오른쪽, 총 10억 포인트 획득
Epoch Two 준비: 클러스터 배치
필자는 첫 번째 글에서 공유했던 내용과 직접 장비 조립, 디버깅, 환경 설정 등을 수행하며 쌓은 풍부한 운영 경험을 바탕으로 일정 부분의 자금 지원을 성공적으로 유치하였으며, 이를 모두 고성능 마이너 조립에 투자하여 컴퓨팅 규모와 운영 효율성을 더욱 향상시키고자 한다.
개인 조립에서 클러스터 배치로
고사양 머신의 구성 및 선택 논리
필자가 Epoch One에서의 실무 경험을 바탕으로 메인보드, CPU, 그래픽카드, 전원공급장치(PSU), 플랫폼, 네트워크 구성 전반을 최적화하여 보다 적합한 하드웨어 조합을 선택하였다. 이는 전체 시스템의 안정성, 보안성, 효율성을 높였을 뿐 아니라, 중고 시장에서의 유통성 또한 고려하여 실제 투자 비용을 효과적으로 낮추고 후속 참여자들에게 더 나은 가성비를 제공할 수 있도록 하였다.
메인보드
필자는 주류 B85 칩셋이 아닌 산업용 메인보드를 선택하였는데, 이는 성능, 안정성, 가성비를 종합적으로 고려했기 때문이다.
성능 측면에서, Kuzco의 Llama-3 모델을 실행하려면 여러 개의 Docker 프로세스를 동시에 구동해야 하며, 이는 상당한 CPU 자원을 소모하므로 높은 CPU 성능이 요구된다. 반면 B85 칩셋이 지원하는 CPU는 이러한 요구를 만족하지 못한다.
또한 산업용 메인보드는 장시간 안정적인 작동, 고온 환경에서도 견딤, 제조사 보증 등의 면에서 우수하며, 중고 시장에서의 유동성 또한 뛰어나 최적의 선택이라 할 수 있다.
그래픽카드
필자는 주력 그래픽카드로 4070S를 선택하였으며, 그 이유는 다음과 같다:
AI 연산 성능의 우위: 30 시리즈 그래픽카드와 비교해 40 시리즈는 게임 성능보다 AI 연산 성능 향상이 훨씬 크다. 그 핵심 원인은 AI 컴퓨팅 능력이 그래픽카드의 CUDA 코어 수에 크게 의존하는데, 40 시리즈는 30 시리즈보다 훨씬 많은 CUDA 코어를 갖추고 있기 때문이다.
에너지 효율성의 우위: 다양한 GPU에 대한 상세 테스트를 통해 토큰 당 평균 전력 소비량을 계산하였다.
-
4060Ti (160W): 0.125 토큰/W
-
3080 (330W): 0.22 토큰/W
-
4090 (450W): 0.26 토큰/W
-
4070S (220W): 0.38 토큰/W
테스트 결과에 따르면 4070S는 성능과 전력 소모 사이의 균형에서 가장 뛰어난 성능을 보였으며, 높은 에너지 효율은 전기요금 절감으로 직결되어 가장 높은 가성비를 제공한다.
중고 시장의 가격과 유동성: 4070S는 중고가급 그래픽카드로서 중고 시장에서 높은 유동성과 유지 가치를 지니고 있어 장비 보유 비용을 추가로 낮출 수 있으며, 이후 하드웨어 업그레이드에도 유연하게 대응할 수 있다.
CPU
앞서 언급했듯이, Kuzco의 Llama-3 모델은 다수의 Docker를 구동해야 하며, 이로 인해 CPU 자원 소모가 매우 크다. 특히 다중 그래픽카드를 사용할 경우 CPU 사용률이 80~90%까지 치솟을 수 있다. 따라서 다중 코어와 다중 스레드 처리 능력이 중요하다. 고성능, 다중 스레드, 안정적인 CPU는 다중 작업을 효과적으로 지원할 뿐 아니라 전체 마이닝 과정의 안정성과 효율성도 보장한다.
13세대 i5가 그래픽카드를 풀로드로 구동 시 70% 이상의 사용률
네트워크 환경
소프트 라우터는 그림 속 큐브 형태의 박스
마이닝에서 네트워크 환경 역시 매우 중요하다. 고사양 그래픽카드를 갖추더라도 네트워크가 최적화되지 않으면 컴퓨팅 파워가 심각하게 저하될 수 있다. 필자의 실측 결과, 네트워크 속도 부족은 컴퓨팅 파워를 최대 30%까지 떨어뜨릴 수 있으며, 저품질 네트워크 노드는 아예 Kuzco 네트워크에 접속하지 못하게 만들 수도 있다. 이 두 가지 문제는 마이닝 입장에서 용납될 수 없다. 이를 해결하기 위해 필자는 소프트 라우터 방식을 채택하였다. 이 방식은 설정이 용이할 뿐 아니라, 설정 완료 후 거의 인간의 개입 없이도 효율적으로 작동하며 이론상 무제한의 장비 연결을 지원할 수 있다. 구체적인 설정 방법은 독자들이 필요에 따라 관련 자료를 참조하기를 권장한다.
전원공급장치(PSU)
클래식한 Great Wall 2000W 핵폭탄 파워서플라이
전원공급장치 선택 시 피크 전력 소모에 주의해야 한다. 이것이 바로 7장의 4070S가 정격 소비전력 1540W임에도 불구하고 필자가 두 개의 2000W PSU(총 4000W)를 선택한 이유이다. 이는 자원 낭비가 아니라 장비의 안정성과 안전성을 고려한 결정이다.
그래픽카드는 작동 중 순간적으로 정격 소비전력의 1.5배 이상의 피크 전력을 소모할 수 있으며, 이후 다시 정상 수준으로 돌아간다. 만약 전원공급장치의 출력이 이러한 피크를 감당하지 못하면 강제 정지 또는 그래픽카드 손상이 발생할 수 있으며, 이는 마이너의 정상 작동에 치명적인 위협이 된다.
4070S 작동 전력 소모 특성
예를 들어 4070S는 정격 소비전력이 220W이지만 피크 소비전력은 400W를 초과할 수 있다. 7장의 그래픽카드가 동시에 피크를 형성할 경우 총 소비전력은 3000W를 넘을 수 있으므로, 두 개의 2000W PSU를 설치하여 시스템 안정성을 확보한 것이다. 특히 4090을 다수 장착하는 사용자라면 더욱 주의해야 한다. 단일 4090의 정격 소비전력은 450W이나 피크 소비전력은 최대 770W까지 치솟을 수 있으며, 다중 장착 시 두 개의 PSU로도 부족할 수 있어 일반적으로 세 개의 PSU가 필요하다.
4090 작동 전력 소모 특성
추가 설명
BIOS 설정, 하드웨어 호환성, 원격 관리 등에 대해서는 여기서 깊이 다루지 않겠다. 인터넷에 이미 이러한 내용에 관한 방대한 무료 튜토리얼이 존재하므로, 해당 자료를 참고하여 문제 대부분을 해결할 수 있다. 자신의 하드웨어 구성과 요구사항에 맞춰 필요한 정보를 검색하고 적용하는 것이 가장 간단하고 효율적인 방법이다.
리스크와 수익
여러분이 가장 궁금해하는 질문에 답하자: 하루에 얼마를 벌 수 있나요? 솔직히 말해 명확한 답은 없다. 왜냐하면 리스크와 수익은 언제나 함께 존재하기 때문이다. 확실한 관점 하나를 공유하겠다. 암호화폐 시장이든 전통 산업이든, 어떤 프로젝트라도 하루 수익을 정확히 계산할 수 있다고 주장한다면, 당신이 그 프로젝트에 들어섰을 때는 이미 큰 돈을 벌 기회를 놓친 상태일 가능성이 높다. 극저렴한 전기요금이나 매우 저렴한 마이닝 장비처럼 특정 독점적 자원을 보유한 경우를 제외하고는 말이다. 그러나 그러한 자원은 누구에게나 있는 것이 아니다.
필자가 유동성이 좋은 장비를 선택한 것도 바로 투자 리스크와 비용 부담을 줄이기 위해서다. Kuzco 마이닝의 경우 비용은 주로 하드웨어 감가상각과 전기요금에 집중되므로, 최대 손실액도 이 고정 비용에 국한된다. 저비용 조건에서 참여하지 않는다면 어떤 투자 결정도 의미를 잃는다. 중요한 점은, 선두 마이닝(early mining)이라는 특성상 명확한 수익 예측이 불가능하지만, 바로 그 점이 선두 마이닝의 잠재력을 의미한다는 것이다.
주관적인 판단으로 이 분야는 거대한 시장 전망을 지닌다. 우선 Kuzco는 a16z의 투자를 받았으며, LLM 대형 언어 모델에 대한 수요는 급속도로 확대되고 있다. 생각해보라, 지금 누가 LLM을 사용하지 않을까? OpenAI의 ChatGPT, 메타의 Llama, 머스크의 XAI 등 플랫폼마다 거액의 펀딩을 반복하고 있는데, 이는 이 산업의 성장 가능성을 명확히 보여준다.
일반인 입장에서 AI 산업에 직접 참여하는 것은 쉽지 않다. 먼저 AI 기술 진입 장벽이 높으며, AI 모델 학습에는 막대한 자원과 자금이 필요하므로 대부분의 사람들이 감당하기 어렵다. 하지만 Kuzco를 통해 AI 컴퓨팅 네트워크에 참여하면, 일반인이 비용을 통제 가능한 수준에서 이 고성장 분야에 쉽게 접근할 수 있으며, AI 컴퓨팅에 기여하면서 수익도 얻을 수 있다.
또한 비트코인 가격은 현재 10만 달러 돌파를 눈앞에 두고 있으며, 2022년 1.6만 달러에서 현재 고점까지 상승한 만큼, 큰 조정 리스크도 존재한다. 만약 직접 AI 프로젝트 토큰을 매수한다면 유사한 고변동성 리스크에 직면하게 될 것이다. 반면 AI 컴퓨팅 네트워크에 참여하는 것은 보다 안정적인 선택이다. 비용이 명확하고 통제 가능하며, 상대적으로 낮은 리스크로 AI 산업의 고속 성장 궤도에 진입할 수 있다. 이는 현재 환경에서 일반인이 AI 분야에 실제로 접근할 수 있는 현실적인 방법 중 하나라고 할 수 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@News_Techub
