테드 윈 | 2021년 블록체인 인프라는 어떻게 될 것인가
2021년 9월 4일, BeWater DevCon 2021 글로벌 개발자 컨퍼런스에서 Avalanche 설립자이자 수석 프로토콜 아키텍트인 Ted Yin이 Facebook의 Libra/Diem 프로젝트 합의 알고리즘 HotStuff 논문의 저자로서, 태평양을 건너 화상으로 연결되어 'Avalanche의 실천과 사고'를 주제로 발표했습니다.
이번 심도 있고 체계적인 발표는 참석자 전원의 깊은 사색을 자극하였으며, 핵심 포인트는 다음과 같습니다:
1. 2021년의 블록체인 인프라는 무엇인가?
2. 이전 두 세대 블록체인 프로토콜의 진화
3. 제3세대 블록체인: Snow/Avalanche(스노우/아발란치) 프로토콜
· 블록체인 성능은 처리량만으로 평가할 수 없으며, '처리량 + 지연 시간'이 전체 성능을 판단해야 한다.
· 과도하게 과장된 '샤딩(sharding)' 개념은 실제 응용과 관련 있으나, 해결책은 아니다.
· 우리는 전파 네트워크 자체를 합의 방식으로 활용할 수 있다!
4. 메타 플랫폼과 서브넷 설계
전체 7011자, 소요 시간 12분
1. 2021년의 블록체인 인프라는 무엇인가?
안녕하세요! 저는 상하이교통대학교 출신으로, Avalanche 공동 설립자이자 수석 프로토콜 아키텍트입니다.
다음 슬라이드는 2020년에 한 번 사용한 적 있는데, 여러분이 제가 대충 한다고 하시겠지만 사실 그렇지 않습니다. 오히려 몇 가지 요소는 변하지 않는다는 것을 알 수 있습니다. 연구에서부터 작년 메인넷 출시까지, 저는 학술적 관점에서 비교적 일찍부터 매년 새로운 프로젝트들이 등장하지만 실제 인프라의 기술적 진화 속도는 생각보다 느리다는 점을 깨달았습니다. 이는 의외일 수 있으며, 본질적으로 다른 기술이 그리 많지 않습니다.
그렇다면 블록체인 인프라란 무엇을 의미하는가?
현재 모든 요소—샤딩, 확장성, DAG, 스마트 계약 등—을 모두 결합하여 하나의 '궁극의 패치워크'를 만들면 아래와 같은 그림이 됩니다.
여기에는 단 하나의 진정한 체인이 아니라 여러 체인이 하위 시스템으로 존재합니다.
예를 들어, 선형 체인이 장부 역할을 하며, 선형 순서를 갖게 되면 계산 및 작업을 로그 또는 원장 위에 인코딩할 수 있어 dApp이나 표준 스마트 계약(예: 이더리움의 dApp 및 스마트 계약)을 구현할 수 있습니다. 이더리움의 동작은 일련의 연속적인 작업으로 이루어집니다.
또한 방향성이 없는 비순환 그래프(DAG)를 사용하는 체인도 있습니다. 일부 시스템에서 DAG는 유용한 최적화 수단이며, 순서와 무관한 작업들을 병렬로 실행할 수 있게 해줍니다. 예를 들어 A가 B에게 돈을 보내고, 또 C에게 돈을 보낼 때, A의 잔액이 충분하다면 B와 C 중 누구에게 먼저 보냈는지는 중요하지 않습니다.
핵심은 데이터 구조 자체만으로는 한계가 있으며, 합의 알고리즘이나 일관성 프로토콜을 통해 구현되어야 한다는 점입니다. 이를 통해 네트워크가 단순히 분산된 것이 아니라 진정한 의미에서 탈중앙화되도록 해야 합니다. 각 머신이 로그를 공유하고, 동시에 이러한 로그들이 호환 가능하며, 갈등이 없어야 합니다.
블록체인 기술은 많은 일을 가능하게 했습니다. 알리바바나 텐센트처럼 우리가 집에서 직접 결제 시스템을 운영할 수 있을까요? 그들의 데이터베이스는 마음대로 잔액을 조작할 수 있기 때문에 신뢰할 수 없습니다. 그러나 블록체인 기술 기반 시스템에서는 누구나 노드를 실행할 수 있습니다.
체인과 dApp 사이에는 Infura와 같은 중간 에이전트 또는 서비스 제공자가 존재합니다. 개발자들은 일반적으로 자신이 전체 노드를 직접 운영하기보다는, 먼저 로컬에서 디버깅한 후 제3자 전체 노드를 통해 배포합니다.
2. 이전 두 세대 블록체인 프로토콜의 진화
1세대 블록체인: 나카모토 시대
1세대 블록체인은 즉 비트코인으로, git commit으로 형성되는 체인에 비유할 수 있습니다. 각 commit마다 해시값이 존재하므로, git 자체가 일종의 블록체인이라 할 수 있습니다.
Git에서도 작업 증명(PoW)을 적용할 수 있습니다. 예를 들어 각 블록의 코드 작성에 일정 시간이 걸리도록 설정하고, 이를 우회할 수 없게 만든다면, 누가 더 긴 commit 체인을 가졌는지에 따라 결정되며, 이것이 바로 가장 긴 체인 규칙입니다.
작업 증명은 위조 불가능하며 검증이 용이하고, 전체 시스템 내에서 생성되기까지 오랜 시간이 필요하므로, 우리는 나카모토 합의를 얻게 되며, 최종적으로 원장은 하나의 메인 체인으로 수렴하게 됩니다. 이것이 가장 긴 체인의 원리입니다.
장점 1: 작업 증명이 동시에 진입 허가 메커니즘으로 작동 — "Permissionless"
매우 중요한 점은 작업 증명이 동시에 진입 허가 메커니즘으로 작동한다는 것입니다. 이는 이해하기 어려운 부분일 수 있습니다.
사람들은 종종 컨소시엄 체인과 공개 체인을 이야기하는데, 근본적으로는 누가 참여할 수 있는지, 즉 누구나 노드를 실행할 수 있는지를 말하는 진입 허가 문제입니다. 하지만 실제로 진입 허가 메커니즘과 합의 메커니즘은 직접적인 관련이 없습니다. 다만 나카모토가 설계한 프로토콜이恰好 작업 증명을 사용했고, 이 작업 증명이 진입 허가 메커니즘으로 작용하게 되었습니다. 즉 특별한 위원회나 승인 절차 없이도 컴퓨팅 파워만 있으면 채굴이 가능하며, 노드 수를 조절한다고 해서 블록체인 네트워크를 통제할 수 없습니다. 왜냐하면 노드는 컴퓨팅 파워를 의미하지 않기 때문입니다. 따라서 이 설계는 매우 흥미롭습니다.
장점 2: 우아한 보안 약화
비트코인 시스템은 비교적 우아한 보안 약화 특성을 가지고 있습니다. 이 프로토콜에서는 보안이 확률 기반으로 작동하며, 만약 누군가 상당한 비율의 컴퓨팅 파워를 차지하게 되더라도, 프로토콜의 보안은 영향을 받지만, 그 영향은 부드럽게 나타납니다. 일정 수준 이상으로 중앙화된다 해서 보안이 완전히 사라지는 것은 아닙니다. 51% 공격이 잘 알려져 있지만, 1‰에서 51%에 이르는 과정에서 보안은 연속적이며 부드러운 함수 형태로 유지됩니다.
장점 3: 느슨한 구성원 정보
비트코인 시스템은 정확한 구성원 정보를 요구하지 않습니다. 채굴만 하면 참여할 수 있으며, 네트워크에 얼마나 많은 사람이 참여하는지 미리 알 필요도 없고, 진입 및 퇴출에 대한 등록도 필요 없습니다.
단점: 자원 낭비, 낮은 부하 용량, 긴 확인 시간, 낮은 보안 효율성.
이것들이 장점들입니다. 반면 단점 역시 명확합니다:
1. 작업 증명은 자원을 낭비한다: 2018년 자료에 따르면, 전 세계 비트코인 채굴 전력 소비는 오스트리아 전체 또는 아일랜드 두 배의 연간 전력 소비량에 해당합니다.
2. 부하 능력이 매우 낮다: 초당 약 3건의 트랜잭션만 처리 가능합니다.
3. 확인 시간이 매우 길다: 6개의 블록을 기다리는 기준으로 하면 약 1시간이 소요되며, 소액 거래에는 너무 오랜 시간입니다.
또한 비트코인 시스템은 2세대에 비해 보안 효율이 매우 낮습니다. 왜 그럴까요?
2세대 블록체인: PBFT —— 파라오의 부활
왜 파라오의 부활이라고 부를까요? 이 기술은 오랫동안 연구되어 왔지만 대중의 시선을 받지 못했습니다. 전통적인 대기업에서는 Paxos나 Raft와 같은 중복 시스템을 접해본 사람이라면 BFT에 대해 어느 정도 익숙할 것입니다. 사실 2000년대 초부터 고장이나 머신 다운 시의 중복 시나리오에 이미 상용화되었습니다.
f개의 머신이 고장나더라도 2f+1개의 머신만 살아 있으면 시스템이 정상 작동합니다. 예를 들어 Google은 일반적으로 5대의 머신을 사용합니다. 이러한 시스템은 효율적이며 고가용성을 제공하여, 현재 우리가 경험하는 클라우드 서비스가 마치 24시간 7일 내내 멈추지 않는 것처럼 느껴지게 합니다.
몇 년 전만 해도 많은 웹사이트들이 매달 또는 매주 정기적인 유지보수를 필요로 했지만, 지금은 중단 없이 유지보수가 가능해졌습니다. 이는 오류 발생 머신을 톨러런스 시스템으로 감추어 버리기 때문입니다. 전체 시스템은 마치 거대한 데이터센터처럼 작동하며, 머신 수가 너무 많아 매초마다 머신이 고장나고 지속적으로 교체됩니다. 이런 의미에서 좋은 시스템이라 할 수 있지만, 모든 것을 한쪽이 통제하고 있다는 점에서 중앙화된 시스템입니다.
장점 1: 네트워크가 매우 빠름
당시에도 더 급진적인 아이디어가 있었는데, 여러 회사가 함께 시스템을 운영하면서 어느 한쪽도 머신을 직접 제어할 수 없도록 하고, 문제가 생기면 단순한 정전이나 하드웨어 고장뿐 아니라 악의적인 회사가 데이터를 조작하여 장부 불일치를 초래하는 경우에도 이보다 더 약한 가정 하에서 시스템 안정성을 어떻게 보장할 수 있을까?
이에 관한 많은 연구가 진행되었으며, 대표적으로 1999년의 PBFT(Practical Byzantine Fault Tolerance) 논문이 있습니다. 이것은 올바른 프로토콜이며, 실용적이라고 여겨진 첫 번째 프로토콜로, 1세대 블록체인의 단점을 보완합니다. 네트워크 규모가 작을 때는 매우 빠르며, 중앙화된 서비스와 효율성이 맞먹을 정도입니다. TPS는 수백에서 수천에 달하며, 지연 시간은 밀리초 단위까지 가능합니다.
장점 2: 결정론적 보안
네트워크 상태가 좋은 경우, PBFT 계열 프로토콜의 보안은 결정론적입니다—악의적인 참여자가 1/3을 넘지 않으면 네트워크는 항상 안전합니다. 6개의 블록을 기다릴 필요 없이, 일단 확정되면 영구적으로 확정됩니다. 반면 1세대 프로토콜은 확률 기반 알고리즘입니다.
2세대 프로토콜의 문제는 악의적인 참여자가 임계치(1/3)를 넘으면 즉시 보안이 붕괴되고 쉽게 공격당할 수 있다는 점이며, 이 시스템은 무용지물이 됩니다.
장점 3: 오랜 연구 역사
또 다른 장점은 오랜 연구 역사입니다. 나카모토의 설계를 살펴보면, 이는 연구 목적을 위해 단계적으로 만들어진 것이 아니라, 무정부주의자의 화폐 시스템을 만들고자 하는 목표에서 시작된 것입니다. 이후 분석을 통해 컴퓨팅 파워를 네트워크 내 악의 행위자를 측정하는 단위로 사용했다는 점이 밝혀졌습니다.
문제 1: 확장성 부족
많은 프로토콜에서 신원 기반 접근을 사용하는데, 이로 인해 한 사람이 여러 신원을 생성하는 문제가 발생할 수 있습니다. 이를 어떻게 방지할까요?
따라서 진입 허가 메커니즘이 필요하게 되었고, 이 프로토콜들은 일반적으로 지분 증명(PoS) 기반으로 불립니다. 지분 증명은 프로토콜의 작동 원리 자체가 아니라, 정확성을 보장하기 위한 전제 조건입니다. 이러한 프로토콜의 문제점은 확장성 부족과 효율성 저하입니다. 모두가 함께 투표한다면 효율이 떨어지며, 통일된 제안이 없을 경우 일치된 제안에 도달하기 위해 많은 시간과 네트워크 비용이 소요됩니다.
만약 리더가 먼저 제안을 하고, 다른 참여자들이 찬성 또는 반대하거나 리더를 탄핵하는 방식이라면 훨씬 빠릅니다.
리더 중심 BFT는 미국 대통령제와 같고, 리더 없는 BFT는 국회의원제와 같습니다. 두 방식 모두 비효율적인 측면이 있습니다. PFBT 네트워크에서는 모든 참여자가 리더에게 접근하기 때문에 리더는 마치 DDoS 공격을 받는 것과 같습니다. 노드가 1000개라면, 리더는 1000개의 요청을 동시에 처리해야 합니다. 따라서 확장성 문제가 발생합니다—노드 수를 늘렸을 때 성능이 반비례로 떨어지지 않게 하려면 어떻게 해야 할까요?
무작위 전체 투표 방식의 BFT는 리더 중심 BFT보다 더욱 비효율적입니다.
문제 2: 100% 정확한 참여자 정보 요구
PBFT 시스템은 누가 참여하고 있는지 정확히 알아야 합니다—실제 신원은 필요 없지만 ID는 필요합니다. 예를 들어 A, B, C, D, E 5명이 참여하면, 이들로 구성원 목록을 만들고, 이 목록을 기반으로 허용 가능한 오류 범위를 설정합니다. 목록에 오차가 있어서는 안 되며, 모든 참여자는 동일한 목록을 가져야 합니다. 따라서 느슨한 네트워크에서 목록을 결정하기 위한 의사결정 메커니즘이 필요하며, 이는 가능하지만 실현이 어렵습니다.
문제 3: 악의적 참여자에 대한 엄격한 가정
악의적 참여자가 합의 노드의 1/3을 초과해서는 안 된다는 엄격한 가정이 존재합니다. 단 1명이라도 초과하면 전체 시스템이 안전하지 않게 됩니다. 논문은 몇 페이지에 불과하지만, 실제로 구현하려면 매우 어렵습니다.
이러한 프로토콜들은 매우 복잡하며, 논문의 핵심 내용은 몇 페이지에 불과하지만 설명이 모호하여 실제로 구현하는 것은 매우 어렵습니다.
문제 4: 핵심 프로토콜이 지나치게 복잡함
2013년 당시 누군가는 이 프로토콜이 무엇을 하는지 이해할 수 없다고 불평했습니다. 이해할 수 있는 부분은 클라이언트가 요청을 보내면 서버 중 하나가 모든 다른 서버들에게 'hello'라고 브로드캐스트하고, 그 후 각 서버가 모두에게 투표 관련 메시지를 보내며, 그 다음은 'maybe do some start', 그리고 결국은 마치 난해한 그림처럼 보이고, 마지막에 'definitely'라고 되는 것입니다. 따라서 학계에서도 이 알고리즘을 이해하는 사람은 많지 않습니다.
따라서 우리는 일대다 또는 다대다 브로드캐스트가 매우 바람직하지 않은 상황이라는 결론을 내릴 수 있습니다.
3. 제3세대 블록체인: Snow / Avalanche 「눈」 프로토콜
제3세대 블록체인의 핵심 질문은: 완전히 다른 합의 메커니즘은 없는가?
샤딩이 문제를 해결할 수 있는가?
이 문제를 해결하기 전에 먼저 오해를 바로잡아야 합니다:
많은 사람들이 샤딩이 마치 구세주처럼 보이며, 샤딩 기술의 발전과 함께 '확장성 문제'가 이미 해결되었다고 생각합니다.
사실 샤딩은 분산 시스템 또는 데이터베이스 분야에서 흔한 개념입니다. 따라서 블록체인과 무관한 사람들과 대화해 보면, 자신이 마케팅에 속았다는 것을 '놀랍게' 알게 될 것입니다.
샤딩 개념 자체가 잘못된 것은 아니지만, 과도하게 과장되고 있습니다—이는 합의 단계의 확장성 문제를 직접 해결하지 못하며, 표면적인 해결책일 뿐입니다.
왜 그런가요? 기본 프로토콜의 효율이 주어진 상태에서 샤딩을 통해 최적화하는 것은 잘못된 것이 아닙니다. 하지만 근본 문제를 해결하지 못하기 때문에 인위적인 수정을 추가하는 것은 본말전도입니다. 만약 근본 문제가 해결된다면, 여전히 샤딩 등의 최적화를 할 수 있습니다.
왜 표면적인 해결책이라고 할까요? 이는 오류 허용도를 희생하기 때문입니다. 생각 실험을 해보겠습니다. 각 노드가 하나의 샤드라면, 모든 노드는 각자의 독립된 시스템이 되어 중복성이 사라집니다. 왜냐하면 샤드를 많이 나눌수록 동일한 상태를 복제하고, 전체 체인 데이터를 동기화하며, 일치된 상태에 도달하는 노드 수가 줄어들기 때문입니다. 이것이 규칙입니다—샤딩과 합의는 양날의 칼날입니다.
따라서, 샤딩이 효과적인 경우는 샤드 간 일관성 요구가 낮을 때입니다. 예를 들어 상하이 결제 시스템과 베이징 결제 시스템이 있다고 할 때, 대부분의 경우는 상하이 내 은행끼리 이체하거나 베이징 내 은행끼리 이체하며, 가끔 베이징과 상하이 간 이체가 필요할 때는 느린 방법을 통해 일관성을 확보해야 합니다.
이 예에서 알 수 있듯이, 샤딩은 실제 응용과 밀접하게 관련되어 있으며, 보편적인 해결책은 아닙니다.
만약 프로토콜이 매우 열악하다면, 마치 국물이 처음부터 맛없는 경우인데, 샤딩은 마치 국물에 라자장을 넣는 것과 같습니다. 맛은 좋아질 수 있지만, 우리는 알아야 합니다. 아무리 라자장을 많이 넣어도, 여전히 라자장이 들어간 맛없는 국물일 뿐입니다.
반면 원래 국물이 좋은 화끈한 샤브샤브라면, 여전히 고추를 추가할 수 있어 더욱 맛있게 만들 수 있습니다.
제3세대 프로토콜: Avalanche 프로토콜
제3세대라 해서 앞선 두 세대를 압도한다는 의미는 아닙니다. 각각의 특성이 있으며, 특정 응용 시나리오에서 강력한 비즈니스 능력과 성능을 발휘할 수 있습니다.
Avalanche에 관한 논문은 2018년 5월 IPFS에 게시되었으며, 이는 저희 연구진들이 협업한 결과로, 전염병 모델(epidemic model)과 전파(gossip) 네트워크에서 영감을 얻었습니다.
제3세대 프로토콜은 이전 두 세대의 장점을 통합합니다:
1) 우아한 보안 약화—악의적 참여자가 일정 수준에 도달하면 네트워크가 즉시 불안정해지고 붕괴되지 않습니다.
2) 느슨한 구성원 정보—네트워크 내 노드 수와 목록이 일치하지 않아도 전체 시스템에 큰 영향을 주지 않습니다.
3) 충분히 빠름—네트워크 규모 증가에 따라 성능이 선형 또는 초선형적으로 떨어지지 않으며, 로그 스케일로 감소하는 것이 이상적입니다.
4) 친환경
5) 직관성—PBFT의 투표는 복잡하고 직관적이지 않으며, 나카모토 합의는 직관적이지만 너무 느립니다.
또 다른 오해받는 개념—TPS 처리량
다른 프로토콜들도 자신들이 빠르고 높은 처리량(TPS: 초당 트랜잭션 수)을 가졌다고 주장하지만, 마치 스마트폰을 선택할 때 벤치마크 점수만 보는 것처럼, 처리량 역시 오해받는 개념입니다.
컴퓨터 시스템 논문을 보면, 특히 분산 시스템의 성능을 측정할 때 처리량만으로 평가하는 것은 무책임한 행동입니다. 왜냐하면 '처리량'은 시스템의 부하 버퍼링 능력만을 반영하며, '지연 시간(latency)'은 사용자 요청에 대한 실제 응답 속도를 반영하기 때문입니다.
사용자는 처리량—즉 초당 몇 명을 서비스할 수 있는지—에 관심이 없습니다. 사용자가 궁금한 것은 제출한 거래가 언제 체인에 포함되는지, 1초 후인지 1시간 후인지입니다. 이것이 바로 '지연 시간(latency)' 개념입니다.
시스템 전체를 평가할 때 지연 시간만을 고려해서는 안 되며, '처리량'과 '지연 시간'은 반드시 함께 고려되어야 합니다. 어떤 시스템이 지연 시간은 매우 짧지만, 이유는 은행에 고객이 거의 없기 때문일 수 있습니다. 고객이 1~10명밖에 없다면 지연 시간은 당연히 낮지만, 이는 부하가 낮기 때문입니다. 많은 사람들이 줄을 서면 은행은 감당할 수 없습니다. 따라서 지연 시간이 주어졌을 때 처리량을 함께 봐야 합니다.
지연 시간을 고려하지 않고 처리량만 본다면, 또 다른 극단적인 연구 결과를 얻게 됩니다.
인터넷과 견줄 만한 처리량은 물류 회사의 처리량입니다. 예를 들어 베이징에서 저장장치 한 트럭을 상하이로 보낼 때, 3일 정도 소요되지만 초당 처리량은 매우 놀랍습니다. 그러나 이를 네트워크처럼 사용하거나 의사결정에 활용할 수는 없습니다. 따라서 지연 시간을 고려하지 않고 처리량만 이야기하는 것은 무책임한 행동입니다.
따라서 처리량과 지연 시간 두 가지 모두를 고려해야 합니다.
위의 그래프는 Avalanche 프로토콜에서 노드 수가 두 배로 증가할 때 처리량의 변화를 보여줍니다. 노드 수가 두 배가 되어도 처리량에 미치는 영향은 작으며, 여기에는 DAG를 이용한 동시성 거래 처리 등 다른 기술도 활용되었습니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
![Axe Compute [나스닥: AGPU] 기업 재구조화 완료(기존 POAI), 엔터프라이즈급 분산형 GPU 컴퓨팅 파워 Aethir, 본격적으로 메인스트림 시장 진입](https://upload.techflowpost.com/upload/images/20251212/2025121221124297058230.png?x-oss-process=image/resize,p_50/quality,q_80)
