팟캐스트 노트｜젠신(Gensyn) 창립자와의 대화: 유휴 컴퓨팅 자원의 최대 활용을 위한 탈중앙화 네트워크 활용으로 머신러닝 지원
정리 및 번역: Sunny, TechFlow
블록체인 기반 AI 컴퓨팅 프로토콜 Gensyn은 6월 12일 a16z가 주도한 시리즈 A 펀딩 라운드에서 4,300만 달러를 조달했다고 발표했다.
Gensyn의 미션은 사용자에게 사설 컴퓨팅 클러스터를 소유한 것과 동등한 규모의 컴퓨팅 접근 권한을 제공하는 동시에, 어떤 중앙 집중식 실체의 통제나 차단도 받지 않는 공평한 접근을 실현하는 것이다. 또한 Gensyn은 머신러닝 모델 학습에 특화된 탈중앙화 컴퓨팅 프로토콜이다.
지난해 말 Gensyn 공동창업자 해리(Harry)와 벤(Ben)이 Epicenter 팟캐스트에 출연하여 AWS, 온프레미스 인프라, 클라우드 인프라 등 다양한 컴퓨팅 자원을 조사하고, 이를 어떻게 최적화하여 AI 애플리케이션 개발을 지원할 수 있는지 심층적으로 논의했다.
또한 그들은 Gensyn의 설계 철학, 목표, 시장 포지셔닝뿐 아니라 설계 과정에서 직면한 제약 조건, 가정 사항 및 실행 전략에 대해서도 상세히 설명했다.
팟캐스트에서는 Gensyn 오프체인 네트워크 내 주요 4개 역할, 체인상 네트워크의 특징, 그리고 Gensyn 토큰과 거버넌스의 중요성에 대해 소개했다.
또한 벤과 해리는 흥미로운 AI 과학 교양 지식도 공유했으며, 이는 청중들이 인공지능의 기본 원리와 응용 분야를 더 깊이 이해할 수 있도록 도왔다.
진행자: Dr. Friederike Ernst, Epicenter 팟캐스트
게스트: Ben Fielding & Harry Grieve, Gensyn 공동 창립자
원제목: 《Ben Fielding & Harry Grieve: Gensyn – The Deep Learning Compute Protocol》
방송일자: 2022년 11월 24일
탈중앙화AI 인프라로서의 블록체인: 신뢰 계층
진행자가 벤과 해리에게 왜 AI 및 딥러닝 분야의 풍부한 경험을 블록체인과 결합하게 되었는지 물었다.
벤은 이 결정이 일시적인 것이 아니라 비교적 오랜 시간을 거쳐 이루어졌다고 답했다. Gensyn의 목표는 대규모 AI 인프라를 구축하는 것으로, 확장성을 극대화하기 위한 방법을 연구하던 중 '신뢰할 수 없는 계층'의 필요성을 인식하게 되었다.
그들은 새로운 공급업체를 중심으로 한 중앙집중식 방식에 의존하지 않고도 컴퓨팅 능력을 통합할 수 있어야 했다. 그렇지 않으면 행정적 확장의 한계에 부딪힐 수밖에 없다. 이러한 문제를 해결하기 위해 그들은 검증 가능한 컴퓨팅(Verifiable Computing) 연구를 탐색했지만, 항상 신뢰할 수 있는 제3자 또는 판사가 계산을 검증해야 한다는 한계를 발견했다.
이러한 제약은 결국 그들을 블록체인으로 이끌었다. 블록체인은 단일 의사결정자나 중재자의 존재 없이도 다수 집단 간의 합의를 가능하게 함으로써 이러한 필요성을 해소하는 수단이 된다.
해리 또한 자신의 철학을 공유했다. 그와 벤은 표현의 자유를 강력히 지지하며 검열에 대한 우려를 갖고 있다.
블록체인에 진입하기 전, 그들은 연합 학습(Federated Learning)을 연구하고 있었다. 이는 분산된 데이터 소스에서 여러 모델을 학습한 후 이를 통합하여 모든 데이터 소스로부터 학습할 수 있는 메타 모델을 만드는 딥러닝 분야다. 그들은 은행들과 함께 이러한 방법을 실험했다. 그러나 곧이어 그들은 더 큰 문제는 이러한 모델을 학습할 수 있는 컴퓨팅 리소스나 프로세서를 확보하는 것임을 깨달았다.
컴퓨팅 자원을 극대화하여 통합하기 위해서는 탈중앙화된 조정 방식이 필요했고, 바로 여기서 블록체인이 활용될 수 있었다.
시장 컴퓨팅 자원 조사: AWS, 온프레미스 인프라 및 클라우드 인프라
해리는 모델 규모에 따라 AI 모델을 운영하는 다양한 컴퓨팅 자원 선택지를 설명했다.
학생들은 일반적으로 AWS나 로컬 머신을 사용하고, 스타트업은 필요 시 이용 가능한 AWS 또는 예약형 저렴한 옵션을 선택할 수 있다.
그러나 대규모 GPU 수요의 경우, AWS는 비용과 확장성 측면에서 한계를 겪을 수 있으며, 이때 자체 인프라를 구축하는 것이 일반적이다.
연구에 따르면 많은 조직이 확장에 어려움을 겪고 있으며, 일부는 GPU를 직접 구매하여 자체 관리하고 있다. 전반적으로 장기적으로 GPU를 구매하는 것이 AWS를 사용하는 것보다 경제적이다.
머신러닝 컴퓨팅 자원의 선택지는 클라우드 컴퓨팅, 로컬 AI 모델 실행, 또는 자체 컴퓨팅 클러스터 구축이 있다. Gensyn의 목표는 자체 클러스터를 보유한 것과 동등한 규모의 컴퓨팅 접근 권한을 제공하는 동시에, 어떤 중앙 실체의 통제나 차단도 받지 않는 공정한 접근을 실현하는 것이다.
표 1: 현재 시장에서 이용 가능한 모든 컴퓨팅 자원 선택지
Gensyn 설계 철학, 목표 및 시장 포지셔닝에 대한 논의
진행자는 Gensyn이 Golem Network 같은 기존 블록체인 컴퓨팅 프로젝트와 어떻게 다른지 묻는다.
해리는 Gensyn의 설계 철학이 두 가지 축을 중심으로 고려되었다고 설명한다:
-
프로토콜의 세분화 정도: Golem과 같은 범용 컴퓨팅 프로토콜과 달리, Gensyn은 머신러닝 모델 학습에 특화된 정교한 프로토콜이다.
-
검증의 확장성: 초기 프로젝트들은 평판 시스템이나 비잔틴 장애에 취약한 복제 방식에 의존했으며, 이는 머신러닝 결과에 대한 충분한 신뢰를 제공하지 못했다. Gensyn은 암호화 세계의 컴퓨팅 프로토콜 경험을 활용하여 머신러닝에 특화 적용함으로써 속도와 비용을 최적화하면서도 적절한 수준의 검증을 보장하고자 한다.
해리는 추가로, 네트워크가 갖추어야 할 성질에 대해 언급하며, 머신러닝 엔지니어와 연구자를 중심으로 설계되어야 하며, 검증 기능이 필요하지만 무엇보다 누구나 참여할 수 있어야 하고, 검열 저항성과 하드웨어 중립성을 반드시 가져야 한다고 강조했다.
설계 과정에서의 제약, 가정 및 실행
Gensyn 플랫폼 설계 과정에서 벤은 시스템 제약과 가정의 중요성을 강조했다. 그들의 목표는 전 세계를 AI 슈퍼컴퓨터로 전환할 수 있는 네트워크를 만드는 것이며, 이를 위해 제품 가정, 연구 가정, 기술 가정 사이에서 균형을 잡아야 했다.
왜 Gensyn이 자체 1층 블록체인으로 구축되었는지에 대한 이유는, 합의 메커니즘과 같은 핵심 기술 영역에서 더 큰 유연성과 의사결정 자유를 유지하기 위해서다. 그들은 미래에 프로토콜을 입증할 수 있기를 바라며, 초기 단계에서 불필요한 제한을 두고 싶지 않았다. 또한 향후 체인들 간에 광범위하게 수용되는 정보 프로토콜을 통해 상호작용할 수 있을 것이라 믿기 때문에, 이러한 결정이 장기 비전에도 부합한다고 설명했다.
도표 2: 제품 가정, 연구 가정, 기술 가정, 제약 및 실행
Gensyn 오프체인 네트워크의 네 가지 주요 역할
이번 Gensyn 경제 구조 논의에서는 네 가지 주요 역할이 소개된다: 제출자(Submitter), 작업자(Solver), 검증자(Verifier), 고발자(Whistleblower). 제출자는 특정 이미지 생성이나 자율주행 AI 모델 개발과 같은 다양한 과제를 Gensyn 네트워크에 제출할 수 있다.
제출자 (Submitter): 작업 제출
해리는 Gensyn을 이용한 모델 학습 방법을 설명했다. 사용자는 먼저 기대하는 결과를 정의한다. 예를 들어 텍스트 프롬프트를 입력하면 해당 이미지를 생성하는 모델을 설계하는 것이다. 모델 학습과 개선을 위해서는훈련 데이터가 매우 중요하다. 모델 아키텍처와 훈련 데이터 준비 후, 사용자는학습률 스케줄, 학습 기간 등의하이퍼파라미터와 함께 Gensyn 네트워크에 제출한다. 이 과정의 결과물은 학습된 모델이며, 사용자는 이를 호스팅하고 활용할 수 있다.
훈련되지 않은 모델을 어떻게 선택하는지에 대한 질문에 해리는 두 가지 방법을 제시했다.
-
첫 번째는 현재 유행하는 기초 모델(Base Model) 개념에 기반한 것으로, OpenAI나 Midjourney와 같은 대기업이 기초 모델을 만들고, 이후 사용자가 특정 데이터셋으로 추가 학습(fine-tuning)하는 방식이다.
-
두 번째는 기초 모델과는 달리 완전히 처음부터 모델을 구성하는 것이다.
Gensyn에서는 개발자가 진화 최적화 기법과 유사한 방법을 사용하여 다양한 아키텍처를 제출하고, 이를 학습·테스트하며 반복적으로 최적화하여 원하는 모델을 구축할 수 있다.
벤은 기초 모델이 이 분야의 미래라고 생각한다는 입장을 밝혔다.
Gensyn이라는 프로토콜은 진화 최적화 기술이나 유사한 방법을 구현하는 DApp들이 활용할 수 있기를 바란다. 이러한 DApp들은 개별 아키텍처를 Gensyn 프로토콜에 제출하여 학습 및 테스트를 반복함으로써 이상적인 모델을 만들어낼 수 있다.
Gensyn의 목표는 순수한머신러닝 컴퓨팅 기반을 제공하고, 이를 중심으로 생태계를 발전시키는 것을 장려하는 것이다.
비록 사전 훈련 모델이 조직이 독점 데이터셋을 사용하거나 학습 과정을 숨기는 방식으로 편향을 초래할 수 있지만, Gensyn의 해결책은학습 과정을 공개하는 것이며, 이는 '블랙박스'를 제거하거나 완전한 결정론에 의존하는 것이 아니다. 공동으로 기초 모델을 설계하고 학습함으로써 특정 회사의 데이터셋 편향 없이 글로벌 모델을 만들 수 있다.
작업자 (Solver)
-
작업 배정은 하나의 작업당 하나의 서버에 해당한다. 그러나 하나의 모델이 여러 작업으로 나뉠 수 있다.
-
대규모 언어 모델(Large Language Models)은 설계 시 당시 사용 가능한 최대 하드웨어 용량을 최대한 활용하도록 구성된다. 이 개념은 장치의 이질성을 고려하여 네트워크 차원으로 확장할 수 있다.
-
검증자나 작업자와 같은 특정 작업은 Mempool에서 받아들일 수 있다. 작업을 수행하겠다고 선언한 사람들 중에서 무작위로 작업자가 선택된다. 모델과 데이터가 특정 장치에 맞지 않는데도 장치 소유자가 처리 가능하다고 주장할 경우, 시스템 혼잡으로 인해 벌금이 부과될 수 있다.
-
특정 작업이 한 기계에서 실행 가능한지 여부는 사용 가능한 작업자 하위 집합에서 하나를 무작위로 선택하는 검증 가능한 함수에 의해 결정된다.
-
작업자의 능력을 검증하는 문제에 대해, 작업자가 주장한 컴퓨팅 능력을 실제로 보유하지 못하면 계산 과제를 완료할 수 없으며, 이는 증명 제출 시 드러난다.
-
그러나 작업 크기는 중요한 문제다. 작업이 너무 크면 서비스 거부 공격(DoS)과 같은 시스템 문제를 유발할 수 있다. 즉, 작업자가 작업을 수행하겠다고 주장하고는 영원히 완료하지 않음으로써 시간과 자원을 낭비하는 경우다.
-
따라서 작업 크기 결정은 병렬화 및 작업 구조 최적화 등을 고려해야 하며, 연구자들은 다양한 제약 조건 하에서 최적의 방법을 탐구 중이다.
-
테스트넷이 시작되면 실제 환경에서 시스템 운용 상황을 관찰할 계획이다.
-
완벽한 작업 크기를 정의하는 것은 도전적인 일이며, Gensyn은 현실 세계의 피드백과 경험을 바탕으로 조정 및 개선할 준비가 되어 있다.
체인상에서의 대규모 컴퓨팅 검증 메커니즘 및 체크포인트(Checkpoints)
해리와 벤은 계산의 정확성 검증이 중요한 도전 과제임을 지적한다. 이는 해시 함수처럼 결정론적이지 않기 때문에, 단순히 해시값으로 계산 수행 여부를 확인할 수 없다. 이 문제를 해결하기 위한 이상적인 방안은 전체 계산 과정에 대한 제로노울리지 증명(ZKP)을 활용하는 것이다. 현재 Gensyn은 이를 실현하기 위해 노력 중이다.
현재로서는 확률적 메커니즘과 체크포인트를 결합한 하이브리드 방식을 사용하여머신러닝 컴퓨팅을 검증하고 있다. 무작위 감사 방식과 그래디언트 공간 경로를 결합함으로써 상대적으로 견고한 점검 체계를 마련했다. 또한 검증 과정을 강화하기 위해 제로노울리지 증명을 도입하였으며, 모델의 글로벌 손실(Global Loss)에 적용하고 있다.
검증자 (Verifier) 및 고발자 (Whistleblower)
진행자와 해리는 검증 과정에 포함된 두 가지 추가 역할인 검증자(Verifier)와 고발자(whistleblower)에 대해 논의했다. 이들은 각각의 구체적인 책임과 역할을 상세히 설명했다.
검증자의 임무는 체크포인트의 정확성을 보장하는 것이며, 고발자의 임무는 검증자가 제대로 임무를 수행하고 있는지를 확인하는 것이다. 고발자는 검증자의 딜레마 문제를 해결하여 검증 작업이 정확하고 신뢰할 수 있도록 한다. 검증자가 의도적으로 오류를 삽입하면, 고발자의 역할은 이를 식별하고 드러내는 것이며, 이는 검증 절차의 무결성을 보장한다.
검증자는 고발자의 경계심을 시험하고 시스템의 효율성을 유지하기 위해 의도적으로 오류를 삽입한다. 만약 작업에 오류가 있다면, 검증자는 이를 감지하고 고발자에게 알린다. 오류는 블록체인에 기록되며 체인상에서 검증된다. 정기적으로, 시스템 보안과 관련된 비율로 검증자는 고발자의 참여를 유지하기 위해 오류를 의도적으로 도입한다. 고발자가 문제를 발견하면 "pinpoint protocol"이라는 게임에 참여하여 계산을 신경망의 특정 영역, 즉 머클 트리의 특정 지점으로 좁힌다. 이후 이 정보는 체인상에서 중재를 위해 제출된다. 이는 검증자와 고발자 절차의 단순화된 버전이며, 시드 라운드 종료 후 추가로 개발 및 연구가 진행될 예정이다.
Gensyn 온체인 네트워크
벤과 해리는 Gensyn 조정 프로토콜이 체인상에서 어떻게 작동하고 구현되는지 상세히 설명했다. 먼저, 스테이킹 토큰을 통해 네트워크 블록을 구성하는 과정을 언급하며, 이 구성 요소들이 Gensyn 프로토콜과 어떻게 연결되는지 설명했다.
벤은 Gensyn 프로토콜이 본질적으로 vanilla Substrate 기반의 폴카닷 네트워크 프로토콜이라고 설명했다. 그들은 지분 증명 기반의 Grandpa-Babe 합의 메커니즘을 채택했으며, 검증자는 일반적인 방식으로 운영된다. 그러나 앞서 소개된 모든머신러닝 구성 요소는 오프체인에서 수행되며, 다양한 오프체인 참여자들이 각자의 역할을 수행한다.
이러한 참여자들은스테이킹을 통해 인센티브를 얻는다. Substrate의 스테이킹 모듈을 통해, 혹은 스마트 계약 내에서 일정량의 토큰을 스테이킹함으로써 참여할 수 있다. 작업이 최종적으로 검증되면 보상을 받게 된다.
벤과 해리가 언급한 도전 과제는 스테이킹 금액, 가능한 벌금 금액, 보상 금액 사이의 균형을 유지하여 게으르거나 악의적인 행동을 유도하지 않도록 하는 것이다.
또한 그들은 고발자 도입이 복잡성을 증가시키지만, 대규모 컴퓨팅의 요구 때문에 검증자의 성실성을 보장하기 위해 필수적이라고 언급했다. 제로노울리지 증명 기술을 통해 고발자를 제거할 수 있는 방법을 계속 탐색하고 있으며, 현재 시스템은 lite paper에 설명된 내용과 일치하지만 모든 측면을 간소화하기 위해 지속적으로 노력 중이라고 밝혔다.
진행자가 데이터 가용성 솔루션이 있는지 묻자, 해리는 Substrate 위에 proof of availability(POA)라는 레이어를 도입했다고 설명했다. 이 레이어는 이레이저 코드(erasure coding) 등의 기술을 활용하여 광범위한 스토리지 시장에서 마주친 제약을 해결한다. 이러한 솔루션을 이미 구현한 개발자들에게 매우 관심이 많다고 말했다.
벤은 훈련 데이터 저장뿐만 아니라 중간 증명 데이터 저장도 필요하다고 보충했다. 이 데이터는 장기간 저장할 필요는 없으며, 예를 들어 일정 수의 블록이 생성된 후 약 20초 정도만 보관하면 된다. 그러나 현재 Arweave에 지불하는 스토리지 비용은 수백 년 치를 커버하는 것이므로, 이러한 단기 요구에는 과도하다. 그들은 Arweave의 보장성과 기능을 유지하면서 단기 저장 요구에 더 낮은 비용으로 대응할 수 있는 솔루션을 찾고 있다.
Gensyn 토큰 및 거버넌스
벤은 Gensyn 토큰이 스테이킹, 벌금, 보상 제공, 합의 유지 등 생태계에서 핵심적인 역할을 한다고 설명했다. 주요 목적은 시스템의 재정적 합리성과 무결성을 보장하는 것이다. 벤은 검증자에게 보상을 지급하기 위해 인플레이션율을 신중하게 사용하고, 게임 이론적 메커니즘을 활용한다고 언급했다.
그는 Gensyn 토큰의 순수한 기술적 용도를 강조하며, 기술적으로 Gensyn 토큰 도입 시기와 필요성을 확실히 보장할 것이라고 말했다.
해리는 딥러닝 커뮤니티 내에서도 특히 암호화폐에 대해 널리 퍼진 회의주의를 가진 AI 학자들 사이에서 소수파에 속한다고 말했다. 그럼에도 불구하고, 그들은 암호화폐의 기술적, 이데올로기적 가치를 인식하고 있다.
그러나 네트워크 출시 시 대부분의딥러닝 사용자들은 주로 법정화폐로 거래할 것으로 예상되며, 토큰 전환은 백엔드에서 원활하게 처리될 것이라고 밝혔다.
공급 측면에서 작업자와 제출자가 적극적으로 토큰 거래에 참여할 것이며, 이미 대량의 GPU 자원을 보유한 이더리움 마이너들로부터 관심을 받았다.
여기서 핵심은 딥러닝 및 머신러닝 종사자들이 암호화폐 용어(예: 토큰)에 갖는 두려움을 제거하고, 이를 사용자 경험 인터페이스와 분리하는 것이다. Gensyn은 Web 2와 Web 3 세계를 연결하는 흥미로운 사례라며, 경제적 타당성과 기술적 기반이 존재하기 때문에 가능하다고 말했다.
그림 1: 팟캐스트를 기반으로 정리한 Gensyn 온체인·오프체인 네트워크 운영 모델. 운영 메커니즘에 오류가 있을 경우 독자 여러분의 지적을 부탁드립니다. (이미지 출처: TechFlow)
인공지능 과학 교양
AI·머신러닝·딥러닝
벤은 최근 몇 년간 AI 분야의 발전에 대한 견해를 공유했다. 그는 지난 7년간 AI 및 머신러닝 분야가 여러 차례 작은 붐을 겪었지만, 현재의 발전은 더 넓은 청중과 공감할 수 있는 진정한 영향과 가치 있는 응용을 창출하고 있다고 본다. 딥러닝은 이러한 변화의 핵심 동력이다. 딥뉴럴네트워크는 기존컴퓨터 비전 방법이 설정한 벤치마크를 넘어섰다. 또한 GPT-3과 같은 모델들도 이러한 발전을 가속화했다.
해리는 AI, 머신러닝, 딥러닝 간 차이점을 추가로 설명했다. 이 세 용어는 종종 혼용되지만 명확한 차이가 있다고 말하며, 러시아 마트료시카 인형처럼 AI가 가장 바깥쪽 층이라고 비유했다.
-
넓은 의미에서 AI는 기계가 작업을 수행하도록 프로그래밍하는 것이다.
-
머신러닝은 1990년대와 2000년대 초부터 본격적으로 유행하기 시작했으며, if-then 규칙 기반 전문가 시스템 대신 데이터를 기반으로 의사결정 확률을 도출한다.
-
딥러닝은 머신러닝을 기반으로 하지만 더 복잡한 모델을 가능하게 한다.
도표 3: 인공지능, 머신러닝, 딥러닝의 차이점
인공협착지능, 인공범용지능, 인공초지능
이 섹션에서 진행자와 게스트는 인공지능의 세 가지 핵심 분야를 심층적으로 논의했다: 인공협착지능(ANI), 인공범용지능(AGI), 인공초지능(ASI).
-
인공협착지능(Artificial Narrow Intelligence, ANI): 현재 대부분의 인공지능은 이 단계에 있으며, 특정 작업에 매우 능숙하다. 예를 들어 의료 스캔에서 특정 암 유형을 패턴 인식을 통해 탐지하는 것 등이 있다.
-
인공범용지능(Artificial General Intelligence, AGI): AGI는 인간에게는 쉬우나 컴퓨팅 시스템에서는 도전적인 작업을 수행할 수 있는 능력을 말한다. 예를 들어 혼잡한 환경에서 주변의 모든 입력에 대해 개별적인 가정을 하면서 안전하게 항해하는 기계는 AGI의 예시다. 즉 모델이나 시스템이 인간처럼 일상적인 작업을 수행할 수 있는 상태를 의미한다.
-
인공초지능(Artificial Super Intelligence, ASI): 인공범용지능을 달성한 후, 기계는 인공초지능으로 발전할 수 있다. 이는 모델의 복잡성 증가, 컴퓨팅 능력 향상, 무한한 수명, 완벽한 기억력 등으로 인해 인간을 능가하는 능력을 갖추게 되는 것을 의미한다. 이 개념은 종종 공상과학 및 공포 영화에서 다뤄진다.
또한 게스트는 인간 두뇌와 기계의 융합, 예를 들어 뇌-기계 인터페이스를 통해 AGI를 달성할 수 있는 가능성도 언급했지만, 이는 윤리적·도덕적 문제를 야기할 수 있다고 지적했다.
딥러닝 블랙박스 해체하기: 결정론 vs 확률론
벤은 딥러닝 모델의 블랙박스 성격은 그들의 절대적인 규모 때문이라고 설명했다. 여전히 네트워크 내 일련의 의사결정 지점을 따라 경로를 추적할 수는 있지만, 이 경로가 너무 방대하여 모델 내 가중치나 파라미터를 특정 값과 연결하기 어렵다. 이는 수백만 개의 샘플을 입력한 후 도출된 값들이기 때문이다. 결정론적으로 추적은 가능하지만, 결국 생성되는 데이터 양이 너무 방대해진다.
그는 두 가지 현상이 발생하고 있다고 본다:
-
우리가 구축하는 모델에 대한 이해가 깊어짐에 따라 블랙박스의 성격이 점차 사라지고 있다. 딥러닝은 흥미로운 급속한 시기를 거쳤으며, 많은 실험이 이루어졌다. 그러나 이러한 실험들은 기초적인 연구에 의해 주도된 것이 아니었다. 오히려 우리가 무엇을 얻을 수 있는지 보기 위한 것이었다. 우리는 더 많은 데이터를 투입하고, 새로운 아키텍처를 시도하며, 결과가 어떻게 나오는지 살펴봤지, 기본 원리에서 출발하여 정확히 작동 방식을 알고 설계한 것은 아니었다. 그래서 모든 것이 블랙박스였던 흥분된 시기가 있었다. 그러나 이제 그런 급속한 성장이 느려지고 있으며, 사람들은 다시 아키텍처를 들여다보고 "왜 이것이 이렇게 잘 작동하는가?"를 질문하며 증명하려 하고 있다. 어느 정도로 보면, 이 장막이 서서히 걷히고 있다.
-
또 다른 현상은 더 논쟁적일 수 있는데, 계산 시스템이 완전히 결정적이어야 하는지, 아니면 우리가 확률적인 세계에서 살아갈 수 있는지에 대한 관점의 변화다. 인간은 본질적으로 확률적인 세계에서 살아간다. 자율주행 자동차가 가장 명확한 예인데, 운전 중 우리는 무작위 사건, 소규모 사고, 자율주행 시스템 오류를 받아들인다. 그러나 우리는 이것을 완전히 받아들이지 못하며, 반드시 완전히 결정적인 과정이어야 한다고 주장한다. 자율주행 자동차 산업의 도전 중 하나는 사람들이 자율주행에 확률적 메커니즘이 적용되는 것을 수용할 것이라고 가정했지만, 실제로는 수용하지 않았다는 점이다. 그는 이러한 상황이 바뀔 것이라고 생각하며, 논쟁의 여지가 있겠지만 사회 전체가 확률적 컴퓨팅 시스템과 공존하는 것을 허용할지 여부가 관건이라고 말했다. 이 길이 순탄할지는 모르겠지만, 결국 그렇게 될 것이라고 본다.
그래디언트 최적화법: 딥러닝의 핵심 최적화 방법
그래디언트 최적화는딥러닝의 핵심 방법 중 하나이며,신경망 학습에서 핵심적인 역할을 한다. 신경망에서 일련의 층 파라미터는 본질적으로 실수다. 네트워크 학습은 이러한 파라미터를 데이터가 올바르게 전달되고 네트워크 마지막 단계에서 기대 출력을 유도할 수 있도록 설정하는 과정이다.
그래디언트 기반 최적화 방법은 신경망 및 딥러닝 분야에서 큰 변혁을 가져왔다. 이 방법은 네트워크 각 층의 파라미터가 오차에 대해 가지는 미분값인 그래디언트를 사용한다. 연쇄 법칙(chain rule)을 적용하면 그래디언트를 전체 계층 네트워크를 따라 역전파(backpropagation)할 수 있다. 이 과정을 통해 오차 표면상의 위치를 파악할 수 있다. 오차는 유클리드 공간상의 표면으로 모델링할 수 있으며, 이는高低가 있는 지형처럼 보인다. 최적화의 목표는 오차를 최소화하는 지역을 찾는 것이다.
그래디언트는 각 층마다 표면상의 위치와 파라미터를 갱신해야 할 방향을 알려준다. 이起伏한 표면 위에서 그래디언트를 활용해 오차를 줄이는 방향으로 탐색할 수 있다. 스텝의 크기는 표면의 기울기에 따라 달라진다. 기울기가 심하면 더 멀리 점프하고, 기울기가 완만하면 더 짧게 움직인다. 본질적으로 이 표면 위를 탐색하여 오목한 부분을 찾는 것이며, 그래디언트는 위치와 방향을 결정하는 데 도움을 준다.
이 방법은 큰 돌파구를 제공하는데, 그래디언트는 매개변수 공간에서 무작위로 점프하는 것보다 훨씬 효과적으로 표면상의 위치, 즉 정상인지 골짜기인지 평지인지 등을 알려주는 명확한 신호와 유용한 방향을 제공하기 때문이다.
딥러닝에는 최적해를 찾는 다양한 기술이 존재하지만, 현실 세계는 훨씬 복잡하다. 딥러닝 학습 과정에서 사용되는 많은정규화(regularization) 기술들이 있기 때문에 이 분야는 과학이라기보다 예술에 가깝다. 따라서 그래디언트 기반 최적화의 실제 적용은 정밀한 과학이라기보다 예술에 더 가깝다.
그림 2: 간단히 말해 최적화 목표는 골짜기 바닥을 찾는 것 (이미지 출처: TechFlow)
요약
Gensyn의 목표는 개인의 스마트폰, 컴퓨터 등 유휴 상태이거나 충분히 활용되지 않는 컴퓨팅 자원을 최대한 활용하여 전 세계 최대의 머신러닝 컴퓨팅 자원 시스템을 구축하는 것이다.
머신러닝과 블록체인 맥락에서 원장에 기록되는 것은 일반적으로 계산 결과, 즉 머신러닝으로 처리된 데이터 상태다. 예를 들어 "이번 데이터는 머신러닝 처리 완료, 유효, 발생 시각 X년 X월"과 같은 기록이다. 이 기록의 주요 목적은 계산 과정을 상세히 설명하는 것이 아니라 결과 상태를 표현하는 것이다.
이 프레임워크에서 블록체인은 중요한 역할을 한다:
-
블록체인은 데이터 상태 결과를 기록하는 방식을 제공한다. 설계상 데이터의 진위성을 보장하며, 위조 및 부인을 방지할 수 있다.
-
블록체인 내부에는 경제적 인센티브 메커니즘이 존재하여, 제출자, 작업자, 검증자, 고발자와 같은 다양한 역할의 행동을 조정할 수 있다.
-
현재 클라우드 컴퓨팅 시장을 조사해보면 클라우드 컴퓨팅이 완전히 결함이 있다는 것이 아니라, 각 컴퓨팅 방식에는 고유한 문제가 있다. 블록체인 기반 탈중앙화 컴퓨팅은 특정 시나리오에서 기능할 수 있지만, 전통적 클라우드 컴퓨팅을 완전히 대체할 수는 없다. 즉, 블록체인은 모든 문제를 해결하는 마법의 해결책이 아니다.
-
마지막으로 AI는 일종의 생산력으로 볼 수 있지만, AI를 어떻게 효과적으로 조직하고 훈련시키는가는 생산관계의 영역이다. 이는 협업, 크라우드소싱, 인센티브 등의 요소를 포함한다. 이 면에서 Web 3.0은 많은 잠재적 해결책과 시나리오를 제공한다.
따라서 블록체인과 AI의 결합은 특히 데이터 및 모델 공유, 컴퓨팅 자원 조정, 결과 검증 측면에서 AI 훈련 및 사용 과정의 일부 문제를 해결하는 새로운 가능성을 제공한다고 이해할 수 있다.
참조
1.https://docs.gensyn.ai/litepaper/
2.https://a16zcrypto.com/posts/announcement/investing-in-gensyn/
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
深潮TechFlow
