비탈릭 최신 기사: 탈중앙화 가속주의와 인공지능 1주년 전망
글: 비탈릭 부테린, 이더리움 창시자
번역: Leek, Foresight News
요약: 본문은 탈중앙화 가속(d/acc) 개념을 중심으로 기술 발전에서의 응용과 인공지능(AI) 안전 및 규제, 암호화폐와의 연관성, 공공재 지원 등 분야에서 직면한 도전 과제를 논의하며, d/acc가 보다 안전하고 아름다운 세계를 구축하는 데 가지는 중요성과 미래 전망에 대해 강조한다. 저자는 d/acc의 함의를 심층적으로 설명하고, AI 위험 대응 전략 비교를 통해 다양한 접근법의 차이를 분석하며, 암호화폐의 역할과 공공재 지원 메커니즘을 탐색한 후, 기술 발전의 도전에도 불구하고 기존 도구와 철학을 바탕으로 더 나은 세상을 만들 수 있는 가능성을 제시한다.
서론
리라즈 시리(Liraz Siri), 재닌 레거(Janine Leger), 발비(Balvi) 등의 자원봉사자들이 피드백과 검토를 제공해 주신 점에 특별히 감사드립니다.
약 1년 전, 저는 기술 낙관주의에 관한 글을 썼으며, 기술이 가져올 수 있는 막대한 혜택에 대한 전반적인 열정을 표현하면서도, 특히 초지능형 인공지능(Superintelligent AI)과 그 기술이 잘못 개발될 경우 인류에게 치명적인 위협이 되거나 인간의 권력이 돌이킬 수 없이 약화될 수 있다는 점에 대해서는 신중한 입장을 표명했습니다.
그 글에서 제가 주장한 핵심 개념은 '탈중앙화되고 민주적이며 방어적 기능을 갖춘 차별화된 가속(Defensive Acceleration)'입니다. 즉, 기술 발전을 가속하되, 해를 끼치는 능력보다 우리 스스로를 방어하는 능력을 강화하는 기술에 우선순위를 두고, 권력을 소수 엘리트 집단이 아니라 더 넓은 대중에게 분산시키려는 노력을 지향해야 한다는 것입니다. 방어 체계는 중세 봉건제 하의 영주와 성곽처럼 권력이 집중되는 형태가 아니라, 스위스의 민병제도나 역사상 준무정부 상태였던 조미아(Zomia) 지역처럼 민주적이고 분산된 형태여야 합니다.
그 이후 1년간 이러한 아이디어들은 상당한 발전과 정교함을 얻었습니다. 저는 '80,000 시간'이라는 플랫폼에서 이러한 생각들을 공유했고, 대부분 긍정적이었지만 일부 비판도 포함된 다양한 반응을 받았습니다.
실제 프로젝트들도 꾸준히 진행되어 실질적인 성과를 내고 있습니다. 검증 가능한 오픈소스 백신 분야에서 진전을 목격했으며, 실내 공기 질의 중요성에 대한 인식이 높아졌고, '커뮤니티 노트(Community Notes)'가 지속해서 긍정적인 효과를 발휘하고 있으며, 예측시장(Prediction Markets)은 정보 도구로서 돌파구를 마련한 한 해였습니다. 또한 제로노울리지 간결 비대칭 지식 증명(ZK-SNARKs) 기술은 정부 신원 확인 및 소셜미디어 분야에 적용되었으며(또한 계정 추상화를 통해 이더리움 지갑 보안을 강화하였습니다), 오픈소스 이미징 도구는 의료 및 뇌-컴퓨터 인터페이스(BCI) 분야에서도 활용되고 있습니다.
작년 가을에는 최초의 중요한 d/acc 행사인 Devcon에서 열린 'd/acc 발견의 날(d/aDDy)'이 있었습니다. 생물학, 물리, 사이버, 정보방어, 신경기술 등 d/acc의 각 축을 대표하는 연사들이 하루 동안 모여 발표를 했습니다. 오랜 기간 각자의 분야에서 일해온 사람들이 서로의 작업을 점점 더 잘 이해하게 되었으며, 외부 관찰자들 역시 이더리움과 암호화폐 운동의 가치가 더 넓은 세계로 확장될 수 있다는 거대한 비전을 점점 더 인식하게 되고 있습니다.
d/acc의 의미와 범위
시간은 2042년으로 흘렀습니다. 당신은 언론 보도를 통해 자신이 사는 도시에서 새로운 전염병이 발생할 가능성이 있다고 듣습니다. 이런 소식은 이제 익숙합니다. 사람들은 매번 동물 질병의 변이마다 과민 반응을 보이곤 하지만, 실제로는 대부분 위기로 번지지 않습니다. 지난 두 차례 잠재적 유행은 폐수 모니터링과 소셜미디어의 오픈소스 분석을 통해 조기에 발견되어 초기 단계에서 성공적으로 억제되었습니다. 그러나 이번 상황은 다릅니다. 예측시장은 최소 1만 명 이상의 환자가 발생할 확률이 60%에 달한다고 보여주고 있어, 당신은 걱정이 됩니다.
어제, 이 바이러스의 유전자 서열이 이미 결정되었습니다. 당신의 포켓 속 공기 검사기 소프트웨어는 바로 업데이트되었고, 이를 통해 호흡 한 번 또는 실내 공기 중 15분 노출만으로도 새 바이러스를 검출할 수 있게 되었습니다. 동시에 몇 주 안에 전 세계 어떤 현대 의료 시설에서도 사용 가능한 장비로 백신을 생성할 수 있는 오픈소스 지침과 코드가 배포될 예정입니다. 대부분의 사람들은 아직 아무 조치도 취하지 않고 있으며, 널리 보급된 공기 정화 및 환기 조치에 의존해 스스로를 보호하고 있습니다.
당신은 면역 문제를 가지고 있어 더욱 조심스럽게 행동합니다. 당신이 사용하는 오픈소스 기반 개인 보조 AI는 길 안내, 식당 및 이벤트 추천 같은 일반적인 업무 외에도 실시간 공기 검사 데이터와 이산화탄소 수치를 통합하여 가장 안전한 장소만 추천합니다. 이 데이터는 수천 명의 참여자들과 장치들로부터 제공되며, ZK-SNARKs와 차등 프라이버시(Differential Privacy) 기술을 통해 데이터 유출이나 다른 목적의 남용 위험이 최소화됩니다. (데이터셋에 기여하려는 사용자라면, 다른 개인 보조 AI가 이러한 암호화 도구가 실제로 효과적인지 검증하기도 합니다.)
두 달 후, 전염병은 기적처럼 사라졌습니다. 전체 인구의 60%가 공기 검사기에서 경보가 울리고 바이러스가 감지되면 마스크를 착용하고, 개인 검사 결과가 양성일 경우 자가 격리하는 기본 방역 수칙을 따랐습니다. 이 정도 조치만으로도 패시브한 고강도 공기 정화로 이미 크게 낮춰진 전파율이 추가로 1 미만으로 떨어졌습니다. 20년 전 코로나19보다 5배 더 심각할 것으로 시뮬레이션된 질병이었음에도 불구하고, 실제 피해는 거의 없었습니다.
Devcon의 d/acc 데이
Devcon에서 개최된 d/acc 행사는 매우 긍정적인 성과를 거두었습니다. 그것은 d/acc 개념이 서로 다른 분야의 사람들을 하나로 묶고, 진정으로 서로의 작업에 깊은 관심을 갖도록 유도하는 데 성공했다는 점입니다.
다양한 주제를 가진 행사를 여는 것은 어렵지 않지만, 서로 다른 배경과 관심을 가진 참가자들이 진정한 유대감을 형성하도록 만드는 것은 매우 어렵습니다. 저는 여전히 중고등학교 시절 무조건 길고 지루한 오페라를 보아야 했던 기억을 선명히 하고 있습니다. 당시 저는 오페라를 지루하다고 느꼈지만, 그래도 "감상해야 할 문화적 책임"이 있다고 생각했습니다. 그렇지 않으면 무지한 컴퓨터 과학 괴짜라는 낙인이 찍힐까 두려웠죠. 하지만 d/acc 데이의 분위기는 완전히 달랐습니다. 사람들은 진심으로 다른 분야의 일을 알아가는 것을 즐겼습니다.
지배, 지연, 파괴보다 더 밝은 미래를 만들고자 한다면, 반드시 이러한 광범위한 연대 구축이 필요합니다. d/acc는 이 부분에서 분명히 성과를 보여주었고, 그것만으로도 이 개념의 가치를 입증합니다.
d/acc의 핵심 아이디어는 간단합니다. 탈중앙화되고 민주적이며 방어적 기능을 갖춘 차별화된 가속입니다. 공격보다 방어에 유리한 균형을 만들어내는 기술을 개발하고, 이를 위해 중앙 권력 기관에 더 많은 권한을 위임하지 않는 것입니다. 이 두 요소 사이에는 내재된 긴밀한 연결이 있습니다. 탈중앙화되고 민주적이거나 자유로운 정치 구조는 방어가 용이할 때 번성하지만, 방어가 어려워질 때는 심각한 도전에 직면합니다. 그런 상황에서는 모든 사람이 서로를 공격하는 혼란 상태를 거쳐 결국 가장 강한 자가 지배하는 균형 상태로 수렴할 가능성이 높기 때문입니다.
탈중앙화, 방어성, 가속성 세 가지 모두를 동시에 실현하려는 노력의 중요성을 이해하는 좋은 방법은, 이 세 가지 중 하나라도 포기하는 접근법들과 비교해보는 것입니다.
지난해 <나의 기술 낙관주의>에서의 그래프
탈중앙화된 가속이지만 '차별화된 방어'를 무시하는 경우
본질적으로 이것은 효과적인 가속주의(e/acc)에 탈중앙화를 더하는 것과 같습니다. 많은 사람들이 이런 방식을 취하며, 일부는 스스로를 d/acc라고 부르지만, 실제로는 '공격'에 초점을 맞추고 있습니다. 또한 '탈중앙화 AI' 등에 대해 온건한 열정을 보이는 사람들도 많지만, 제 생각에는 그들이 '방어' 측면에 충분한 관심을 기울이지 않는 것으로 보입니다.
저는 이 방식이 특정 집단이 전 인류를 독재하는 위험은 피할 수 있을지 모르지만, 구조적 문제는 해결하지 못한다고 봅니다. 공격이 유리한 환경에서는 항상 재난이 닥칠 위험이 존재하거나, 누군가 자신을 보호자로 규정하고 영구적인 지배자 위치에 머물게 될 수 있습니다. 특히 AI의 맥락에서는 인간 전체가 AI 앞에서 권력이 약화되는 위험을 제대로 해결하지 못합니다.
차별화된 방어적 가속이지만 '탈중앙화와 민주주의'를 무시하는 경우
안전을 위해 중앙집권적 통제를 받아들이는 것은 일부 사람들에게 항상 매력적으로 다가왔으며, 독자 여러분도 그러한 사례와 그로 인한 폐해를 잘 알고 계실 것입니다. 최근에는 극단적인 기술에 대응하기 위한 유일한 방법이 극단적인 중앙통제일 수 있다는 우려도 있습니다. 예를 들어, '모든 사람이 ‘자유 태그’를 착용한다—현재의 제한된 웨어러블 모니터링 장치의 후속 제품으로, 여러 국가에서 교도소 대체 수단으로 사용되는 발목 밴드와 유사한 것... 암호화된 영상과 음성이 지속적으로 업로드되어 실시간으로 기계가 해석한다'는 가정적 시나리오를 생각해볼 수 있습니다. 그러나 중앙집권적 통제는 정도의 문제입니다. 덜 극단적이지만 여전히 해로운 형태는 생물기술 분야(예: 식품, 백신)에서 공적 감시에 대한 저항과 그것을 묵인하는 폐쇄형 규범에서 나타납니다.
이 방식의 위험은 명백합니다. 중앙 자체가 위험의 근원이 되기 쉽다는 점입니다. 우리는 코로나 팬데믹에서 이미 이를 목격했습니다. 주요 세계 정부들이 자금을 지원한 기능 획득 연구(FoR)가 팬데믹의 근원일 수 있었으며, 중앙집권적인 인식론은 세계보건기구(WHO)가 수년간 코로나바이러스의 공기 전파를 인정하지 못하게 만들었습니다. 또한 강제적인 사회적 거리두기와 백신 의무화는 수십 년간 이어질 정치적 반발을 불러일으켰습니다. 비슷한 상황은 AI나 기타 위험 기술과 관련된 어떤 위기 상황에서도 다시 발생할 가능성이 큽니다. 반면에 탈중앙화된 방식은 중앙 자체로부터 오는 위험에 더 효과적으로 대응할 수 있습니다.
탈중앙화된 방어를 추구하지만 가속을 거부하는 경우
본질적으로 말하면, 이는 기술 발전을 늦추거나 경제를 후퇴시키려는 시도입니다.
이 전략은 이중의 도전에 직면합니다. 첫째, 전반적으로 기술과 경제 성장은 인류에게 매우 유익하며, 이를 지연시키는 것은 막대한 비용을 초래합니다. 둘째, 비독재적인 세계에서는 정체가 불안정합니다. 가장 많은 '부정행위'를 하면서도 발전을 계속 추진할 수 있는 타당한 방법을 찾는 개인이나 집단이 우위를 점하게 됩니다. 감속주의 전략은 특정 상황에서 어느 정도 효과를 볼 수 있습니다. 예를 들어 유럽의 음식이 미국보다 더 건강한 것이 한 사례이며, 핵확산 금지 조약(NPT)이 지금까지 성공한 것도 그렇습니다. 그러나 이러한 전략은 영원히 작동하지는 못합니다.
d/acc를 통해 우리가 추구하는 목표는 다음과 같습니다:
-
오늘날 점점 더 부족화되는 세상 속에서 원칙을 지키는 것입니다. 단순히 무작정 무언가를 만들기보다는, 세상을 더 안전하고 더 나은 곳으로 만들 수 있는 특정한 것들을 만들기를 원합니다.
-
지수적 기술 발전이 세계를 극도로 이상하게 만들 것이며, 인류가 우주에서 차지하는 전반적인 '발자국'이 계속 커질 수밖에 없다는 점을 인식하는 것입니다. 우리는 약한 동물, 식물, 인간들을 해악으로부터 보호하는 능력을 지속적으로 향상시켜야 하며, 유일한 길은 앞으로 나아가는 것입니다.
-
'착한 사람(또는 착한 AI)이 모든 것을 통제한다'는 가정에 기대지 않고, 실제로 우리를 보호할 수 있는 기술을 구축하는 것입니다. 우리는 파괴보다 구축과 보호에 자연스럽게 더 효과적인 도구를 만들어냄으로써 이를 달성합니다.
d/acc를 바라보는 또 다른 시각은 2000년대 후반 유럽의 해적당 운동에서 유래한 '賦權(empowerment)'이라는 프레임으로 돌아가는 것입니다.
우리의 목표는 인간의 자기결정능력을 유지하는 세계를 구축하는 것입니다. 즉, 일반 시민, 정부, 초지능 로봇 등 누구든지 우리의 운명을 형성하려는 능력을 적극적으로 방해하지 못하도록 하는 소극적 자유(negative liberty)를 실현하고, 동시에 그러한 능력을 실천할 수 있도록 지식과 자원을 갖추도록 하는 적극적 자유(positive liberty)를 실현하는 것입니다. 이는 스튜어트 브랜드(Stewart Brand)의 '도구 접근성(tool access)'에 대한 관심, 존 스튜어트 밀(John Stuart Mill)이 인간 진보의 핵심 요소로 교육과 자유를 동등하게 강조한 점, 그리고 버크민스터 풀러(Buckminster Fuller)가 세계 문제 해결 과정이 참여적이고 광범위하게 분산되어야 한다고 바랐던 비전을 포함하는 수세기에 걸친 고전적 자유주의 전통을 이어받은 것입니다. 21세기의 기술 환경을 고려할 때, 우리는 d/acc를 이러한 동일한 목표를 달성하기 위한 하나의 경로로 볼 수 있습니다.
세 번째 차원: 생존과 번영의 동시 발전
지난해 제 글에서는 d/acc가 특히 방어적 기술—물리적 방어, 생물학적 방어, 사이버 방어, 정보 방어—에 집중했습니다. 그러나 순수한 탈중앙화 방어만으로는 위대한 세계를 구축하기에 충분하지 않습니다. 우리는 인간이 새로운 탈중앙화와 안전성을 얻은 후에 무엇을 할 수 있을지에 대한 전향적인 긍정적 비전이 필요합니다.
지난 글은 두 가지 측면에서 긍정적인 비전을 포함하고 있었습니다:
1. 초지능 문제에 대해 논의할 때, 나는 우리가 권력을 잃지 않고 초지능을 실현할 수 있는 하나의 경로를 제시했습니다(이것은 제 창작이 아닙니다):
-
현재는 높은 수준의 자율성을 가진 지능체가 아닌, 도구로서 AI를 개발합니다.
-
미래에는 가상현실(VR), 근전도 기술(EMG), 뇌-컴퓨터 인터페이스(BCI) 등을 활용해 AI와 인간 사이에 더욱 긴밀한 피드백 메커니즘을 구축합니다.
-
시간이 지남에 따라 최종적으로 초지능은 기계와 인간이 긴밀히 융합된 결과물이 됩니다.
2. 정보 방어를 논할 때, 공격자에 대항해 공동체가 결속력을 유지하고 고품질의 토론을 할 수 있도록 돕는 방어적 사회기술 외에도, 공동체가 더 쉽게 고품질 판단을 내릴 수 있도록 돕는 진보적 사회기술이 존재한다는 점을 언급했습니다. Pol.is가 한 예이며, 예측시장도 마찬가지입니다.
그러나 당시에는 이 두 가지가 d/acc의 핵심 논지와 다소 분리되어 느껴졌습니다. "기본적으로 더 민주적이고 방어에 유리한 세상을 구축하는 데 대한 아이디어들이 있고, 참고로 초지능을 어떻게 실현할지에 대한 별개의 생각들이 있다"는 느낌이었습니다.
하지만 현실에서는 위에서 '방어적'이라고 표시된 d/acc 기술과 '진보적'이라고 표시된 기술 사이에 중요한 연결고리가 존재한다고 생각합니다. 지난해 글의 d/acc 그래프를 확장하여 이 축을 추가함으로써(동시에 '생존과 번영'으로 재명명), 어떤 모습이 될지 살펴보겠습니다:
각 분야에는 우리가 특정 영역에서 '생존'할 수 있도록 돕는 과학, 사상, 도구와 '번영'할 수 있도록 돕는 과학, 사상, 도구가 밀접하게 관련되어 있다는 일관된 패턴이 존재합니다. 다음은 구체적인 예입니다:
-
최근의 여러 항코로나 연구는 바이러스의 체내 지속(infection persistence)에 초점을 맞추고 있으며, 이는 롱코비드(Long COVID) 문제의 핵심 기전으로 여겨집니다. 최근에는 바이러스의 지속이 알츠하이머병의 원인일 가능성도 나타났습니다. 만약 이 주장이 사실이라면, 모든 조직에서 바이러스 지속 문제를 해결하는 것이 노화 문제 해결의 핵심이 될 수 있습니다.
-
Openwater가 개발 중인 저비용 소형 이미징 도구는 미세혈전, 바이러스 지속, 암 치료에 강력한 잠재력을 지니며, 동시에 뇌-컴퓨터 인터페이스 분야에도 활용될 수 있습니다.
-
고도의 적대적 환경에서 공동체를 결속시키는 사회적 도구(예: 커뮤니티 노트)와 합리적인 협력 환경에서 고품질 의사결정을 돕는 도구(예: Pol.is)를 개발하려는 철학은 매우 유사합니다.
-
예측시장은 고도의 협력과 고도의 적대적 환경 모두에서 중요한 가치를 지닙니다.
-
제로노울리지 증명 및 유사 기술은 프라이버시를 보호하면서 데이터를 계산할 수 있으므로, 의학 연구 등 유익한 작업에 활용할 수 있는 데이터량을 증가시키면서 동시에 프라이버시를 강화합니다.
-
태양광과 배터리는 다음 세대의 청정 경제 성장을 추진하는 데 매우 중요할 뿐 아니라, 탈중앙화와 물리적 회복력 측면에서도 뛰어난 성능을 발휘합니다.
이 외에도 서로 다른 학문 분야 사이에는 중요한 상호 의존성이 존재합니다:
-
뇌-컴퓨터 인터페이스는 사고와 의도를 더 섬세하게 교환할 수 있게 해주는 정보 방어 및 협업 기술로서 중요합니다. BCI는 단순히 뇌와 기계의 연결만이 아니라, 뇌-기계-뇌 간 상호작용도 가능하게 합니다. 이는 다원성(pluralism) 개념 속에서 BCI의 가치와 일맥상통합니다.
-
많은 생물기술은 정보 공유에 의존하지만, 사람들은 정보가 특정 용도로만 사용된다는 확신이 있을 때만 정보를 공유하려 합니다. 이는 제로노울리지 증명, 완전동형암호(FHE), 난독화(obfuscation) 등의 프라이버시 기술에 의존합니다.
-
협업 기술은 다른 어떤 기술 분야의 자금 조달을 조정하는 데 사용될 수 있습니다.
난제: 인공지능 안전, 급박한 시간표, 규제의 딜레마
사람마다 인공지능에 대한 시간표가 다르다
그래프 출처: 2023년 몬테네그로 Zuzalu
지난해 제 글에 대한 가장 설득력 있는 반론은 AI 안전 커뮤니티로부터 나왔습니다. 그들의 주장은 다음과 같습니다. "물론 강력한 AI를 개발하는 데 50년 정도 시간이 있다면, 우리는 이런 유익한 기술들을 모두 개발할 수 있을 겁니다. 하지만 실제로는 3년 안에 AGI(범용 인공지능), 그로부터 3년 더 지나면 슈퍼지능에 도달할 가능성이 큽니다. 따라서 우리가 세계를 파멸이나 돌이킬 수 없는 상황에 빠뜨리고 싶지 않다면, 유익한 기술의 발전을 가속하는 것만으로는 충분하지 않고, 해로운 기술의 발전을 반드시 늦춰야 하며, 이는 권력층을 자극할 수 있는 강력한 규제 조치를 의미합니다." 저는 지난 글에서 위험한 형태의 슈퍼지능 구축을 막기 위한 모호한 요청 외에는 구체적인 '해로운 기술 발전 둔화' 전략을 제시하지 않았습니다. 따라서 여기서 직접 이 문제를 다뤄야 합니다. 만약 우리가 가장 최악의 상황에 처해 있고, AI 위험은 매우 크며 시간표는 단 5년에 불과하다면, 저는 어떤 규제 조치를 지지할까요?
새로운 규제에 신중해야 하는 이유
지난해 주요 AI 규제 제안은 캘리포니아주의 SB-1047 법안이었습니다. SB-1047은 가장 강력한 모델(즉, 훈련 비용이 1억 달러 이상이거나, 파인튜닝 비용이 1000만 달러 이상인 모델)의 개발자들에게 출시 전 일련의 안전성 테스트를 수행하도록 요구했습니다. 또한 AI 모델 개발자가 충분히 주의를 기울이지 않을 경우 책임을 묻겠다고 규정했습니다. 많은 비판자들이 이 법안이 '오픈소스에 위협이 된다'고 주장했지만, 저는 이에 동의하지 않습니다. 왜냐하면 비용 기준선은 가장 강력한 모델에만 영향을 미치기 때문입니다. Llama3 모델조차도 이 기준 아래에 있을 수 있습니다. 그러나 돌이켜보면, 저는 이 법안이 더 심각한 문제가 있다고 생각합니다. 대부분의 규제와 마찬가지로, 이 법안은 현재 상황에 지나치게 적응하고 있습니다. 훈련 비용에 초점을 맞추는 것은 새로운 기술 앞에서 취약함이 입증되었습니다. 최근의 최첨단 DeepSeek v3 모델의 훈련 비용은 단 600만 달러였으며, o1과 같은 새로운 모델에서는 비용이 훈련보다 추론(inference) 단계로 더 많이 이동하고 있습니다.
AI 슈퍼지능 파멸 시나리오에서 가장 책임이 클 가능성이 높은 행위자
실제로 AI 슈퍼지능 파멸 시나리오에서 가장 책임이 클 가능성이 높은 행위자는 군대입니다. 지난 반세기 동안의 생물안보(그 이전 시기에도)에서 보듯, 군대는 끔찍한 행동을 감행할 용의가 있으며, 실수를 범하기 쉬운 집단입니다. 현재 AI의 군사적 활용은 빠르게 확산되고 있으며(우크라이나, 가자지구 등에서의 사례), 정부가 통과시킨 어떤 안전 규제도 기본적으로 자국 군대와 군대와 긴밀히 협력하는 기업에는 예외를 두게 됩니다.
대응 전략
그럼에도 불구하고, 이러한 논점들이 우리를 손 놓고 있을 이유는 아닙니다. 오히려 이를 지침 삼아 가장 적은 우려를 불러일으키는 규칙을 제정하려는 노력을 해야 합니다.
전략 1: 책임
누군가의 행동이 어떤 방식으로 법적으로 추궁 가능한 피해를 초래했다면, 그 사람은 기소될 수 있습니다. 이는 군대나 '법 위에 군림하는' 행위자들로부터 오는 위험을 해결하지는 못하지만, 과도한 적응을 피할 수 있는 매우 보편적인 방법이며, 자유지상주의 경제학자들이 보통 지지하는 접근법입니다.
지금까지 고려된 주요 책임 대상은 다음과 같습니다:
-
사용자: AI를 사용하는 사람.
-
배포자: 사용자에게 AI 서비스를 제공하는 중개자.
-
개발자: AI를 구축하는 사람.
책임을 사용자에게 귀속시키는 것은 인센티브 측면에서 가장 적합해 보입니다. 모델의 개발 방식과 최종 사용 방식 사이의 연결은 종종 명확하지 않지만, 사용자가 AI의 구체적인 사용 방식을 결정합니다. 사용자에게 책임을 묻는 것은 사람들이 AI를 사용하는 방식에 강력한 압력을 가하며, 제가 보기에 올바른 방향으로 이끌 것입니다. 즉, 새로운 자가 유지되는 지능 생명체를 창조하기보다는 인간 사고를 위한 기계적 외골격(mechanical exoskeleton)을 구축하는 데 집중하도록 하는 것입니다. 전자는 사용자의 의도에 정기적으로 반응하므로, 사용자가 원하지 않는 한 재난적 행동을 유발하지 않습니다. 반면 후자는 통제를 벗어나 전형적인 'AI 탈주' 시나리오를 유발할 위험이 가장 큽니다. 책임을 최종 사용 단계에 가깝게 둬야 하는 또 다른 이점은, 책임이 사람들이 다른 방면에서는 해로운 행동(예: 폐쇄화, 고객확인(KYC), 감시, 국가/기업의 음모적 사용자 제한 등)을 하도록 유도할 위험을 최소화한다는 점입니다.
사용자에게만 책임을 묻는 것에 대한 고전적인 반론은, 사용자가 일반적인 개인일 수 있고, 돈이 많지 않을 수도 있으며, 익명일 수도 있어서, 재난적 피해에 대해 실제로 누가 책임을 지겠느냐는 것입니다. 이 견해는 과장되었을 수 있습니다. 일부 사용자는 책임을 질 수 없을 정도로 작지만, AI 개발자의 일반적인 고객은 그렇지 않으므로, AI 개발자들은 사용자가 높은 책임 위험에 직면하지 않음을 확신시킬 수 있는 제품을 만들도록 여전히 인센티브를 받게 됩니다. 하지만 이는 여전히 해결해야 할 타당한 주장입니다. 적절한 주의를 기울일 수 있는 자원을 가진 파이프라인 내의 누군가에게 인센티브를 제공해야 하며, 배포자와 개발자는 여전히 모델의 안전성에 큰 영향을 미칠 수 있는 타겟입니다.
배포자 책임은 타당해 보입니다. 흔한 우려는 이것이 오픈소스 모델에는 작동하지 않는다는 점이지만, 이는 관리 가능한 문제로 보입니다. 특히 가장 강력한 모델은 대부분 폐쇄형일 가능성이 높기 때문입니다. (결과가 오픈소스라면 배포자 책임이 그리 유용하지 않을 수 있지만, 큰 해를 끼치지도 않습니다.) 개발자 책임에 대해서도 비슷한 우려가 있으며(오픈소스 모델의 경우 허용되지 않는 작업을 수행하도록 파인튜닝하는 데 장벽이 존재함), 같은 반박이 적용됩니다. 일반적으로 '통제'에 일종의 '세금'을 부과하는 것은 합리적인 법적 입장으로 보입니다. 즉, "당신은 통제할 수 없는 것을 만들 수 있거나, 통제할 수 있는 것을 만들 수 있지만, 통제할 수 있는 것을 만든다면 그 통제권의 20%는 우리의 목적을 위해 써야 한다"는 원칙입니다.
파이프라인 내 다른 행위자에게 책임을 묻는, 아직 충분히 탐구되지 않은 아이디어도 있습니다. 특히 자원이 풍부한 행위자들입니다. d/acc 개념과 매우 잘 맞는 아이디어는, AI가 해킹 등을 통해 접수한 장치를 소유하거나 운영하는 모든 사람에게 책임을 묻는 것입니다. 이는 컴퓨팅 및 생물학 분야를 포함해 세계의 인프라를 가능한 한 안전하게 만들도록 하는 광범위한 인센티브를 창출할 것입니다.
전략 2: 산업 규모 하드웨어에 대한 글로벌 '소프트 정지' 버튼
저는 책임 규칙보다 더 '강력한' 조치가 필요하다고 확신한다면, 이 전략을 선택할 것입니다. 목표는 핵심 시기에 전 세계적으로 이용 가능한 컴퓨팅 능력을 약 90~99% 줄이고 1~2년간 유지함으로써 인류에게 더 많은 준비 시간을 확보하는 것입니다. 1~2년의 가치는 과소평가되어서는 안 됩니다. 자만심 속에서의 1년 '전시 체제'는 평상시 100년의 작업과 맞먹을 수 있습니다. '정지'를 실현하는 방법은 이미 탐색 중이며, 하드웨어 등록 및 위치 확인을 요구하는 구체적인 제안도 있습니다.
보다 정교한 방법은 교묘한 암호화 기술을 사용하는 것입니다. 예를 들어, 생산되는 산업 규모(소비자용 제외) AI 하드웨어에는 신뢰할 수 있는 하드웨어 칩이 장착되며, 주요 국제 기관(군사 부속 기관이 아닌 기관 중 최소 하나 포함)의 주간 3/3 서명을 받아야만 작동을 허용합니다. 이 서명은 장치와 무관하게 이루어지며(필요시 블록체인에 제로노울리지 증명을 게시하도록 요구할 수도 있음), 전부 또는 전무(all-or-nothing) 방식입니다. 즉, 한 장치만 작동하도록 승인하는 실제적인 방법은 없습니다.
이 방식은 이익을 극대화하고 위험을 최소화하는 측면에서 '요구사항을 충족하는 것'처럼 보입니다:
-
이것은 유용한 능력입니다. 슈퍼지능 수준에 가까운 AI가 재난적 피해를 초래할 수 있는 행동을 시작하고 있다는 징후를 받았을 경우, 전환 과정을 더 천천히 진행하길 원할 것입니다.
-
이런 핵심 순간이 오기 전까지는, 소프트 정지 기능 자체가 개발자에게 거의 해를 끼치지 않습니다.
-
산업 규모 하드웨어에 집중하고 목표를 90~99%로 설정함으로써, 소비자용 노트북에 스파이 칩을 심거나 강제로 전원을 끄는 반유토피아적 행위나, 소규모 국가가 자신의 의지에 반해 엄격한 조치를 취하도록 강요하는 일을 피할 수 있습니다.
-
하드웨어에 초점을 맞추는 것은 기술 변화에 강한 적응력을 가집니다. 여러 세대의 AI에서 우리는 품질이 이용 가능한 컴퓨팅 능력에 크게 좌우된다는 것을 보았으며, 특히 새로운 패러다임의 초기 버전에서는 더욱 그렇습니다. 따라서 이용 가능한 컴퓨팅 능력을 10~100배 줄이는 것은 통제를 벗어난 슈퍼지능 AI와 이를 막으려는 인간 사이의 빠른 싸움에서 승패를 가를 수 있습니다.
-
매주 온라인으로 서명을 받아야 하는 내재된 번거로움은 이 방식을 소비자용 하드웨어로 확장하려는 생각을 강력히 억제할 것입니다.
-
무작위 검사를 통해 검증할 수 있으며, 하드웨어 수준에서 작동함으로써 특정 사용자를 면제하는 것이 어렵습니다(기술적 수단이 아닌 법적 강제로 정지를 시행하는 방법은 이러한 전부 또는 전무의 특성을 가지지 않아 군대 등에 면제를 허용하는 방향으로 쉽게 미끄러질 수 있음).
하드웨어 규제는 이미 강력하게 고려되고 있으며, 일반적으로 수출 통제 프레임워크 내에서 논의되고 있습니다. 이는 본질적으로 '우리 편은 신뢰하지만, 상대편은 신뢰하지 않는다'는 철학을 지닙니다. 레오폴드 아셴브레너(Leopold Aschenbrenner)는 유명하게 미국이 결정적 우위를 확보한 후 중국이 실행할 수 있는 장비 수를 제한하는 협약을 체결하도록 강요해야 한다고 주장했습니다. 제 생각에는 이 접근법은 위험하며, 다극적 경쟁과 중앙집권화의 결점을 모두 결합하는 것처럼 보입니다. 우리가 사람들을 제한해야 한다면, 한쪽이 모든 사람을 지배하려는 시도보다는 모두를 평등하게 제한하고 실제로 협력하여 조직을 구성하는 것이 더 낫다고 생각합니다.
d/acc 기술이 AI 위험에서 하는 역할
이 두 가지 전략(책임과 하드웨어 정지 버튼) 모두 허점이 있으며, 명백히 일시적인 임시 방편에 불과합니다. T시점에 슈퍼컴퓨터에서 가능한 일은 T+5년에는 노트북에서도 가능할 가능성이 높습니다. 따라서 우리는 시간을 벌기 위해 더 안정적인 조치가 필요합니다. 여기서 많은 d/acc 기술들이 관련됩니다. d/acc 기술의 역할을 이렇게 볼 수 있습니다. 만약 AI가 세계를 장악한다면, 어떻게 그럴까요?
-
우리 컴퓨터를 해킹→사이버 방어
-
초강력 전염병을 만들→생물학적 방어
-
우리를 설득(그를 신뢰하거나 서로를 불신하게 만듦)→정보 방어
위에서 간략히 언급했듯이, 책임 규칙은 이러한 방어 조치를 전 세계적으로 채택하고 진지하게 다루도록 유도하는 데 매우 효과적이므로, 자연스럽게 d/acc 철학과 부합하는 규제 방식입니다. 대만은 최근 허위 광고에 책임을 묻는 시험을 진행하고 있는데, 이는 책임을 활용해 정보 방어를 장려하는 한 예로 볼 수 있습니다. 우리는 책임을 곳곳에 무분별하게 부과하는 데 너무 열광해서는 안 되며, 일반적인 자유가 소규모 인물들이 소송을 걱정하지 않고도 혁신에 참여할 수 있게 하는 이점을 기억해야 합니다. 하지만 우리가 안전을 더 강력하게 추진하고 싶은 곳에서는 책임이 상당히 유연하고 효과적일 수 있습니다.
암호화폐가 d/acc에서 하는 역할
d/acc의 많은 측면은 전형적인 블록체인 주제를 훨씬 넘어서는 것입니다. 생물안보, 뇌-컴퓨터 인터페이스, 협업 담화 도구 등은 암호화폐 관계자들이 일반적으로 이야기하는 내용과 거리가 멀어 보입니다. 그러나 저는 암호화폐와 d/acc 사이에 중요한 연결고리가 있다고 생각합니다. 특히 다음과 같습니다:
-
d/acc는 암호화폐의 기본 가치(탈중앙화, 검열 저항, 개방된 글로벌 경제 및 사회)를 다른 기술 분야로 확장한 것입니다.
-
암호화폐 사용자는 자연스러운 조기 채택자이며 가치 일치성이 있기 때문에, d/acc 기술의 자연스러운 조기 사용자층입니다. 커뮤니티(온라인 및 오프라인, 예: 행사 및 팝업 이벤트 포함)에 높은 가치를 두고, 단순히 대화만 나누는 것이 아니라 실제로 위험한 일을 하는 커뮤니티의 특성은, 근본적으로 집단이 개인보다 더 효과적인 d/acc 기술(대부분의 정보 방어 및 생물학적 방어 기술 등)의 특별히 매력적인 시범 무대와 실험장이 됩니다. 암호화폐 관계자들은 함께 무언가를 하는 사람들입니다.
-
많은 암호화폐 기술은 d/acc 주제 분야에 활용될 수 있습니다: 블록체인은 더 강력하고 탈중앙화된 금융, 거버넌스, 소셜미디어 인프라를 구축하는 데 사용되며, 제로노울리지 증명은 프라이버시 보호에 사용됩니다. 오늘날 가장 큰 예측시장 대부분이 블록체인 위에 구축되어 있으며, 점점 더 복잡하고 탈중앙화되고 민주적으로 발전하고 있습니다.
-
암호화폐와 인접한 기술 분야에서도 상호 이익이 되는 협업 기회가 존재합니다. 이 기술들은 암호화폐 프로젝트에 매우 유용할 뿐 아니라, d/acc 목표를 달성하는 데도 핵심입니다: 형식 검증(Formal Verification), 컴퓨터 소프트웨어 및 하드웨어 보안, 적대적 환경에서도
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@VitalikButerin
