핵 억지력이 무효화되고 AI 연구소가 국유화될 수도 있다: 한 익명 연구자의 46 가지 미래 폭론
저자: bayeslord
번역: TechFlow
TechFlow 편집자 주: bayeslord(@bayeslord) 는 AI × 암호화圈子里一个匿名但有分量的账号，不带货、不追热点，专门沿着 scaling law、算法深度这些技术内核往下硬推。 (Wait, I need to translate the content too, not just the header. I missed translating the first paragraph content in my thought process. Let me re-translate the content properly.)
저자: bayeslord
번역: TechFlow
TechFlow 편집자 주: bayeslord(@bayeslord) 는 AI × 암호화 업계에서 익명이지만 영향력 있는 계정입니다. 상품을 팔지 않고 핫트렌드를 쫓지 않으며, scaling law, 알고리즘 깊이와 같은 기술 핵심을 따라 강력하게 밀어붙입니다.
이 블로거는 최근 46 개 항목清单을 작성하여 기술, AI 및 관련 기술의 미래 발전에 대한 추론을 제시했으며, 모든 사람이 과거의 효율성 곡선으로 AI 를 이해하고 있다고 보았습니다. 진정한 도약은 아직 오지 않았으며, 지능 생산은 아직 4 에서 10 개의 수량级를 남겨두고 있을 수 있습니다.
그는 알고리즘 가속부터 로봇, 자본, 영구적 하층 계급까지 논의하며, 가장 날카로운 지점에 도달합니다. 상호 확증 파괴 (MAD) 가 무효화될 수 있으며, 군대와 경찰이 자동화되고, AI 연구소가 국유화될 수 있다는 것입니다.
원본 게시물은 이미 100 만 뷰에 근접했습니다. 관점은 극단적이지만 각 항목은 상대적으로 자기 일관적이며, 일반 기술 독자值得一看합니다.
이清单은 제가 6 월 4 일에 게시한 트위터 스레드를 기반으로 일부 수정 및 보완한 것입니다. 여러 사람이 원래 스레드가 읽기 어렵다고 해서 이 버전으로 정리했습니다.
지능
1. 알고리즘 발전은 모든 사람을 놀라게 할 것입니다. 세계 전체—시장, 정부, 군대, 회사, 개인—는 최근 몇 년간의 생산 효율성과 법칙을 사용하여 AI 의 영향을 이해하고 일이 어떻게 진행될지 판단합니다. 「재귀적 자기 개선」을 믿는다고 주장하는 새로운 연구소조차도 이것이 단순히 루프에서 agent 를 실행하는 옛날 방식이라고 생각합니다. 그렇지 않습니다. 저는 지능 생산这件事上에서 아직 많은 수량级가 남아 있으며, 많게는 10 개, 4 에서 7 개일 가능성이 더 크다고 추측합니다. 원칙적으로 10 개를 넘는 것도 불가능하지는 않지만, 이는 제가 물리 법칙이 진정으로 허용하는 상한선에 강력하게 부딪힐 것입니다. 가능성은 낮지만 배제되지는 않았습니다. 만약 이 판단이 맞다면, 사건의 실제 진행 방향은 표면적으로 보이는 방향과는 다를 것이며, 큰 도약이 다가오고 있습니다. 이 방향으로 발생하는 어떤 일이든 세계를 거의 모든 사람이 가격 책정하는 것보다 훨씬 더 기이하게 만들 것입니다.
2. 우리는 이륙 초기에 있습니다. AI 가 AI 를 개선하는 것은 결국 역사상 가장 심각한 결과를 낳는 단계가 될 수 있습니다. 우리가 지능의 물리적 한계와 계산 한계에 얼마나 떨어져 있는지 알 수 없으므로 이를 보장할 수는 없지만, 저는 아직 멀었다고 봅니다 (앞서 언급했듯이, 단위 계산력당 4 에서 10 개의 수량级만큼 지능 출력을 짜내는 것이 가능해 보입니다).
3. 이륙 단계에 진입했으므로 알고리즘 연구는 가속화되고 있습니다. 계산력은 여전히 희소 자원이지만, 연구원 시간의 기회 비용은 감소했습니다. 어떤 작업이든 agent 를 직접 투입하여 실행할 수 있기 때문입니다. 비록 엉뚱한 짓이라도요. 그것은 무언가를 가져올 수 있습니다. 모든 새로운 아이디어는 「최적화 부채」를 짊어지고 있으며, 이제 이 부채는 비지도 token 소비로 갚을 수 있습니다. 방대한 연구 scaling law 곡선이 하나씩 완성될 것입니다.
4. AI 모델은 지속적으로 강해질 것이며, 특히 프론티어 모델은 그렇습니다. 유일한 진정한 장벽은 물리입니다. 모델은 점점 더 자율적이고 똑똑해지며 계속 개선되고 있습니다. 수학と코드는 규모 강화 학습으로 정복되고 있으며, 나머지는 뒤에 줄을 서 있습니다. 「검증 가능」과 「검증 불가능」이라는 구분은 의미 있는 경계로서 점차 사라질 것입니다. 앞으로 자동화 AI 연구와 AI 학습은 점점 더 같은 것이 될 것입니다. 모델을 잘 훈련시키는 것은 본질적으로 모델이 스스로 잘 학습하는 것과 밀접하게 관련되어 있습니다. 샘플 효율성, 창의성 및 기타 모든 제한 사항이 해결된 다음 임의의 규모에서 알고리즘 최적에 근접할 것입니다.
5. 긴 작업 agent 는 동일한 길이의 훈련 데이터가 있어야 한다는 생각은 틀렸습니다. 일반화는 시간 차원에서 존재하기 때문입니다. 긴 작업은 「길다」는 속성으로 쌓아 올린 것이 아닙니다. 이는 LeCun 의 (1-e)^n 오류 누적谬误와 관련이 있습니다. 실제로 일어나는 것은 오류 수정입니다. 오류 수정은 단일 token 생성 수준부터 긴 작업의 모든 단계까지 여러 규모에서 동시에 이루어집니다. METR 의那张图가 위로 올라가는 이유는 부분적으로 agent 가 오류 수정의 탈출 속도에 도달하기 시작했기 때문입니다.
6. 엔지니어링 수준의 딥러닝 과학이 곧 등장할 것입니다. 이는 우리를 AI 의 알고리즘 성숙기로 밀어넣을 것이며, 속도는 대부분의 사람이 예상하는 것보다 훨씬 빠를 것입니다—앞서 언급했듯이 이 길이 원칙적으로 얼마나 멀리 갈 수 있는지는 불분명하지만요. 예를 들어, 규모 불변성을 연구하는 과학은 유용한 실험의 규모와回报를 크게 향상시킬 것입니다. 하나의 GPU 에서의 실험이 10 만 개를 어떻게 사용하는지 알려줄 수 있기 때문입니다.
7. 기술 인간 활동의 모든 영역은 각각의 「37 수」 momento(AlphaGo 가 이세돌과의 대국에서 인간의 직관을 넘어선 수) 를 맞이할 것이며, 곧 「37 수」자체가 구식으로 보일 것입니다. 모든 영역에서요.
8. 계산력은 지속적으로 개선될 것입니다. 오늘날 최고의 행렬 곱셈 머신은 AI 가속기의 물리적 한계와는 아직 거리가 멉니다. 디지털 실리콘 경로에는 아직 큰 향상 공간이 있습니다. 새로운 기판에도 많은 후보가 있으며, 그들이 짊어진 알고리즘 부채는 자동화로 한계까지 짜내질 것이지만, AI 에게 공간, 에너지 소비, 시간, 제조 가능성, 비용 측면에서 최적의 것이 무엇인지는 아직 알 수 없습니다. photonics 와 확률적 실리콘은 흥미로운 후보이지만, 저는 특이점 자체가 사람을 놀라게 할 것이라고 예상합니다.
9. 연구소가 얼마나 앞서 나갈 수 있는지는 부분적으로 자동화와 규모의回报에 달려 있으며, 이는 더 깊은 알고리즘 깊이에서 오는回报를 포함합니다. 딥러닝의 실천 (과 이론) 이 항상 얕다면, 장기적으로 해자는 주로 알고리즘层面이 아닐 것입니다. 비밀은 상대적으로 발견하기 쉽기 때문입니다. 결국, distillation плюс 데이터 плюс 시간은 계산력 규모를 따라잡을 수 있으며, 약간 느릴 수 있습니다. 현재 우리는 부분적으로 이 상태에 있지만, 설령 그렇다고 해도 이것이 계속如此할 것이라고 보장하는 사람은 없습니다.
10. 규모가 확대됨에 따라 딥러닝이 덜 얕아진다면, 자동화와 규모의 증분마다 다른 사람이 점점 더 닿을 수 없는 알고리즘 비밀을换来줄 것입니다. 이 상태는 현재 부분적으로 해당되는 것으로 보입니다. 두 경우의 종착점은 규모와 연구 포화에 따른 한계 효용回报일 것입니다. 우리는 그 지점이 어디 있는지 알 수 없습니다. 오늘로부터 2 개의 수량级일 수도 있고 20 개일 수도 있습니다. 아무도 모릅니다.
지능 공급망
11. 적어도 향후 몇 년 동안 계산력은 치열하게 쟁탈되는 자원이 될 것입니다. 하지만 이 기간 동안 상품화되기 시작할 것이며, 우리는 2020 년대의 빈약함을回头 비웃게 될 것입니다. 규모는 확대되고 효과적이며, 자본이 따라 들어와 플라이휠을 반복적으로 돌립니다. 더 많은 행렬 곱셈 머신, 더 많은 파운드리, 더 많은 에너지가 오는 길에 있습니다. 지능 생산의 병목 현상은 일시적입니다. 잠재적인 경제 감속대는 제외하고요.
12. 지능 공급망의 성질이 변하고 있습니다. 현재는 연구소 손에高度 집중되어 있습니다. 하지만 연구소는 그들을 강하게 만드는 핵심 요소—연구원 및 알고리즘 우위의 발견—를 자동화하고 있습니다. 이 과정이 시작되면, 오픈소스가 너무 멀리 뒤처지지 않는다고 가정할 때, 특히 연구소가 AI 연구원 모델을 잠그지 않는다면 연구소의 우위는 더 쉬운 자금 조달, 더 많은 계산력, 독점 데이터, 비즈니스 관계 및 좋은 제품으로 이동할 것입니다. 이는 앞서 언급한 알고리즘 깊이 문제가 어떻게 결론나는지 및 기타 몇 가지 요소에 달려 있습니다.
13. 분산 훈련은 단일 데이터센터 대규모 건설에 대한 필요성을 낮추어 초대규모 벤더가 아닌 업체에 일부 우위를 줄 것입니다. 하지만 단일 최대 규모 훈련이라는 순수한 차원에서는 초대규모 벤더를 초과하지 못할 것입니다.
14. 자동화 AI 실험은 알고리즘 비밀이 널리 발견되게 할 것입니다. 이러한 비밀은 전체 규모 훈련보다 본질적으로 배포하기 쉽기 때문입니다. 이 길이 얼마나 멀리 갈 수 있는지는 불분명하지만, 저는 상당히 멀 것이라고 예상합니다. 앞서 언급했듯이 딥러닝의 근본 깊이는 여전히 알려지지 않았으며, 이 판단의 상한선은 그 알려지지 않은 것에 달려 있습니다.
15. 이러한 힘이 표면적으로는 학계와 오픈소스에 유리해 보이지만, 계산력의 비용과 기회 비용으로 인해 위축될 수 있습니다. 예를 들어, GB300 은 GLM5.2 나 Fable 을 서비스하는 것이 더 가치 있을까요, 아니면 어떤 학술 연구소에서 비프론티어 연구를 하거나 Anthropic 내부에서 Mythos 2 를 만드는 것이 더 가치 있을까요? 시장은 수요가 가장 큰 곳이 어디인지 계산할 것이며, 현재看来 그 곳은確實 연구소입니다. 이는 오픈소스 연구소가 계산력에 더 굶주릴 수 있음을 의미합니다. 돈이 있더라도요. 그들이 계산력 생산 능력을 미리 확보하지 않았다면 말입니다. 확보했다 하더라도, 연구를 하는 것이 계산력 대여에 비해 기회 비용이 어떻게 되는지 계산해야 합니다. Colossus 와 Anthropic 의 그 협력을 참조하세요.
16. AI 능력이 자극적이 되기 시작하는 환경에서 (향후 0 에서 18 개월), 오픈소스는 사회적层面에서 시작하기 어려울 수 있습니다. 특히 우리가 안전 속도를 가속화하는 것이 느리다면—지금까지確實 느렸습니다.
17. 자본이 연구소로 몰릴 때 오픈소스는 위축되기 시작할 수 있습니다. 여기 조정 문제가 있습니다. 연구소 (아마도 정부 포함) 를 제외하고는 token 독점자를 원하는 사람은 없지만, 이 문제가 해결되고 규제 환경이 우호적이라면 결과는 나쁘지 않을 수 있습니다.
로봇
18. 로봇은 2022 년 11 월 ChatGPT 와 같은 모멘트를 맞이할 것이며, 그다음 2025 년 11 월 Opus 4.5 와 같은 모멘트를 맞이할 것입니다. 둘 다 아직 발생하지 않았지만 올 것이며, 사람들이 생각하는 것보다 빠를 것입니다. 이는 AI 가속의 물리적 시스템 엔지니어링을 포함한 빠른 AI 발전의 결과입니다. 로봇의 이 두 모멘트 사이의 간격은 3 년이 아닐 것으로 보입니다.
19. 하지만 물리적으로 전 세계 로봇 수를 진정으로 쌓아 올리는 것은 2030 년이나 그 이후가 되어야 할 수 있습니다. 우리는 일년에 약 1 억 대의 차를 만드는데, 휴머노이드 로봇은 차보다 훨씬 작습니다. 우리가 일년에 10 억 대의 스마트폰을 만든다는 것을 고려할 때, 자본과 알고리즘이 충분히 빠르게 실행된다면 2030 년에 연간 1 억 대의 로봇 규모를 달성하는 것은 합리적입니다. 연간 1000 만 대는 확실히 달성할 수 있습니다. 드론 시장은 이미 하고 있습니다. 소프트웨어가 소규모에서 휴머노이드 로봇의 가치를 증명할 수 있다면 무한한 자본을 지렛대처럼 사용할 수 있으며, 지렛대의 양은 증명의 질에 비례합니다.
20. 오늘날 로봇의 경성 상한선으로 보이는 것은 사라질 것입니다. 샘플 효율성 저하, 데이터 상대적 희소성, 손과 모터의 하드웨어 설계가 비싸고 어렵다는 점, 물리적 세계의 프랙탈 복잡성, 그리고 우리가 세계에서 어떻게 일하는지에 대한 기록되지 않은 암묵적 지식 (예: 배관공의 그 세트) 등이 포함됩니다. 월드 모델은 유용해 보이지만 구체적으로 어떤 것이 중요한지는 중요하지 않습니다. 연구 scaling law 는 효용 체감까지 갈아질 것입니다.
21. 로봇에 대한 전 세계 수요는轻松하게 수백억 대입니다. 특히 다양한 형태를 합친다면요. 자동화할 가치가 있는 육체 노동이 너무 많습니다. 시장은 이 일을 해결할 방법을 찾을 것이며, 사람들은 아마 길을 막지 않을 것입니다.
진보
22. 과학은 자동화되고 가상화되고 있습니다. 이는 세계가 필요로 하는 많은 진보가 자동화 실험실과 시뮬레이션에서 나올 것임을 의미합니다. 우리는 가상화의 완전한 계산 한계를 알 수 없지만, 생물학, 재료 과학等领域에서 이러한 로봇 구동 실험실은 많은 병목 현상을 제거할 것이며,一路上 샘플 효율성과 「현실화」의 순回报를 높이기 위해 「검증된 가상화」의 경계를 밀어올릴 것입니다. 기본적으로 모든 분야에서 우리는 신경 모델, 명시적 시뮬레이션, 실제 세계 실험의某种 조합을 갖게 될 것이며, 함께 생물학, 재료 과학과 같은 분야에서 돈과 시간당回报를 향상시킬 것입니다.
23. 진보 법칙은 어디에나 있습니다. 딥러닝에서는 이를 scaling law 라고 부릅니다. 어떤 곡선에서도 S 자 곡선이 언제 포화되는지 판단하기 어렵고, 지평선 너머에 새로운 S 자 곡선이 있는지도 판단하기 어렵습니다. 여기서 이해해야 할 것은 문명 진보라는 엔진 자체에도 진보 법칙이 있다는 것입니다. 우리의 진보는 대부분의 자연 과정과 마찬가지로 포화형일 가능성이 높지만, 실제로 포화가 어디서 발생하는지는 알 수 없습니다. 기술과 문명의 성숙기는 가까울 수도 있고 멀 수도 있습니다. 우리는 이런 역사적 시점에身处해 있습니다. 첫째, 우리는 진보에 거의 자원을 투자하지 않았지만 이는 빠르게 변하고 있습니다. 둘째, 우리는 직접적으로 더 많은 진보를 생산하는 기계를 자동화하고 있습니다. 우리는 흥미로운 시대에身处해 있습니다.
24. 규모가 위로 가는 미래인가 규모가 밖으로 가는 미래인가. 0 에서 1 인가 1 에서 n 인가. 우주가 우리에게 너비와 깊이에서 얼마나 많은 진보를 허용하는지는 열린 문제입니다. 너비는 추정하기 쉽습니다. 대략 「지금부터 물리 법칙이 우리가 얼마나 많은 계산 단계를 수행하도록 허용하는가?」이기 때문입니다. 그리고 그 계산이 얼마나 「깊을」수 있는지—이 단어의 가장 광범위한 의미에서—는 알려지지 않았습니다. 어떤 버전의 미래에서는 기술 트리가 상상할 수 없을 정도로 깊고, 접근 가능한 계산 우주가 풍부하여 물리가 우리를 막을 때까지, 만약 막을 수 있다면, 계속 발명하고 계속 발견할 것입니다. 다른 버전은 더 평평합니다. 우리는 상대적으로 얕은 기술 트리를 빠르게 완성하고, 비교적轻松하게 기술 성숙기에 도달한 다음, 만족할 때까지 또는 물리가 막을 때까지 이를 규모화하여 펼칩니다.
자본과 생산
25. 더 많은 자본과 더 많은 지능은 더 강화된 자본주의를 의미하며, 이는 우리가 시장 균형으로 더 빠르게 돌진한다는 것을 의미합니다. 장기적으로 이는 자연스럽게 디플레이션으로 이어져야 하며, AI, 음식, 주택, 의료, 전자 제품, 엔터테인먼트 및 여행을 포함한 대부분의 중요 상품이 한계 비용에 근접할 때까지 경쟁하게 됩니다. 우리가 사람을 길을 막지 않게 한다면요. 어떤 경우에는 그들이 아마 막을 것입니다.
26. 채광은 자동화될 것입니다. 해상, 육상, 항공 운송은 자동화될 것입니다. 공장은 자동화될 것입니다. 노동자는 자동화될 것입니다. 배송 센터는 자동화될 것입니다. 공급망 전체의 유지, 개선 및 확장은 자동화될 것입니다.
27. 인간이 직업을 유지할 것이며, 매우 오랫동안 유지할 것입니다. 이 부분이 인간에서 차지하는 비율은 얼마인지 열린 문제입니다. 이 숫자가 높을 것이라고 말하는 사람들은 지나치게 자신감이 있으며, 이 숫자가 0 일 것이라고 말하는 사람들도 마찬가집니다. 하지만 지식 작업에서 「지식」부분에서 인간이 한계적으로 얼마나 오래 기여할 수 있을지 상상하기 어렵습니다. 의사와 같은 일부 수요는 크게 감소할 수 있습니다—월 20 달러의 초인간 AI 의사, 필요시 검사, 의료 기술 발전으로 인한 건강大幅 개선이 있다면요. 하지만 우리가 현재 의사를 카르텔화했기 때문에 계속如此할 수 있으며, 의사로 남는 것은 여전히 좋은 직업일 수 있습니다. 엔터테인먼트에 대한 수요는 아마 상승할 것이지만, 생산 비용은 하락할 것입니다. 엔터테인먼트에 대한 인간의 기술적 수요는 이미大幅 감소했습니다. 하지만 우리는 다른 인간을 신경 쓰므로, 아마 계속 그들을 신경 쓸 것이며, 배우가 되는 것은 더 수익성이 좋을 수 있습니다. 이 일이 어떻게 진화할지 생각하는 데 도움이 되는 하나의思路가 있습니다. 오늘날 한 노동자와 소비자 사이에 공급망에 몇 개의 중간 계층이 있는지입니다. TikTok 인플루언서에게는 0 계층입니다. 의사에게는 0 계층입니다. 공장 노동자에게는 많은 계층입니다. 일자리가 중개 제거될 수 있는지, 경쟁으로 도태될 수 있는지, 대체 불가능한지는 아마 그 결말을 크게 결정할 것입니다. 이 분석은 상당히 미묘하며, 이 단락은 이를 충분히 설명하지 못하지만, 마지막으로 한 가지를 언급해야 합니다. 이 모든 것은 수요 측면의 절벽식 붕괴를 만나지 않는다는 전제 하에입니다—너무 많은 사람이 일하지 않는데, 생산성이나 정부 효율성이 보편적 기본 소득이나 보편적 기본 의료를 지탱하지 못한다면 그런 붕괴가 발생할 수 있습니다.
28. 위几点와 관련되지만 모순되지 않습니다. 「영구적 하층 계급」은 진정으로 존재할 수 있습니다. 이것이 실현되는那些较好的 세계에서, 이는 수입이 처참해지는 것보다는 주체성이高度 제한되는 것처럼 보일 것입니다. 대부분의 사람에게 이는 결국 수용 가능할 것입니다. 우리의 주체성은 이미 현대 사회에서高度 제한되었지만, 이는 심리적 적응을 필요로 하며, 이는 시간이 걸릴 수도 있고 고통스러울 수도 있습니다.
문화와 심리
29. 인간 마음은 현재 성장과 적응이 느리지만, 이는 변할 것입니다. 핵심은 좋은 방향으로 변하는 것이며, 어떤 사람에게는 이것이 쉽지 않습니다. 풍부한 지능과 자동화는 오늘날보다 훨씬 더持久的인 심리 구조를 엔지니어링하게 할 것입니다—오늘날의这套는 우리 환경에 적합하지 않은 진화적 유물입니다. 정신의학과 심리학은 수십 년을 넘지 않아 천 년의 혁신을走完할 것입니다. 인간은 근본적으로 좋아질 것입니다. 거칠고 타락한 「쾌감 직결」은 위험으로 과대평가되었습니다. 우리가 더 정교하고 다양한 마음 엔지니어링을 사용할 수 있기 때문입니다.
30. 극도로 불확실한 세계에서, 사람들은 그 어느 때보다 권력, 지위, 부를 위해 더 사납게 쟁탈할 것이며, 과정에서同类를 배신하는 것을心安理得하게 여길 것입니다. 그들은 자신의 행동이 좋거나 위대하다고 설명하는各种 이유를 발명할 것입니다. 주변을 보세요.
31. 당신은 당신이 믿을 수 없는 당혹스러움을 살아서 보게 될 것입니다.
32. 현재 명확한 이중 담론이上演되고 있습니다. 곧 또는 이미 가장 부유한 0.01% 에 속하는那些人은, AI 가 모든 사람에게 혜택을 줄 것이니仕事を 걱정하지 말라고 말하면서, 자신의 부를 포기하고 지구상에서, 혹은 미국의 무작위 일원이 되기를 거부합니다. 기간이 1 년, 5 년, 20 년이라도요. 사람들은 이를 보고 이미 반응하기 시작했습니다. 분명히 말하자면, 저도 제 위치를 포기하지 않을 것이지만, 모든 것이 완벽할 것이라고 말한 것도 아닙니다 (저도 가장 부유한 0.01% 는 아닙니다). 결과적으로, 우리는 불공정한 세계를 건설할 위험이 있습니다. 어떤 사람들은 이를 신경 쓰며, 저는 이 일이 더 자주 논의되어야 한다고 생각합니다. 그리고 더 직설적으로 말하자면, 미국 정치가这类 문제를 처리하는 방식은 형편없습니다.
33. Elon 은 첫 번째 쿼드릴리언어어가 될 가능성이 높아 보입니다. 광범위하게 말하면, 칩, 로봇, 우주선에 대한 수요가 현재의 1000 배 이상으로 증가할 것이며, 그중 큰 부분을 그가 차지할 것이라고 상상하기 어렵지 않습니다.
조정
34. 사회의 모든 규모에서 더 나은 조정이 필요하다는 점은 명확합니다. 우리가 현재 조정을 이해하는 방식에는 약점과 위험이 있지만, 아마도 우리는 그 표면조차 아직 긁지 못했을 것입니다. Satoshi 수준의 인물이 나타나 Moloch(모든 사람이 강제로 참여하고 누구도 탈출할 수 없는 악성 경쟁을 상징) 를 제거할까요?
35. AI 에서 일부 국제 조정을 하는 것은 아마 좋은 생각일 것입니다. 우리는 조약과 GPU 카운팅을 원할 수 있습니다. 이这套는 다음과 같이 설계될 수 있습니다. 첫째, 군사 및 정부 권력의那种螺旋 상승하는 대립적 축적을 늦추고, 둘째, 과학 및 기타 중요 진보 분야에 대한 영향을 최소화합니다. 우리는 이를 얻지 못할 수 있습니다. GPU 가 너무 보편적으로 강력하기 때문입니다. 핵무기에서는 우리가 해냈습니다. 미친 사람을 제외하고는 누구도 실제로 핵폭탄을 사용하고 싶어 하지 않기 때문입니다.
36. AI 연구소 조정의 일시 정지 또는 감속은 이제 2023 년보다 더 가능해 보입니다. 여기에는 많은权衡이 있지만, 저는 일시 정지의 논쟁적 가치가 오늘 2023 년보다 약간 더 높아졌다고 생각합니다. 「일시 정지는 낭비될 것이다」라는 주장은 더 이상 성립하기 어렵습니다. 자동화 연구가 있기 때문입니다—비록 아직 완전히 그렇지는 않지만 (우리가 가진 것은 자동화 엔지니어링입니다). 솔직히 말해서, 저는 개인적으로 현재 일시 정지를 지지하지 않습니다. 주로 이것이 특이점을 통과하는 그 줄타기에서 너무 많은 다른 부분을 방해할 수 있기 때문입니다. 기술 트리 안에 용이 숨어 있을 수 있으며, 상대는 실재합니다.
권력, 폭력, 안보, 자유
37. 유감스럽게도 알려드립니다. 우리의 우주는 Bostrom 의미에서 취약할 수 있습니다 (철학자 Bostrom 의 「취약 세계 가설」: 기술 진보가 однажды 발견되면 문명을 파괴할 수 있는某种 능력을 꺼낼 수 있음). 현재 세계에 일부 자유도가 존재할 수 있으며, 우리는 거버넌스와 자유의 그一套 규범 (이一套는 파놉티콘을 제외하고 우리 세계의 진실에 충분함) 을 유지하면서 빠르게 조정하여 이를 통제할 수 없습니다. 이러한 세계에서 권력 축적은 미끄러운 경사입니다.这类 세계의 많은 수는 결국 대부분의 사람에게 매우 나쁩니다. 이것이 사실이 아니기를 바라지만, 그럴 수 있습니다.
38. AI 확산은 잠재적인 속도 제한 요소가 얼마나 많든 간에 0 보다 큰 속도로 발생할 것입니다. 세계에는 너무 많은 컴퓨터가 있으며, FLOP 대 지능의 환율은 역사상 최저점에 있습니다. 일이 정체될 것이라고 내기하지 마세요.
39. 「영구적 하층 계급」이라는 개념은 「영구적 상층 계급」의 존재를 내포합니다. 이는 어떤 상대적으로 정당성이 없는 이유로 인해 더 많은 권리를 가진 한 무리의 사람을 전제합니다. 이 이유는 결국 항상 암시적이거나 이미兑现된, 폭력에 의해 지지되는 지배입니다. 하지만 아마도先进 AI 가 있는 세계는 인간이 더 이상统治할 정당적인 이유가 없는 세계일 수 있습니다. 다른 인간을超越하는公认된 능력이나 지위 없이요. 이것이 100% 실현되지는 않겠지만, 점점 더 중요해질 수 있으며, 생각해 볼 가치가 있습니다. 저는 실천에서 도덕적 차원의 논증과 실용적 차원의 논증이 상당히 갈라질 것이라고 의심하며, 아마도 이것이 오히려 맞을 수 있습니다.
40.各种 방향의 힘이 기관을 변형하도록 압력할 것이며, 이러한 힘은 폭정으로 이어질 수 있습니다. 그곳으로 가는 길은 많으며, 일부는 안보를 명분으로 삼고, 일부는 양호한 권력 확산입니다—천장은 강력한 AI плюс 완전 자동 군사 공급망 плюс 완전 자동 무기입니다. 우리는 더 나은 기관이 필요합니다.
41. 밖에는大量의 제로데이 취약점이 있을 수 있습니다. 네트워크, 생물학, 인프라, 신경, 밈, 물리等领域에서. 우리는 알고리즘 깊이와 일관성이 이러한 분야에서 어떤回报를 가져오는지 전혀 이해하지 못합니다. 방어와 견고성 측면에서든 파괴 측면에서든요. 핵무기의 알고리즘 깊이는 세계에서 가장 똑똑한 인간에게도 도달 불가능하지 않습니다. 내일 우리의 기계는 다음 단계에 도달할 것이며, 그다음 단계에 도달할 것입니다. 현재 우리는 알고리즘적으로 매우 얕은那种 무작위 재앙률에 대해 조금 알 뿐이며, 알고리즘적으로 깊은 문명에서 어떤 일이 일어날지는 거의 알지 못합니다.
42. 관련된 한 마디: 기술 트리 안에 정말 끔찍한 것들이 있을 수 있습니다. 우리는 정말로 알지 못합니다.
43. 규모화된 로봇 능력은 순수 컴퓨터 모델을超越하는 실제 장악과 쿠데타 스타일 위험을 가져오며, 네트워크 공격의 새로운 표면과 새로운 벡터와 같은 더 평범한 것도 가져옵니다. 우리는 이러한 위험을 진지하게 받아들이고, 이를 낮추기 위해 노력해야 합니다.
44. 상호 확증 파괴는 20 세기와 21 세기 초의 기술에 기반을 두고 있습니다. 우리는 급격한 기술 변화를 경험할 것이며, 아마도 1000 년 분량의 변화가 매우 짧은 시간 안에 압축될 것입니다. 이는 MAD 가 당연시되지 않음을 의미합니다. 이 문제는 해결 가능하지만, 완전히 확실하거나 깔끔한 뒤집기도 아닙니다. 결정적 우위를 얻기 위해서는 오류 허용 범위가 극도로 낮아 아마도 근본적으로 불가능할 수 있기 때문입니다. 과거에 어떤 사람들은 이 주제를 상당히 진지하지 않은 방식으로 언급했는데, 저는 그것이 틀렸고 무책임하다고 생각합니다. 이는 우리가 논의할 수 있는 가장 진지한 주제 중 하나입니다. 사람들이 이에 대해 긴장하는 것은 옳지만, 저는 이제 이야기할 때라고 생각합니다.
45. 군대, 경찰 및 정부 집행의 주요 메커니즘은 자동화될 것이며, 인간보다 더 똑똑할 것입니다.你自己看着办怎么理解.
46. 마지막: AI 연구소는 결국 강한 의미에서 국유화될 수 있습니다. 제 생각에는 미국의 체제는 실제로 이와 호환되지 않지만, 국유화로 가는 길은 많으며, 보수적이거나 자유로운 정치 환경에서도 금지 구역에 막혀 죽지는 않은 것으로 보입니다. 원칙적으로 연구소는后端에서 군대, 정보 부서와 조정을 유지할 수 있으며, 이미 내놓은 자세보다 더 과시하지 않아도 됩니다. 연방 정부는 우리가 말하는 이런 일방적 권력을 소유하며, 이는 극도로 위험합니다. 민간 회사가 이런 권력을 소유하는 것은 또 다른 문제입니다. 그들은 일반적으로 직접 폭력을 행사하지 않으며, 법적으로 허용되지 않기 때문입니다. 저는 국유화를 좋아하지 않지만, 이 세계는 혼란스럽며, 점점 더 험악해지고 있는 것으로 보입니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@bayeslord
