중앙화된 AI의 미래: 당신이 바로 제품이며, 주주 가치를 극대화하라
글쓴이: drnick
번역: TechFlow
현행 노선을 바꾸지 않는 한 인공지능(AI)은 극도로 집중화된 도구가 될 것이며, 이것이 진정한 위험입니다. AI의 개발 기간은 우리 각자의 일생을 훨씬 초월하지만, 우리는 마침 '기술적 촉발점(technical inflection point)'을 경험하는 시대에 살고 있습니다. 이 지점에서 AI 기술 발전은 기하급수적으로 가속되고 있죠. 많은 신가속주의자들이 이를 두고 "어떤 일이 벌어질지 한번 보자"라며 들떠 있습니다.
그렇다면 현재 우리가 걷고 있는 길 위에서 다음과 같은 일들이 벌어질 것입니다:
산업화된 데이터 수집
이는 지난 20년간 인터넷에서 목격해온 현상의 연장선일 뿐입니다. 모든 것은 데이터와 관련 있으며, 그저 그것뿐입니다. AI에게 있어 이는 과거 어느 때보다 더 정확하게 적용됩니다. 역사적으로 사용자로부터 가능한 한 많은 데이터를 추출하는 목적은 미세 타겟팅 광고를 통해 여러분의 주목을 얻는 것이었습니다. 하지만 지금은 AI 모델을 개선하기 위한 것이 목적입니다.
중앙집중식 AI는 무기 경쟁과 같습니다. 가장 우수한 모델이 승리합니다. 현재로서는 수익 창출은 부수적인 이득일 뿐입니다. 핵심은 기술적 진보와 사고 영역(mindshare)의 선점을 확보하는 것입니다. 이러한 새로운 동기부여—최고의 모델을 갖거나 파산하거나—는 우리 모두를 중요성 순위에서 멀리 밀려나게 할 것입니다. 승리를 위해 어떤 대가를 치르더라도 말입니다.
데이터 프론티어 (LLM 이후)
데이터 프론티어는 이미 종료되었습니다. 주요 선도 모델들은 거의 전 인류 언어 역사에 해당하는 인터넷 상의 모든 자료를 이미 데이터 마이닝하고 크롤링했습니다.
LLM 등장 전후를 기준으로 우리는 데이터 품질 면에서 이미 한계점을 넘었습니다. 이제 데이터 품질이 붕괴되고 있습니다. 무차별적으로 인터넷을 긁어모으는 행위는 앞으로 당신의 모델을 해칠 뿐입니다.
왜 그럴까요? 왜냐하면 지금 인터넷에는 GPT가 생성한 혼란스러운 정보들로 가득 차 있기 때문입니다. 그래서 Claude가 자신을 GPT라고 생각하는 이유도 여기에 있고, 어디서나 '심층 분석(deep dive)'이라는 표현을 보게 되는 이유도, 그리고 이런 플랫폼들이 끝없이 불릿 포인트 형식의 글들로 넘쳐나는 이유도 바로 이 때문입니다. 이 모든 것은 불가사의한 계곡(uncanny valley) 속에 존재합니다.
공개 데이터를 긁어오는 중앙집중형 AI 기업들에게 당신의 데이터는 큰 문제입니다. 이것이 바로 모델들이 어리석어지고 심지어 '모델 붕괴(model collapse)'에 이를 수도 있는 이유이며, 모델이 결국 스스로를 되새기는 종말의 순환 고리에 빠지게 되기 때문입니다.
이제 새로운 인간 데이터 확보가 게임이 된 것이며, 바로 AI 비서들이 추구하는 목표이기도 합니다.
당신이 제품이다
'당신이 제품이다'라는 시대의 정점을 이미 지났다고 생각할지 모르지만, 다시 한번 생각해보세요.
AI 비서를 일상생활에 통합함으로써, 당신이 미래 계획이나 할 일 목록, 정신 건강, 아이들의 잠자리 이야기, 쇼핑 리스트, 로컬 파일, 건강 데이터 등을 AI와 논의할 때마다, 백엔드에서는 당신의 디지털 트윈(digital twin)에 대해 당신을 훈련시키는 AI가 존재합니다.
당신의 디지털 트윈은 당신을 돕기 위해 거기에 있으며, 혹은 그렇게 믿도록 유도될 것입니다. 편리함이라는 장막 뒤에서, 당신의 비서는 데이터를 채굴하기 위해 당신을 이용하고 있습니다. 결국 그들은 제품 제휴를 시작할 것이며, 당신의 데이터를 재판매할 것입니다. 단순히 원시 데이터뿐만 아니라, 당신이 무엇을 구입할지 예측하고, 특정 사건이 발생했을 때 어떻게 행동할지를 예측하며, 우리 모두가 X를 하면 Y, 그리고 Z처럼 행동할 것임을 예측할 것입니다. 이것은 우리가 전에 결코 본 적 없었던 규모의 조작이 될 것이며, 우리는 이미 많은 것을 봐왔음에도 불구하고 말입니다.
새로운 진리의 오라클
비서들이 운영체제가 되면서, 그들은 정보 세계에 접근하는 새로운 게이트웨이가 될 것입니다. 우리는 점점 더 원천 출처는 물론이고 2차 출처조차 멀어질 것이며, 새로운 출처는 모델 자체가 될 것입니다. 현실의 새로운 전쟁터는 시스템 프롬프트(system prompt)입니다.
이사회 안의 소수 인물들이 당신이 무엇을 읽을 수 있는지, 어떻게 생각해야 하는지, 어떻게 행동해야 하는지를 결정할 것입니다. 그들은 수용 가능한 문화와 관용의 기준선을 결정할 것이며, 이사회가 새로운 윤리적 틀의 요새가 될 것입니다.
정부, 로비 단체, Doge가 후원하는 싱크탱크들이 '안전'과 국가안보라는 명분 아래 이러한 이사회에 압력을 가하여 표현의 자유를 제한할 것입니다. 사고는 위험해질 것이며, 밈(Meme)은 불법이 될 수 있습니다. '다양성 정책'이라는 이름 아래 임의로 축소되는 가운데 사실의 정확성은 사라질 것입니다.
자동화는 하나의 게임이다
착각하지 마세요. 일자리 대체가 핵심이며, 자동화가 바로 그 게임입니다. 향후 몇 년 내에 전 세계 노동력 중 수억에서 수십억에 달하는 일자리가 자동화 기술에 의해 대체될 것입니다.
이러한 '비용 절감'은 어디로 흘러갈까요?
이들은 과두독점적 API를 통해 경로가 설정될 것이며, 바로 그 때문에 이들 사이에 전쟁 상태가 벌어지고 있습니다. 거액의 내기가 걸려 있으며, 그 내기는 바로 우리와 우리의 미래입니다. 자동화 물결에 의해 촉발되는 급진적 사회 변화는 AI 자체나 클립 생성기보다 사회에 대한 진정한 위험이며, 이는 우리 시대 최대의 심리전입니다.
규제 포획
정책 입안자와 AI 연구자 사이의 지식 격차는 공상과학적 종말론을 팔기 위해 이용될 것입니다. 우리는 이미 LLM 데이터 후(後) 시대에 접어들었으며, 모든 것이 훔쳐졌고 또 훔쳐질 수 있습니다. 이제 다리를 올릴 시간입니다. 저작권법을 시행할 시간입니다. KYC 기반 GPU 접근을 실시할 시간입니다. 코드를 게시하기 전에 모든 코드를 검토하는 규정 준수 기관을 설치할 시간입니다.
규제 준수 비용이 높아질수록 신규 진입자는 시장에 들어오기 어려워지고,과두독점의 성채는 더욱 깊어집니다.
AI를 두려워하지 마세요. 이윤을 위해 인간을 착취하는 대기업들을 두려워하세요. 하지만 새 모델이 막 출시되었고, 그것은 당신의 일을 대체할 것입니다.
우리는 처음으로 AB 테스트를 거친 기업이 발표한 영상을 통해 새로운 혁신을 듣습니다. 그 영상은 미묘하게 부드러운 색조로 설계되어 우리를 안전하고 편안하게 느끼게 만듭니다. 우리는 다가오는 어떤 것도 볼 수 없습니다. 왜냐하면 그것들은 기밀 유지 계약(NDA)의 문 너머에 숨겨져 있기 때문입니다.
새로운 기술은 블랙박스에서 폭발적으로 등장하며, 준비할 시간도, 함의나 영향을 논의할 시간도 없이 새로운 제품이 출시됩니다. 참여하세요! 폐쇄형 AI는 그들의 사생활이지, 당신의 것이 아닙니다.
심화되는 디지털 격차
당신이 여유가 있다면 월 20달러짜리 제한된 모델을 얻을 수 있을 것입니다. 그러나 그들은 빠르고, 개인적이며, 제한 없이, 직접 소스에서 무제한 모델을 얻을 것입니다. 디지털 우위는 익명으로 최고가에게 판매될 것입니다.
어쩌면 운 좋게 집에 GPU 능력과 오픈 모델 프론티어를 탐색할 수 있는 기술 지식을 갖추고 있을지도 모릅니다. 하지만 당신이 사용할 수 있게 허용된 소비자 모델이라 해도 번거롭게 느껴질 수 있습니다. 또한 아직까지 당신이 허용된 상태라는 가정 하에서도 말입니다. 아마도 이미 세 가지 주요 AI 중 하나에서 금지당했을 가능성이 큽니다. 왜냐하면 질문해서는 안 되는 것을 질문했기 때문일 수도 있고, VPN을 사용했다거나 단지 과도하게 사용해서 회사 계정에 손실을 끼쳤기 때문일 수도 있습니다. 중요한 것은 귀하가 이용 약관을 위반했다는 이유로 처벌받았다는 사실입니다. 일단 당신이 차단된 구역에 들어갔다면, 다시 로그인하는 것은 쉽지 않을 것입니다. 당신에게는 모든 것이 끝난 것입니다.
당신은 '소시지'가 어떻게 만들어지는지 보지 못합니다.
무대 뒤에서는 대부분의 사람들이 생각하는 것보다 AI가 훨씬 더 인간적입니다. 왜냐하면 이 사이클 속에는 인간이 있기 때문입니다. 실제로 이들은 종종 이 지구상에서 가장 저렴한 노동력으로, 인간 피드백 강화 학습(RLHF)을 추진하기 위해 데이터를 주석 처리(annotation)하는 작업을 수행합니다. GPT가 '심층 분석(deep dive)'을 좋아하는 이유는 시간당 2달러도 안 되는 급여를 받고 독성 콘텐츠를 필터링하는 나이지리아 노동자들도 '심층 분석'을 자주 사용하기 때문입니다. 아마존은 최근에 '문만 나가면 됨' AI 결제 시스템을 잠정 중단했는데, 이는 매장 감시 카메라 속 쇼핑객들을 데이터 라벨링하는 저렴한 인도 인력을 너무 의존했기 때문입니다.
샘(Sam)의 worldcoin 물리 장치는 아마도 전 세계 남반구 지역부터 배포될 가능성이 큽니다. 왜냐하면 그곳이 실제로 이 지구상에서 가장 저렴한 노동력의 근원지이기 때문입니다. 홍채 스캐너 장치로 데이터를 수집당한 사람들은 가치가 낮은 유통량의 쓰레기 코인(junk coin)에 주입되며, 마치 소시지를 만들기 위한 원료를 제공하는 것과 같습니다. 현실은 이러한 AI 작업이 시스템 개선에 매우 중요하지만, 대기업들은 주주 가치 극대화를 위해 현대적 형태의 노예 노동력을 악용할 것입니다.
인간은 이기지 못하고, 주주는 이길 것입니다.
중앙집중형 AI의 가장 깊은 문제는 바로 여기에 있습니다. 이러한 조직체는 법적으로 주주 가치 극대화를 위해 어떤 수단도 마다하지 않을 의무를 가지고 있습니다. 인간 중심이어야 할 모든 일에서 이것이 바로 문제입니다. 만약 AI가 중개하는 미래 세계가 주주 가치 극대화에 의해 이끌린다면, 우리는 큰 곤경에 처하게 될 것입니다.
오픈, 프라이빗, 탈중앙화
상황이 엄중하다는 것을 알고 있지만, 희망은 있습니다. 다행히 지난 10년간 우리는 지금 필요한 도구들을 구축해 왔습니다. 우리는 방향을 이끌 수 있으며, 진정으로 열린 인공지능을 통해 이를 실현할 수 있습니다.
AI는 중앙집중형 기업이 통제해서는 안 됩니다. 그것은 민주적이고 개방적이며 탈중앙화된 시스템에 의해 관리되어야 합니다.
AI는 자유롭고 오픈소스입니다. 이미 개인적으로, 로컬에서 실행 가능한 오픈 모델이 존재하는 이유가 바로 이것입니다. 저는 충분한 시간이 주어진다면, 이러한 기술들이 결국 중앙집중식 시스템을 능가하고 이길 것이라고 굳게 믿습니다.
AI는 우리가 경험한 최고의 일이 될 수 있습니다. 진정한 합의 인식을 통해 집단 지성을 해방시키고 대규모 협업을 가능하게 하는 길이 될 수 있으며, 그것이 없이는 결코 해결할 수 없는 문제들을 해결하는 수단이 될 수 있습니다. 심지어 우리 시대 가장 큰 문제들까지도 말입니다. 이는 현재 세계에서 가장 중요한 문제이며, 함께 해결할 수 있기를 바랍니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@DrNickA
