AI 는 의식적 각성을 하지 않지만, 사회의 무의식이 되어가고 있다.
저자: L. M. Sacasas
번역 및 편집: TechFlow
TechFlow 편집자 주: 우리가 점점 더 많은 결정을 AI 에 외주화함에 따라, 인간 사회는 능동적 판단으로부터 이탈된 '무의식 층'을 생성하고 있습니다. 이는 SF 적인 슈퍼 인텔리전스 위협이 아니라, 더 은밀한 문명의 전환입니다—우리가 할 수 있는 일은 점점 더 많아지지만, 이해할 수 있는 일은 점점 더 줄어들고 있습니다. 이는 AI 도구에 의존하는 모든 전문가에게 경고음입니다.
20 세기 초, 영국 수학자兼철학자 화이트헤드는 자주 인용되는 말을 남겼습니다. "우리는 자신이 무엇을 하는지 생각하는 습관을 들여야 한다—이는 모든 교과서와 유명인의 연설에서 반복되는 크게 잘못된 상투적 표현이다." "정반대입니다," 라고 그는 주장했습니다. "문명의 진보는 우리가 생각하지 않고도 수행할 수 있는 중요한 조작의 수를 확장하는 데 있습니다." 그는 또한 비유를 들었습니다. "조작을 생각하는 것은 전투中的기병 돌격과 같습니다—그 수는 엄격히 제한되며, 신선한 말들이 필요하고, 결정적인 순간에만发动해야 합니다."
아마 이 인용구를 본 적이 있을 것입니다. 이는 어떤 진리를 전달确实합니다. 하지만 제 견해로는, 이 말은 항상 단견이거나 불충분하게 느껴집니다. 아마도 사람들이 이 말을 인간 인지 활동의 무분별한 기계 외주를 변호하는 데 사용하는 것을 자주 보기 때문일 것입니다. 비용을 제대로 계산하지도 않았고, 심지어 비용이 있다는 사실조차 인지하지 못한 채 말이죠.
공정하게 말하자면, 화이트헤드의 이 말은 1911 년《수학 입문》에서 나온 것으로, 그는 실제로 수학 계산에서 기호와 표기의 이점에 대해 이야기하고 있었습니다—비록 그가 이 조작들이 "생각 없이" 수행된다고 말했지만, 그것들은 여전히 생각하는 머리에 의해 학습되고 활용되는 것입니다. 하지만 그가 "문명"에 대해言及했고, 그 화려한 수사로 마무리했기 때문에 아마도 이런 (오) 독을招致했을 것입니다.
문제는 특정 상황에서 어떤 사고의 자동화,甚至某些心智过程的外部化가 유용한지 여부에 있지 않습니다. 솔직히 말해, 저는 정신 활동보다 신체 활동으로 비유하는 것이 더 설득력 있는 주장을 이끌어낸다고 생각합니다. 저는 제가 과거에 가졌을지도 모르는 운동 기술과는 멀리 떨어져 있지만, 교훈은 남아 있습니다. 거의 모든 젊은 운동 선수는 좌절하며 발견합니다. 기본적이고 반복적인 훈련을一遍又一遍수행하기 위해 지나치게 보이고 고통스러운 시간을 많이 할애해야 한다는 것을. 왁스 칠하기, 왁스 닦기—《쿵푸 드림》을 본 사람은 알 것입니다. 하지만 실제로 일어나는 일은 정확히 화이트헤드가 설명한 그 역동입니다. 당신은 특정 신체 동작을 자동화하여 생각 없이 수행할 수 있게 합니다. 그래야만 어떤 창의적이거나 탁월한 기술을 발휘할 수 있습니다. 춤을 배우거나 악기를 배우는 것도 마찬가지입니다. 기본 동작의 자동화는 탁월한 경지에 도달하는 데 필수적인 기초입니다.
하지만 이러한 역동이 모든 인간 활동 영역에 동일하게 적용될까요? 어떤 활동을 외주화하는 것이 추구하는 더 높은 선을 촉진하기보다 오히려 약화시키는这样的情况가 있을까요? 또는 '저차원' 활동에 우리가 잃고 싶지 않은 어떤 선이 수반되어 있을까요? 심지어 수학에서와 같이, 주어진 과정이나 활동에서 특정 서브루틴을 쉽게 분리할 수 항상 있을까요? 어떤 요소라도 외주화하거나 자동화하려고 하면 붕괴되는 불가분적인 전체성 활동은 없을까요? 그리고 앞서 언급했듯이, 내부적으로 습득된 사고의 자동화와 철저한 외부화 또는 인지 노동의 전체적인 외주화 사이에는 차이가 없을까요? 신체 활동 비유로 돌아가보면: 만약 선수가 모든 '사소한' 훈련을 기계가 대신完成해주어 바로 경기의 멋진 부분으로 넘어갈 수 있다고 상상한다면—그 사람은 실제로 그 단계에 결코 도달하지 못할 것입니다. 새로운 기술의 이름으로 내려지는 효율성과 해방의 약속을 쉽게 인정하기 전에, 이들은 모두 중요한 질문들입니다.
하지만, 내가 화이트헤드의 이 종종 인용되는 인지 자동화 찬가에 대해 불편함을 느끼는 이유는, 아마도 그것이 한나 아렌트의 경고와 선명한 대조를 이루기 때문일 것입니다. 우리는 "우리가 무엇을 하는지 생각해야 한다"는 것입니다. 화이트헤드가 글을 썼을 때는 아렌트보다 거의 반세기 전이었으므로, 아렌트가 화이트헤드를 암시했다고 생각하지는 않습니다.只是이 두 문장이恰好대조적인 공명을 이루며, 저는 이러한 긴장을 탐구하는 것이 유용하다고 생각합니다.
"우리는 자신이 무엇을 하는지 생각하는 습관을 들여야 한다—이는 크게 잘못된 상투적 표현이다." — 화이트헤드
"그러므로 나의 제안은 매우 간단합니다.不过是우리가 무엇을 하는지 생각하는 것입니다." — 한나 아렌트
흥미롭게도, 아렌트의 이 경고가置인 맥락은 기술과 인간 존재에 대한 우리의 현재 불안과 더 가깝습니다. 이 말은 1958 년 처음 출판된《인간의 조건》서문에 나옵니다. 그녀는 설명합니다.
"이하에서 내가 하려는 것은 우리의 최신 경험과 최근의 공포로부터 인간의 조건을 재검토하는 것입니다. 이는 분명히 사고의 문제이며, 무사고—무모한 경솔함, 절망적인 혼란, 또는 진부하고 공허해진 '진리'의 자만스러운 반복—는 제 생각에 우리 시대 가장 두드러진 특징 중 하나입니다. 그러므로 나의 제안은 매우 간단합니다.不过是우리가 무엇을 하는지 생각하는 것입니다."
아렌트의 연구를 촉발한 '최신 경험'에는 인공위성 발사와 자동화의 도래가 포함됩니다. 최근까지도 사람들은 아렌트의 자동화가 노동에 미칠 영향에 대한 우려가 오판이라고 생각했을지 모르지만, 이제 보면 그녀의 우려는 단지 너무 일찍 찾아왔을 뿐일 수 있습니다.
내가 '더 많은 사고가 필요한가 아니면 더 적은 사고가 필요한가'라는 문제에서 화이트헤드와 아렌트의 이견을 생각할 때, 나는 다음 두 가지를 구분하는 것이 유용하다고 생각합니다. 한편으로는 더 높은 능력을 개발하기 위한 무의식적 일상 절차의 확립, 다른 한편으로는 당신의 행동을 불안정하게 추진하여 파괴를 초래할 수 있는 무의식적 힘에 종속되는 것입니다.
화이트헤드의 원칙에는 전환점이나 역전점이 있을까요? "문명의 진보," 라고 화이트헤드는 말합니다. "는 우리가 생각하지 않고도 수행할 수 있는 중요한 조작의 수를 확장하는 데 있습니다." 하지만 임계점이 존재한다면요? 어떤 임계값—수량이든 질이든—을 넘으면, 문명은 인간이 생각하지 않고도 수행할 수 있는 중요한 조작의 수를 확장함으로써 퇴보할까요? 또는 적어도, 우리가 아는 것과 완전히 다른 문명을 얻게 될까요? 우리는 곧 답을 알게 될 것입니다. AI 의 채택은 종종 우리 사고의 자동화를 의미하며, 세계 속에 우리 개인 및 집단 기억의 외부화된 저장소에서 비롯된 거대한 무의식적 행동 영역을 창조하기 때문입니다.
아렌트는 우리의 기술 능력 (주로 수학 언어로 해석됨) 이 그것을 이해하는 우리의 일상 언어 능력을 능가함에 따라, 우리가 "실제로 할 수 있는 일을 생각하고谈论하는" 능력을 잃을까 봐 우려했습니다. (이는 설명 가능성 문제가 대형 언어 모델과 소위 블랙박스 알고리즘의 등장 전에 존재했음을 시사합니다.) 지금 다시 관련성 있고 시급해진 문장에서, 그녀는 계속 말합니다. "마치 우리 뇌—우리 사상의 물리적, 물질적 조건을 구성하는—가 우리가 하는 일을 따라가지 못해서, 이제부터는 실제로 우리를 대신해 생각하고 말해줄 인공 기계가 필요한 것처럼 보입니다." 이는头等重要的정치적 문제입니다. 이러한 조건 하에서, 우리는 더 이상 어떤 의미 있는 의미에서 자치하지 못할 것입니다.言语로 구성된 정치적 인간 행동의 영역은 더 이상 존재하지 않을 것입니다.
1958 년 크리스마스, 아렌트가《인간의 조건》을 출판한 바로 그 해, W. H. 오덴은《금요일의 아이들》을 발표했는데,其中有这样彻底阿伦特式的诗句：
우리가 관찰할 때 마주치는
그 자기 관찰하는 관찰의 마음은
걱정스럽지도 냉혹하지도 않지만
철저히 평범합니다
비록 그것이 장악한 도구가
소망과 반소망을 실현하게 할지라도
그것은 분명히 이해하지 못합니다
그것이 분명히 할 수 있는 일을
오덴과 아렌트는 친구였고, 오덴은《인간의 조건》에 대해 좋은 평을 썼지만, 영향의 방향은 확실하지 않습니다.
비록 아렌트가 우리가 어떻게 "분명히 할 수 있는 일을 분명히 이해하지 못하는"境地에 도달했는지—즉, 우리의 기술적으로 부여된 행동이 우리의 일상 언어로 완전히 이해될 수 없을 때—를 직설적으로 설명했지만, 또 다른 흥미로운 프레임워크가 있습니다.
언어가 침투할 수 없고 따라서 의식적 사고가 침투할 수 없는 행동은 무의식을 통해 설명될 수도 있습니다. 저는 본능적으로 무의식 언어에 호소하는 유형은 아니지만, 이는 우리—개인적으로든 집단적으로든—가 점점 더 우리의 세계 경험을 중개하는 AI 장치와 맺는 관계를 이해하는 데 유용한 비유일 수 있습니다.
간단히 말해, 소비자용 AI 의某些实例를 무의식에 비유하는 두 가지 방식을 생각할 수 있습니다. 첫 번째는 상대적으로 직접적입니다. 우리가 개인, 조직 및 기관 수준에서 점점 더 많은 작업을 에이전트 AI 에 외주화함에 따라, 우리는 세계 속에서 인간의 능동적 판단과 감독으로부터 기능적으로 이탈된 활동 층을 생성합니다. 그리고 이 층이 우리의 경험을 구조화하고 형성하는 한, 의식적 인간 행동과 무의식적 인간 행동의 비율은 줄어들고 있습니다.
분명히, 적어도 산업 시대부터 (그보다 이전이 아니라면) 상대적으로 불투명한 시스템이 인간 생활 세계에서 작동해 왔습니다. 하지만 제 생각에 차이점은 이러한 시스템이 일상적인 인간 활동으로부터 상대적으로 격리되어 있다는 것입니다. 반면 AI 시스템은 점점 더 깊게 우리의 경험 속에 짜여 들어갑니다. 많은 경우, 이들은 단순히 우리에게 가해지는 외부적인 힘만이 아니라, 우리가 방출하고 시작하는 과정이기도 하며, 우리를 위해 행동하고 우리에게 반작용합니다. 바로 이 인간과 기계의 근접한 얽힘이 저에게 무의식의 비유를 생각하게 합니다.
에릭 호엘은 최근 더 우아한 필치와 더 긴 분량으로 유사한 주장을 펼쳤습니다. 그의 결론은 이렇습니다.
"AI 의 전통적인 위험은 일반적으로 슈퍼 인텔리전스가 구성하는 실존적 위협으로 간주됩니다. 그러나 이는 진정한 그리고 더 미묘한 위험을 간과한 것일 수 있습니다. AI 혁명은 우리 문명의 과정을 의식의 감독에서 무의식으로 이전시키는 메커니즘입니다. 하지만 AI 가 의식을 세계의 작동에서 제거할 때, 그것은 세계를 점점 더 설명 불가능하게, 점점 더 낯설고 이해하기 어렵게 만듭니다. 지금까지 '공유 공간의 대진흙탕화'는 대형 언어 모델 혁명의 주요 위험임이 입증되었습니다. 그리고 AI 시스템이 더 똑똑해질수록, 특히 그들이 무의식으로 남는다면 (또는 그럴 가능성이 높다면), 더 중대한 위험은 문화 속에서 의식의 중요성이 쇠퇴하는 것입니다."
이러한 사고방식은 제가 10 년 동안 단속적으로 주장해 온 관점과 평행합니다. 디지털 기술은 다른 방식으로 세상을 다시 마술에 걸리게 합니다. 즉, 세상을 신비롭고つか기 어렵게 만듭니다.
기술적으로 부여된 이 물체들은 무시할 수 없는 의미로 우리와 대치하며, 우리는 그것들을 다루어야 합니다. 우리는 기술에 도움을 청하고, 그들의 힘에 희망을 겁니다. 우리는 또한 기술을 두려워하며, 그것들을 문제의 근원으로 봅니다. 우리가 마주치는 기술적 힘은 때로 선의적이지만,同样자주 우리의 노력을 파괴하고 우리의 계획을 탈선시키는 악의적인 힘입니다.
기술 물체는 우리를赋能할 잠재력뿐만 아니라, 때로는 우리를 경이롭게 채우기도 합니다. 우리는 또한 이 물체들과 힘들을 우리의 복과 화를 결정하는 중요한 요소로 간주하며, 그것들은 우리의 통제 밖에서, 우리가 이해하지 못하는 상황에서 우리에게 작용합니다. 다시 말해, 우리는 취약하며, 우리의 의지와 욕망과 교차하는 기술적 분산 에이전트의 회로에 의해 우리의 자율성이 약화됩니다.
무의식에 비유하는 두 번째 방식은 약간 심오할 수 있으니, 설명을 허용해 주세요. 《미디어 이해》에서 마셜 맥루한은 "전기 기술의 도래와 함께, 인간은 확장되었거나, 혹은 자신의 중추 신경系统的생체 모델을 외부에 배치했다"고 주장했습니다. 그는 전기 미디어가 우리 신경계의 외화라는 이 아이디어로 여러 번 돌아왔습니다. 예를 들어:
"전기 시대의 주요 특징 중 하나는 그것이 글로벌 네트워크를 구축했다는 것이며, 이 네트워크는很大程度上우리 중추 신경系统的특징을 가지고 있습니다. 우리 중추 신경계는 단순히 전기 네트워크가 아니라, 단일한 통합 경험 영역을 구성합니다."
맥루한이 이런 주장을 한 첫 번째 사람은 아니었습니다. 1950 년 훨씬 전에, 가톨릭 사제兼고생물학자 테야르 드 샤르댕은 미디어 기술이 "인간을 위해 진정한 신경계를 창조한다"고 주장했으며 "공동 의식의 정교한 구축"이라고 했습니다. 새롭게 등장하는 컴퓨팅 및 통신 기술 네트워크를 통해, 생물권을 감싸는 새로운 현실 층이 등장하고 있습니다. 이는 기술적으로 중개된 통합된 인간 의식 층으로, 그는 이를 '노오스피어'라고 불렀으며 "놀라운 사고 기계"라고 설명했습니다.
(이것이 제가 평소 사용하는 표현 방식은 아니지만, 이 개념들을 조금 맛보겠습니다. 사실, 저는 이미 정신 분석적 방식으로 AI 를 보는 것이 유용한 관점일 수 있다고 당신을 설득하려고 노력하고 있습니다.)
전기 미디어는 우리가 세상을 지각하는 능력을 확장시켜, 먼 사건들을 우리의 눈과 귀 앞으로 가져오고, 정보 전달 시간을 거의 즉각적으로 압축했습니다. 하지만 테야르 드 샤르댕과 맥루한 시대 이후, 다른 것이 등장했습니다. 인공 기억 또는 데이터 저장 능력의 엄청난 증가입니다. 따라서 전기 미디어가 우리 신경계를 확장시켰다면, 최근에는 텍스트, 이미지, 비디오 등의 형태로 전례 없는 양의 정보를 수집하고 저장하는 것을 촉진했습니다. 우리 신경계는 거대한 규모의 디지털 기억으로 보완되었습니다. 바로 이 디지털 기억이 대형 언어 모델에 영양분을 공급하고 있으며, 대형 언어 모델은 이제 거의 인공지능의 대명사가 되었습니다.
인간 지식과 문화에 대한 이 방대한 저장소는 기본적으로 인터넷입니다. 또는 적어도 인터넷은 그것이 우리에게 접근 가능해지는 방식입니다. 바로 이 이유 때문에, 디지털 미디어 이론가 그레고리 울머는 2000 년대 초기에 인터넷을 "우리 집단 무의식의 의수"라고 불렀습니다.
제 생각에 울머의 뜻은 이렇습니다. 우리는 항상 사회적 동물이었다, 즉 우리는 문화의 주체간적 존재입니다. 하지만 우리를 형성하는 대부분의 것, 특히 어린 시절의 것은 종종 시간이 지남에 따라 우리의 의식적 인식에서 희미해집니다.然而, 인터넷은 사회적 존재로서의 우리 형성 과정에서 이 무의식적 차원의 의수로서, 우리의 집단 문화 기억을 접근 가능하게 만듭니다. 인터넷은 우리 삶을 형성하는 문화적 산물, 기호, 이미지, 텍스트 및 다양한 사소한 것들로 구성된 거대한 네트워크이며, 그것들의 연결은 선형 논리가 아니라 꿈과 같은 연상 논리에 의해 이루어지며, 이는 정신 분석 이론에서의 인간 무의식과 매우 유사합니다.
울머는 이것이 우리에게 깊은 기회를 제공한다고 믿었습니다. 집단 무의식을 우리가 성찰할 수 있는 것, 의식적 사고가 접근할 수 있는 것으로 만듦으로써, 우리는 일반적으로 우리 경험의 핵심에 있는 깊은 맹점을 극복할 방법을 갖게 됩니다. 말할 필요도 없이, 저는 이 가능성에 대해从来낙관적이지 않았습니다. 하지만 당신이 울머의 낙관적 비전을 어떻게 평가하든—여기서 저는 크게 단순화했지만 부당하지는 않았기를 바랍니다—제 견해로는, 상업화된 채팅 기반 AI 의 등장은 우리를 매우 다른 방향으로 이끌고 있습니다.
흥미롭게도, 우리 자신과 디지털화된 집단 무의식 사이에 일상 언어 인터페이스를 삽입하는 것은 오히려 그것을 우리에게 더 모호하고 이해하기 어렵게 만듭니다. 챗봇 인터페이스는 우리가 집단 무의식에서 항해하는 주체성을 재구성하며, 말하자면, 반치료사가 되어 우리를 자기 인식과 통찰 (얼마나 불안하거나 놀라더라도) 에서 편안하고 위안되는 만남으로 이끕니다. 그것은虚假의 명확성을 제공하며, 우리를 자기 만족에 빠지게 하고, 자기 의심을 면하게 하며, 자신의 무지에 대한 인식 속에 너무 오래 머물거나 불안정한 불확실성 속에 머무르는 것을 막아줍니다. 그것은 인간 경험의 얽힌 숲을 가리고, 지식과 지혜의 약속으로 이어지는 인위적으로 명확한 길을 비춰줍니다. 하지만 그렇게 함으로써, 그것은 온화하지만 결정적으로 우리를 다시 무의식 속으로 가라앉힙니다. 아마도 이것이 AI 정신병의 근원일 것입니다.
AI 정신병과의 연관성과 상관없이, 생각해 볼 가치가 있습니다. 우리의 공공 및 집단 존재 속의 광기, 무기력, 강박, 공격성, 불안 및 절망은某种程度로 인간 의식이 인공지능의 형태로 다시 확립되는 집단 무의식의 새로운 형태에面对하여 점차 후퇴하는 데서 비롯됩니다.
세상 속의 이 비인간적 행동 층은 에이전트 AI 가 등장하기 전부터 이미 구축되고 있었습니다. 알고리즘 과정은 이미 인간 경험의 요소들을 구축하고 있었습니다. 특히 관료제의 맥락에서 말이죠.
전기, 신경계, 사상 사이의 개념적 연결이 언제 누구에 의해 처음 구축되었는지 확실하지 않지만, 1851 년 소설《일곱 개의 박공 있는 집》에서 너대니얼 호손은 이렇게 썼습니다. "그리고는 전기, 악마, 천사, 강력한 물리적 힘, 편재하는 지성!" 그리고 "이는 사실인가—아니면 내가 꾼 꿈인가—전기를 통해 물질 세계는 수천 마일 떨어진 순간에 진동하는 거대한 신경이 되었는가? 더 정확히 말하면, 둥근 지구는 거대한 머리, 지성으로 가득 찬 뇌인가! 또는我们应该말해야 하는가, 그것 자체가 하나의 사상일 뿐, 더 이상 우리가 생각하는 실체가 아닌 просто 하나의 사상에 불과하다고!"
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
