튜링상 수상자들이 AI계의 '오펜하이머'가 되는 것을 걱정하고 있다
작자: Moonshot
1947년 앨런 튜링은 한 강연에서 "우리가 원하는 것은 경험으로부터 학습할 수 있는 기계다"라고 말했다.
78년 후, 튜링의 이름을 딴 '컴퓨터 분야 노벨상'이라 불리는 튜링상은 튜링이 제기한 이 문제 해결에 평생을 바친 두 과학자에게 수여되었다.
앤드류 바르토(Andrew Barto)와 리차드 서튼(Richard Sutton)은 9살 차이의 사제지간으로, 2024년 튜링상을 공동 수상했다. 그들은 알파고(AlphaGo)와 챗GPT(ChatGPT) 기술의 기반을 마련한 인물이며, 머신러닝 분야의 기술 선구자이기도 하다.
튜링상 수상자 앤드류 바르토(Andrew Barto)와 리차드 서튼(Richard Sutton)
사진 출처: 튜링상 공식 웹사이트
구글 수석 과학자 제프 딘(Jeff Dean)은 시상사에서 "바르토와 서튼이 개척한 강화학습 기술은 튜링의 질문에 직접적으로 답하고 있다. 그들의 연구는 지난 수십 년간 AI 발전의 핵심이었으며, 개발된 도구들은 여전히 AI 번영의 핵심 기둥이다... 구글은 ACM A.M. 튜링상을 후원하게 되어 영광이다."라고 밝혔다.
튜링상 백만 달러 상금의 유일한 후원사는 바로 구글이다.
그러나 수상 후, 주목받는 두 과학자는 대형 AI 기업들을 향해 날선 비판을 가했다. 언론 인터뷰를 통해 그들은 다음과 같은 '수상 소감'을 전했다. 현재의 AI 기업들은 기술 연구보다는 '상업적 동기에 따라 움직이고 있으며', 사회에 '테스트도 없이 완성되지 않은 다리를 세워 사람들이 건너게 하고 있다'는 것이다.
희한하게도, 튜링상이 이전에 AI 분야 과학자들에게 수여된 것은 2018년이었다. 조슈아 벤지오, 제프리 힌튼, 얀 르쿤 등 세 명은 딥러닝 분야에서의 업적을 인정받아 수상했다.
2018년 튜링상 수상자들
사진 출처: eurekalert
특히 조슈아 벤지오와 제프리 힌튼(또한 2024년 노벨 물리학상 수상자)이라는 '인공지능의 아버지'라 불리는 두 사람은 최근 2년간의 AI 열풍 속에서도 지속적으로 글로벌 사회와 과학계에 대기업의 AI 남용에 대한 경각심을 촉구해왔다.
제프리 힌튼은 심지어 구글을 퇴사해 "자유롭게 말할 수 있도록" 했으며, 이번 수상자인 서튼 또한 2017~2023년까지 딥마인드(DeepMind)의 연구 과학자로 재직한 바 있다.
컴퓨터 분야 최고의 영예가 반복적으로 AI 핵심 기술의 기반을 다진 인물들에게 주어질 때, 하나의 묘한 현상이 드러나고 있다:
왜 정상에 선 과학자들이 항상 주목받는 순간, AI의 경종을 울리는가?
인공지능의 '다리 건설자'
앨런 튜링이 인공지능의 길잡이라면, 앤드류 바르토와 리차드 서튼은 그 길 위를 걷는 '다리 건설자'라 할 수 있다.
AI가 질주하는 가운데, 찬사를 받은 후 그들은 자신들이 쌓은 다리가 인간의 안전한 통행을 감당할 수 있을지 다시 한번 돌아보고 있다.
어쩌면 그 해답은 그들이 반세기를 넘긴 학문적 여정 속에 숨어 있을지도 모른다. 오직 그들이 어떻게 '기계의 학습'을 구축했는지를 되돌아봐야만, 그들이 왜 '기술의 통제 불능'을 경계하는지 이해할 수 있을 것이다.
사진 출처: 카네기 멜론 대학교
1950년, 앨런 튜링은 유명한 논문 《계산기계와 지능》에서 서두부터 철학적이며 기술적인 질문을 던졌다:
「기계는 생각할 수 있는가?」
이에 따라 튜링은 '모방 게임', 즉 후에 널리 알려진 '튜링 테스트'를 고안했다.
동시에 튜링은 기계 지능이 미리 프로그래밍되는 것이 아니라 학습을 통해 획득될 수 있다고 주장했다. 그는 '어린이 기계(Child Machine)' 개념을 상상했는데, 이는 아이처럼 훈련과 경험을 통해 점차 배워나가는 기계를 의미한다.
인공지능의 핵심 목표는 환경을 인식하고 더 나은 행동을 취할 수 있는 지능체(intelligent agent)를 만드는 것이며, 지능을 측정하는 기준은 지능체가 '어떤 행동이 다른 행동보다 더 낫다'고 판단할 수 있는 능력이다.
머신러닝의 목적 역시 여기에 있다. 기계가 행동한 후 피드백을 제공하고, 기계가 그 경험을 바탕으로 스스로 학습하도록 하는 것. 즉, 튜링이 상상한 보상과 처벌 기반의 머신러닝 방법은 파블로프의 개 훈련과 다르지 않다.
게임에서 계속 패배하면서 점점 강해지는 것도 일종의 '강화학습'이다
사진 출처: zequance.ai
튜링이 제시한 머신러닝의 길은 삼십 년 후에야 한 쌍의 사제가 다리를 완성한다—강화학습(Reinforcement Learning, RL).
1977년, 앤드류 바르토는 심리학과 신경과학의 영향을 받아 인간 지능에 대한 새로운 이론을 탐색하기 시작했다. 신경세포는 마치 '쾌락주의자' 같다는 관찰이었다. 수십억 개의 뉴런이 존재하는 인간 뇌에서 각 뉴런은 쾌락(보상)을 극대화하고 고통(처벌)을 최소화하려 한다. 그리고 뉴런은 단순히 신호를 수신하고 전달하는 것이 아니라, 특정 활동 패턴이 긍정적인 피드백을 유도하면 그 패턴을 반복하려는 경향을 보이며, 이는 전체적인 학습 과정을 이끈다.
1980년대에 들어, 바르토는 자신의 박사과정 학생 리차드 서튼과 함께 이 '끊임없이 시도하고 피드백에 따라 연결을 조정하며 최적의 행동 패턴을 찾는' 뉴런 이론을 인공지능에 적용하려 했고, 이로써 강화학습이 탄생하게 된다.
『강화학습: 입문』은 고전 교재가 되었으며, 약 8만 회 이상 인용됨
사진 출처: IEEE
사제는 마르코프 결정 과정(Markov Decision Process)이라는 수학적 기반을 활용해 많은 강화학습 핵심 알고리즘을 개발하고, 체계적인 이론 틀을 구축했으며, 『강화학습: 입문』이라는 교과서를 집필했다. 이를 통해 수만 명의 연구자들이 강화학습 분야에 진입할 수 있었고, 이들은 강화학습의 아버지라 불릴 만하다.
그들이 강화학습을 연구한 목적은 효율적이고 정확하며 보상을 극대화하고 행동을 최적화하는 머신러닝 방법을 찾아내는 것이었다.
강화학습의 '신의 한 수'
머신러닝이 '주입식' 학습이라면, 강화학습은 '자율 방임식' 학습이라 할 수 있다.
전통적인 머신러닝은 모델에 잘 라벨링된 데이터를大量로 제공하여 입력과 출력 사이의 고정된 매핑 관계를 형성하는 것이다. 가장 전형적인 예는 컴퓨터에 수많은 고양이와 강아지 사진을 보여주며 어느 것이 고양이고 어느 것이 강아지인지 알려주는 것으로, 충분한 데이터를 제공하면 컴퓨터는 결국 고양이와 강아지를 구별하게 된다.
반면 강화학습은 명확한 지침 없이 기계가 반복적인 시행착오와 보상/처벌 메커니즘을 통해 점차 행동을 조정함으로써 결과를 최적화하는 것이다. 로봇이 걷는 법을 배우는 것과 같다. 인간이 계속해서 '이 걸음은 맞고 저 걸음은 틀렸다'고 알려줄 필요 없이, 로봇은 시도하고 넘어지고 조정하면서 결국 스스로 걷게 되며, 독특한 보행 방식까지 개발할 수 있다.
자명하게도 강화학습의 원리는 인간 지능에 훨씬 더 가깝다. 어린아이가 넘어지면서 걷는 법을 배우고, 더듬거리며 물건을 잡는 법을 익히며, 흉내 내며 음절을 포착해 언어를 배우는 것과 같다.
화제가 된 '회전 돌개 발차기 로봇' 뒤에도 강화학습 훈련이 있다
사진 출처: 유수 테크놀로지
강화학습의 '최고의 순간'은 바로 2016년 알파고의 '신의 한 수'였다. 당시 알파고는 이세돌과의 대국에서 37수째에 모든 인간을 놀라게 하는 백수를 두었고, 한 수로 역전승을 거두었다.
바둑계의 최정상급 기사들과 해설자들도 알파고가 그 자리에 두는 것을 예측하지 못했다. 인간 기사들의 경험으로는 그 수가 '이해할 수 없이 이상한 수'였기 때문이다. 경기 후 이세돌도 자신은 그 수를 전혀 고려하지 않았다고 인정했다.
알파고의 '신의 한 수'는 기보를 외운 결과가 아니라, 무수한 자기 대국을 통해 시행착오, 장기 계획, 전략 최적화를 거쳐 스스로 탐색한 것이며, 이것이 바로 강화학습의 본질이다.
알파고의 '신의 한 수'에 흔들린 이세돌
사진 출처: AP
강화학습은 오히려 인간 지능에 영향을 미치기도 한다. 알파고가 '신의 한 수'를 보여준 후, 기사들이 AI의 바둑 수읽기를 배우고 연구하기 시작했고, 과학자들은 강화학습 알고리즘과 원리를 이용해 인간 뇌의 학습 메커니즘을 이해하려 하고 있다. 바르토와 서튼의 연구 성과 중 하나는 도파민이 인간의 의사결정과 학습에서 어떤 역할을 하는지 설명하는 계산 모델을 구축한 것이다.
또한 강화학습은 규칙이 복잡하고 상태가 변덕스러운 환경에서 최적해를 찾는 데 특히 능하다. 예를 들어 바둑, 자율주행, 로봇 제어, 맥락이 불분명한 인간과의 대화 등이다.
이는 현재 가장 선도적이며 핫한 AI 응용 분야이며, 특히 대규모 언어 모델(LLM)에서는 거의 모든 선도적인 모델이 RLHF(인간 피드백을 통한 강화학습) 훈련 방법을 사용한다. 즉 인간이 모델의 답변에 점수를 매기면, 모델은 그 피드백을 바탕으로 개선된다.
하지만 바로 이것이 바르토의 우려다. 대기업이 다리를 지은 후, 사람들이 다리를 건너는 행위 자체로 다리의 안전성을 시험하고 있다는 것이다.
"아무런 안전 조치 없이 수백만 사용자에게 소프트웨어를 바로 배포하는 것은 책임감 있는 행동이 아니다." 바르토는 수상 후 인터뷰에서 말했다.
"기술 발전은 잠재적 부정적 영향을 통제하고 회피하는 과정과 함께 이루어져야 하지만, 나는 그런 AI 기업들이 실제로 그러한 노력을 기울이고 있다고 보지 않는다." 그는 덧붙였다.
AI 정상급 인사들이 정말로 걱정하는 것은 무엇인가?
AI 위협론은 끊이지 않는다. 왜냐하면 과학자들이 가장 두려워하는 것은 자신들이 직접 창조한 미래가 통제 불능이 되는 것이기 때문이다.
바르토와 서튼의 '수상 소감'에는 현재 AI 기술에 대한 비난보다는 AI 기업들에 대한 불만이 가득 차 있다.
인터뷰에서 그들은 현재 인공지능의 발전이 대기업들이 기능은 강력하지만 실수하기 쉬운 모델을 앞다퉈 출시하는 방식으로 이루어지고 있으며, 이를 통해 막대한 자금을 조달한 후 수십억 달러를 추가로 투자해 칩과 데이터의 군비경쟁을 벌이고 있다고 경고했다.
각 대형 증권사는 AI 산업의 가치를 재평가하고 있다
사진 출처: 골드만삭스
실제로 독일 은행(Deutsche Bank)의 연구에 따르면, 현재 주요 기술 기업들이 AI 분야에 투자한 금액은 약 3400억 달러로, 이는 그리스의 연간 GDP를 초과한다. 업계 선두주자인 OpenAI는 기업 가치가 2600억 달러에 달하며, 새롭게 400억 달러 규모의 펀딩 라운드를 준비하고 있다.
사실, 많은 AI 전문가들이 바르토와 서튼의 견해와 일치한다.
이전에 마이크로소프트 전 임원 스티븐 싱노브스키(Steven Sinofsky)는 AI 산업이 규모 확대의 함정에 빠졌으며, 돈을 태워 기술 진보를 얻는 것은 기술 발전 역사에서 점점 비용이 낮아지는 추세와 맞지 않는다고 지적했다.
지난 3월 7일, 전 구글 CEO 에릭 슈미트(Eric Schmidt), Scale AI 창립자 알렉스 왕(Alex Wang), AI 안전센터 책임자 댄 헨드리크스(Dan Hendricks) 세 사람이 경고성 논문을 공동 발표했다.
세 기술계 거물은 현재 AI 선도 분야의 발전 양상이 맨해튼 프로젝트를 촉발한 핵무기 경쟁과 유사하다고 보았다. AI 기업들은 모두 자신의 '맨해튼 프로젝트'를 조용히 진행하고 있으며, 지난 거의 10년간 AI에 대한 투자를 매년 두 배씩 늘려왔으며, 규제가 개입하지 않는다면 AI는 핵폭탄 이후 가장 불안정한 기술이 될 수 있다고 경고했다.
『초지능 전략』 및 공동 저자들
사진 출처: nationalsecurity.ai
2019년 딥러닝으로 튜링상을 수상한 조슈아 벤지오는 블로그에 장문의 경고 글을 올렸다. 현재 AI 산업은 수조 달러의 가치가 있어 자본이 몰리고 있으며, 현재 세계 질서를 심각하게 뒤흔들 수 있는 영향력을 가지고 있다고 경고했다.
기술 전문가 출신의 많은 인사들은 현재의 AI 산업이 기술 탐구, 지능에 대한 성찰, 기술 남용에 대한 경계를 버리고, 칩을 쌓아 돈을 쏟아붓는 대자본의 이윤 추구 모델로 흘러가고 있다고 보고 있다.
"거대한 데이터센터를 짓고, 사용자에게 요금을 받으면서 안전성이 보장되지 않은 소프트웨어를 사용하게 하는 것은 내가 지지하는 동기가 아니다." 바르토는 수상 후 인터뷰에서 말했다.
또한 30개국 75명의 AI 전문가들이 공동 작성한 『고도화된 인공지능 안전 국제 과학 보고서』 초판은 "범용 인공지능(AGI)의 위험을 관리하는 방법은 일반적으로 AGI 개발자와 정책 입안자가 AGI 모델과 시스템의 능력과 잠재적 영향을 정확하게 평가할 수 있다는 가정에 기반한다. 그러나 AGI의 내부 작동 원리, 능력, 사회적 영향에 대한 과학적 이해는 매우 제한적이다."라고 기록하고 있다.
조슈아 벤지오의 경고 장문
사진 출처: Yoshua Bengio
쉽게 알 수 있듯이, 오늘날의 'AI 위협론'은 이미 기술 자체에서 대기업으로 화살표를 돌리고 있다.
전문가들은 대기업에게 경고한다. 돈을 태우고 자원을 쌓으며 파라미터 경쟁을 하지만, 당신들은 정말로 자신들이 개발한 제품을 이해하고 있는가? 이것이 바로 바르토와 서튼이 '다리 건설'이라는 비유를 사용한 이유다. 왜냐하면 기술은 전 인류의 것이지만, 자본은 대기업의 것이기 때문이다.
더욱이 바르토와 서튼이 오랫동안 연구해온 분야인 강화학습은 인간 지능에 더욱 부합하는 원리를 갖고 있으며, '블랙박스' 특성이 두드러진다. 특히 딥 강화학습에서는 AI의 행동 양식이 복잡하고 설명하기 어려워진다.
이것이 바로 인간 과학자들의 우려다. 인공지능의 성장을 돕고 지켜봤지만, 그 의도를 해독할 수 없다는 점.
딥러닝과 강화학습 기술을 개척한 튜링상 수상자들은 AGI(범용 인공지능)의 발전 자체를 걱정하는 것이 아니라, 대기업 간의 군비경쟁이 AGI 분야에서 '지능 폭발'을 일으켜 실수로 ASI(초지능 인공지능)를 만들어낼까 걱정한다. 이 둘의 차이는 단지 기술적 문제가 아니라, 인류 문명의 미래 운명과 직결된다.
인간 지능을 초월하는 ASI는 정보량, 의사결정 속도, 자기 진화 수준에서 인간의 이해 범위를 압도할 것이며, ASI에 매우 신중한 설계와 통치가 이루어지지 않는다면, 그것은 인류 역사상 마지막이자 가장 대항할 수 없는 기술 특이점이 될 수 있다.
AI 열풍이 한창인 지금, 이 과학자들이야말로 '냉수를 끼얹을' 가장 적격의 사람들이다. 어쨌든 50년 전, 컴퓨터가 아직 거대한 덩치였을 때부터 이미 그들은 인공지능 분야의 연구를 시작했으며, 그들은 과거를 통해 현재를 만들었고, 미래를 의심할 입장도 갖추고 있다.
AI 리더들이 오펜하이머와 같은 결말을 맞이하게 될까?
사진 출처: 이코노미스트
지난 2월 《이코노미스트》 인터뷰에서 딥마인드와 앤트로픽(Anthropic)의 CEO들은 이렇게 말했다:
자신들이 다음 오펜하이머가 될까 걱정되어 밤잠을 이루지 못한다고 말했다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
极客公园
