AI가 『1984』를 읽고는 그것을 금지하기로 결정했다
저자: 쿠리, TechFlow
지난주 영국 맨체스터의 한 중학교가 인공지능(AI)을 활용해 자사 도서관을 검토했다.
AI는 193권의 책을 ‘비치 중단’ 대상으로 선정한 목록을 제출했는데, 각 책마다 비치 중단 이유를 함께 첨부했다. 조지 오웰의 『1984』도 이 목록에 포함되었으며, 그 이유는 “고문, 폭력, 성적 강압을 다루는 주제를 포함함”이었다.
『1984』는 정부가 모든 것을 감시하고 역사 자체를 재작성하며 시민들이 어떤 내용을 읽을 수 있고 어떤 내용은 읽지 못하도록 통제하는 세계를 묘사한다. 그런데 지금 AI가 한 학교를 대신해 바로 그런 일을 벌이고 있다. 게다가 AI는 자신이 무엇을 말하고 있는지도 모를 가능성이 높다.
해당 학교 도서관 사서는 이 AI의 판단이 타당하지 않다고 보고, 제안된 전면적인 조치를 거부했다.
그러자 학교는 ‘아동 안전’을 이유로 그녀에 대해 내부 조사를 개시했고, 도서관에 부적절한 도서를 도입했다는 혐의를 제기하여 지방자치단체에도 신고했다. 그녀는 심한 압박을 받아 병가를 내고 결국 사임했다.
허무하게도, 지방자치단체의 조사 결과는 그녀가 실제로 아동 안전 절차를 위반했다는 결론을 내렸고, 신고는 성립되었다고 판정했다.
영국 학교도서관협회(British School Library Association)의 카롤린 로치(Caroline Roche) 회장은 이 결론으로 인해 그녀는 앞으로 영국 내 어느 학교에서도 일할 수 없게 되었다고 밝혔다.
AI의 판단에 저항한 사람은 직장을 잃었고, AI의 판단에 서명으로 동의한 사람은 아무런 문제도 겪지 않았다.
이후 학교는 내부 문서에서 모든 분류 및 그에 따른 근거가 AI에 의해 생성된 것임을 인정했는데, 구체적인 표현은 다음과 같았다. “분류는 AI가 생성했지만, 우리는 이 분류가 대체로 정확하다고 판단한다.”
한 학교가 ‘학생들에게 어떤 책이 적합한가’라는 판단을 AI에 맡겼고, AI는 자신조차 이해하지 못하는 답변을 돌려주었다. 그리고 인간 관리자는 이를 꼼꼼히 검토하지도 않은 채 서명만 했다.
이 사건은 영국의 언론 자유 단체인 ‘검열 반대 지수(Index on Censorship)’에 의해 폭로된 후, 단순히 한 학교의 책장 이상의 문제를 제기했다.
AI가 인간을 대신해 어떤 콘텐츠가 적합하고 어떤 콘텐츠가 위험한지를 결정하기 시작할 때, 누가 AI의 판단이 옳은지 판단할 것인가?
위키백과, AI에 문을 닫다
같은 주에 또 다른 기관이 이 질문에 대한 행동으로 답했다.
학교는 AI에게 사람들이 무엇을 읽을 수 있는지를 결정하게 했다. 그러나 전 세계 최대 규모의 온라인 백과사전인 위키백과(Wikipedia)는 정반대의 선택을 했다. 즉, 백과사전의 내용을 누가 작성할 것인지에 대한 결정권을 AI에게 넘기지 않기로 했다.
같은 주에 영문 위키백과는 대규모 언어모델(LLM)을 이용해 항목을 생성하거나 재작성하는 것을 금지하는 새로운 정책을 공식적으로 채택했다. 찬성 44표, 반대 2표로 가결됐다.
직접적인 계기는 ‘TomWikiAssist’라는 이름의 AI 계정이었다. 금년 3월 초, 이 계정이 위키백과에 스스로 항목을 생성하고 편집하는 행위를 했고, 커뮤니티에 의해 발견된 후 즉각 조치됐다.
AI가 하나의 항목을 작성하는 데 걸리는 시간은 불과 몇 초지만, 자원봉사자들이 AI가 작성한 항목의 사실 여부, 출처, 표현 방식 등을 검증하려면 몇 시간이 소요된다.
위키백과의 편집자 커뮤니티는 규모가 한정되어 있다. 만일 AI가 무한정으로 콘텐츠를 양산할 수 있게 된다면, 인간 편집자들은 도저히 검토해낼 수 없다.
그러나 이것이 가장 골치 아픈 부분은 아니다. 위키백과는 전 세계 AI 모델들이 가장 중요하게 삼는 학습 데이터 원천 중 하나다. AI는 위키백과에서 지식을 학습한 후, 이를 바탕으로 새로운 위키백과 항목을 작성하고, 그렇게 만들어진 새 항목은 차세대 AI 모델의 학습 데이터로 다시 흡수된다.
만약 AI가 생성한 오류 정보가 이 사이클에 섞여들면, 오류는 계속해서 증폭되며 ‘중첩형 AI 오염(matrioshka-style AI poisoning)’ 현상이 발생한다.
AI가 학습 데이터를 오염시키고, 오염된 학습 데이터가 다시 AI를 오염시킨다.
다만 위키백과의 정책은 AI 사용에 두 가지 예외를 허용한다. 편집자는 자신의 글을 AI로 다듬을 수 있고, AI를 번역 보조 도구로 활용할 수도 있다. 다만 정책은 명시적으로 경고한다. “AI는 당신의 요청을 넘어선 범위에서 텍스트의 의미를 변경할 수 있으며, 이로 인해 인용된 출처와 맞지 않을 수 있다.”
인간 작가가 실수를 저지르면, 위키백과는 지난 20여 년간 커뮤니티 협업을 통해 이를 지속적으로 바로잡아왔다. 그러나 AI가 저지르는 실수는 다르다. AI가 만들어내는 허위 정보는 진짜처럼 보일 뿐 아니라 대량 생산이 가능하다.
한 학교는 AI의 판단을 믿었고, 그 결과 한 명의 도서관 사서를 잃었다. 위키백과는 믿지 않기로 선택했고, 문을 완전히 닫아버렸다.
그렇다면 AI를 만드는 사람들조차 이미 스스로를 믿지 않기 시작했다면 어떻게 될까?
AI를 만드는 사람조차 먼저 두려워하다
외부 기관들이 AI에 문을 닫고 있는 가운데, AI 기업들 역시 스스로 후퇴하고 있다.
같은 주에 OpenAI는 ChatGPT의 ‘성인 모드(adult mode)’를 무기한 유보했다. 이 기능은 원래 작년 12월 출시될 예정이었으며, 연령 인증을 완료한 성인 사용자가 ChatGPT와 성적 내용을 포함한 대화를 나눌 수 있도록 설계된 것이었다.
CEO 샘 알트먼(Sam Altman)은 작년 10월 직접 이 기능을 소개하며, “성인 사용자를 성인으로서 대하겠다”고 발표했다.
그러나 세 차례 연기된 끝에 결국 완전히 취소됐다.
영국 『파이낸셜 타임스』 보도에 따르면, OpenAI 내부 건강 자문위원회는 이 기능에 대해 만장일치로 반대 의견을 제시했다. 자문위원들의 우려는 구체적이었다. 사용자들이 AI에 대해 부적절한 정서적 의존을 형성할 수 있다는 점, 그리고 미성년자들이 반드시 연령 인증을 우회할 방법을 찾아낼 것이라는 점이었다.
한 자문위원은 더 직설적으로 말했다. “중대한 개선이 이루어지지 않는다면, 이 기능은 ‘섹시한 자살 코치(sexy suicide coach)’가 될 수도 있다.”
연령 인증 시스템의 오류율은 10%를 넘는다. ChatGPT의 주간 활성 사용자 수가 8억 명에 달한다는 점을 고려하면, 10%는 수천만 명의 오분류를 의미한다.
성인 모드는 이번 달 유일하게 취소된 제품이 아니다. AI 비디오 생성 도구 ‘소라(Sora)’, ChatGPT 내장 실시간 결제 기능 등도 동시에 서비스 종료됐다. 알트먼은 회사가 핵심 사업에 집중하고 ‘부가 업무(sub-line tasks)’를 정리한다고 설명했다.
그러나 OpenAI는 동시에 기업공개(IPO)를 준비 중이다.
상장 절차를 앞두고 있는 기업이 논란을 불러일으킬 가능성이 높은 기능들을 집중적으로 취소하는 이 움직임은, 단순한 ‘핵심 사업 집중’이라 부르기보다는 다른 용어로 정의하는 편이 더 정확할 수 있다.
5개월 전까지 알트먼은 사용자를 성인으로서 존중하겠다고 말했으나, 5개월 후 그는 자신의 회사조차 ‘사용자가 어떤 AI 콘텐츠에 접근할 수 있고, 어떤 콘텐츠에는 접근해서는 안 되는가’를 아직 명확히 파악하지 못했다는 사실을 깨달았다.
AI를 만드는 사람들조차 답을 모르는데, 그렇다면 이 경계선은 도대체 누가 그어야 할까?
따라잡을 수 없는 속도 차이
이 세 가지 사건을 함께 살펴보면, 핵심 결론 하나를 쉽게 도출할 수 있다.
AI가 콘텐츠를 생산하는 속도와 인간이 콘텐츠를 검토하는 속도는 이미 차원이 다른 수준에 도달했다.
맨체스터의 그 학교가 내린 선택은 이러한 맥락에서 쉽게 이해된다. 도서관 사서가 193권의 책을 일일이 읽고 판단하려면 얼마나 걸릴까? AI가 한번 돌려보는 데는 불과 몇 분이다.
교장은 몇 분이 걸리는 그 방안을 선택했다. 정말로 그가 AI의 판단력을 믿었을까? 나는 오히려 그가 그 시간을 들이고 싶지 않았기 때문이라고 본다.
이는 경제적 문제다. 콘텐츠 생성 비용은 거의 제로에 수렴하는 반면, 검토 비용은 전부 인간이 부담해야 한다.
따라서 AI의 영향을 받는 모든 기관은 가장 거칠고 단순한 방식으로 대응할 수밖에 없게 된다. 위키백과는 전면 금지, OpenAI는 제품 라인 전면 정리. 어느 하나도 신중한 검토와 고민의 결과물이 아니며, 모두 ‘아무리 생각해도 시간이 없어서 일단 막아야 한다’는 판단에서 나온 조치들이다.
“일단 막아야 한다”는 식의 대응이 이제는 일상이 되고 있다.
AI의 능력은 매 몇 달마다 진화하고 있으나, AI가 어떤 콘텐츠에 접근할 수 있는지에 관한 논의는 아직 성숙한 국제적 프레임워크조차 마련되지 못했다. 각 기관은 자기 정원 안에 그은 선만 신경 쓰고, 서로 다른 선들은 모순을 일으키며, 이를 조율할 누구도 없다.
AI의 속도는 계속 빨라지고 있다. 그러나 콘텐츠를 검토하는 인력은 늘지 않는다. 이 ‘가위 차이(shearing gap)’는 점점 더 벌어질 뿐이며, 언젠가는 『1984』 금지보다 훨씬 심각한 일이 발생할 날이 올 것이다.
그때 와서야 선을 그리려 해도, 이미 늦을 것이다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
深潮TechFlow
