틱톡, AI 창작에 대한 단속 나서며 AI 가상인간 방송 진행자의 미래는 어디로?

2024.04.08

틱톡, AI 창작에 대한 단속 나서며 AI 가상인간 방송 진행자의 미래는 어디로?

신기술 및 신분야에 대한 규제가 반드시 발전을 저해하는 결과를 가져오는 것은 아니다. '금지령'의 시행은 종종 적법성을 통해 발전을 촉진하는 측면도 가지고 있다.

2024.04.08 - 09:37:02

Web3 심층 보도에 집중하고 흐름을 통찰

글: 샤오샤 팀

3월 27일, 도우인 보안센터는 "AI로 생성된 가상 인물의 부적절한 이용에 대한 관리 공고"를 발표하며, 플랫폼 내 AI 기술을 활용한 콘텐츠, 특히 AI로 생성된 가상 인물을 주인공으로 한 단편 동영상 및 라이브 방송 콘텐츠 제작 활동에 대한 관리를 강화하겠다는 입장을 밝혔다.

이번 공고는 과거보다 훨씬 강도 높은 표현을 사용하고 있어, 발표 직후 업계에서는 AI 가상 인물 브로드캐스터의 자매체 플랫폼 활용 전망에 대한 우려가 커지고 있다. 그렇다면 이번 대표적인 플랫폼 규정 강화 조치가 AIGC 산업 발전에 복(福)인지 화(禍)인지, 그리고 새로운 '금지 구역' 설정이 AI 가상 인물 브로드캐스터의 미래 응용에 긍정적인 영향을 줄지 혹은 부정적인 영향을 줄지 궁금해진다.

AI 생성 가상 인물 브로드캐스터, 기회와 위험이 공존하다

기존 실시간 모션 캡처 기술을 통해 실제 연기자가 조종하는 '가면형 가상 브로드캐스터'와 비교하면, 현재 AI 애니메이션 생성 및 음성 합성 기술을 활용한 'AI 가상 브로드캐스터'는 확장 속도 면에서 전세대를 능가하고 있다. 아직 장편 동영상 생성 및 실시간 상호작용 분야에서 기술적 진보 여지가 크지만, 단편 동영상 및 라이브 커머스 산업에서는 콘텐츠 유형과 수요 시나리오가 상대적으로 고정적이므로, 특정 소비자 그룹의 니즈에 맞춘 전용 이미지를 AI로 제작하고 프롬프트에 따라 일정 시간 동안의 음성 및 영상을 자동 생성하는 저비용 콘텐츠 생산 방식이 점점 더 많은 창작자들에게 선호되고 있다.

노동 비용이 지속 상승하고, 라이브 방송 근무 시간이 고정적이며, 인물 이미지 구축이 어려운 데다 실수로 인해 쉽게 '붕괴'되는 기존 인간 브로드캐스터와 비교하면, AI 가상 브로드캐스터는 이미 상당한 천부적 이점을 보여주고 있다. 특히 팬데믹 이후 전자상거래 플랫폼의 라이브 커머스와 자매체 유입 수요가 급증하면서 거대한 사업 기회가 열렸다. 많은 자매체 플랫폼 자체도, 또는 오히려 AIGC를 활용한 쉬운 방법으로 더 많은 사용자가 콘텐츠 제작량을 늘리는 것을 장려하고 있다. 오늘의 주인공인 도우인만 하더라도 직접적인 AI 가상 인물 생성 서비스는 제공하지 않지만, 오래전부터 'AI 이미지 변환', 'AI 동영상 생성' 등의 통합 기능을 갖춘 창작 모듈을 이미 출시했다.

따라서 지금 규제 문제에 대해 갑자기 제동을 건 도우인이 AIGC 창작을 '완전히 금지'할 생각은 결코 없다는 점을 알 수 있다. 하지만 부정할 수 없는 사실은, 현재 AIGC 기술이 콘텐츠 창작자의 진입 장벽을 크게 낮추면서 예전에는 '예술' 영역에 속했던 창작이 '기술' 영역의 기계적 작업으로 전환되고 있다는 것이다. 수준과 법규 준수 의식이 다양하고 불균형한 다수의 창작자들이 이러한 사업 기회를 잡으려는 심리로 참여하면서, 상당한 법적·규제 리스크가 발생하고 있다.

가장 먼저 나타나는 문제는 AI 기술을 악용한 사기 행위로 인한 법적·사회적 문제이다. 관련 보안 보고서에 따르면, 2023년 AI 기반 딥페이크 사기 사건은 무려 3000% 증가했으며, 이 놀라운 성장률 뒤에는 AI 부적절 사용으로 인한 막대한 법적 리스크가 존재한다. 또한 AI 가상 인물은 텍스트, 이미지, 음성 등 다양한 AIGC 기술을 기반으로 하고 있으므로, 여전히 캐릭터 디자인, 배경 음악, 라이브 방송 각본 등에서 타인의 지식재산권 침해 가능성을 완전히 피하기 어렵다. 게다가 가상 인물의 이미지는 타인의 초상권, 개인정보권, 사생활 보호권 등에 잠재적 침해 위험을 안고 있으며, AIGC를 활용한 유도적 제품 광고는 소비자의 정보知情권과 선택권을 침해할 가능성도 있다.

즉, AI 가상 인물 브로드캐스터 기술이 단편 동영상 및 라이브 커머스 분야에서 활용되는 현재 상황은, 거대한 기회와 동시에 거대한 위험이 중첩된 상태라고 할 수 있다.

도우인을 중심으로 본, AI 생성 가상 브로드캐스터의 규제 핵심 요소 분석

그렇기에 업계 선도자 중 하나인 도우인 플랫폼이 AI 창작의 규제 관리에 신중한 태도를 취하는 것도 이해할 만하다. 사실상 도우인은 AI 가상 브로드캐스터 문제에 대해 처음으로 '냉수'를 끼얹는 것이 아니다. 이미 2023년 5월 9일, 도우인은 '인공지능 생성 콘텐츠에 관한 플랫폼 규정 및 업계 제안'을 발표하며, 인공지능이 생성한 동영상, 이미지, 그리고 파생된 가상 인물 라이브 방송에 대한 플랫폼 내 행동 규범을 최초로 명확히 했다. 또한 <인터넷정보서비스 심층합성관리규정>에 근거해, 플랫폼 자체 규정인 <인공지능 생성 콘텐츠 표시 워터마크 및 메타데이터 규격>을 제정하여 눈에 띄는 표시, 혼동 방지 등의 요구사항을 더욱 세분화했다.

이번 도우인의 '금지령'은 주로 플랫폼 내에서 '끊임없이 금지되는데도 계속 확산되고 있는 추세'인 'AI로 생성된 가상 인물을 이용해 과학 상식에 반하거나, 허위사실을 조작·확산하는 콘텐츠를 게시하는 행위'를 겨냥하고 있다. 구체적으로 다음과 같은 세 가지 전형적인 사례를 언급했다:

첫째, 외국인의 허위 이미지를 생성하고 해외 허위 신분을 만들어 애국심을 상품화하거나 관심을 얻기 위한 행위.

둘째, 잘생긴 남녀의 허위 이미지를 생성해 상호작용을 유도하거나, 감정 유도형 콘텐츠를 게시하며 사용자를 개인적인 친교 채팅 도구로 유도하고 나아가 사기를 벌이는 행위.

셋째, 엘리트 인사의 허위 인물 설정을 생성해 마인드컨트롤 문구, 재테크, 가짜 국학, 후이허쉐(厚黑学), 가짜 성공학 등 저질 콘텐츠를 게시하며 저렴하게 팔로워를 늘리고, 외부 사이트로 유도해 강의 판매나 그룹 가입 등을 통해 수익을 창출하는 행위.

이러한 사례들을 보면 모두 AI로 생성된 특정 유형의 가상 인물 이미지를 이용해 정서적 욕구를 가진 특정 사회 집단을 대상으로 저질 콘텐츠로 팔로워를 늘리거나 트래픽을 사기, 아니면 외부 유도 사기 등 불법행위를 하는 것이다. 이러한 활동에서 AI 가상 인물 자체가 직접 사기를 목적으로 사용되지는 않지만, 특정 집단의 취향에 맞춰 유입을 유도하는 매개체로서, 후속 사기 및 기타 불법행위의 '준비 단계' 역할을 하며 상당한 은밀성을 지닌다.

따라서 도우인이 금지하고 제한하는 것은 플랫폼 사용자의 AI 가상 브로드캐스터를 활용한 콘텐츠 창작 자체가 아니라, 자신의 규제 체계를 통해 사용자들과 함께 관련 분야의 불법·불규칙적 위험을 최대한 통제하려는 목적이다. 이를 단순히 사용자의 AI 창작 활동에 대한 제한으로 보기엔 도우인 플랫폼 입장에서는 다소 억울하다. 결국 근본 목적은 위험 가능성이 있는 불규칙적 행위를 규제하고, 규제 수단을 통해 관련 분야의 건강한 발전을 촉진하는 데 있다.

사용자 vs 플랫폼, AI 가상 브로드캐스터의 규제 책임은 누구에게 있는가?

도우인이 이렇게 행동하는 이유는 인터넷 서비스 플랫폼이자 동시에 AI 생성 콘텐츠 제공 및 유통 주체로서의 책임을 이행하기 위해서이다. 현재 중국의 생성형 인공지능 서비스 관리 규제는 대부분 플랫폼의 책임을 규정하는 데 중점을 두고 있다. 예를 들어, 국가 사이버보안 표준화 기술위원회가 발표한 <생성형 인공지능 서비스 보안 기본 요구사항>에서는 생성형 AI에 대한 검사 및 평가 책임이 주로 해당 서비스 제공자에게 부과된다. 또 <생성형 인공지능 서비스 관리 임시방법> 제14조에서는 서비스 제공자에게 적용되는 '피난처 원칙(shelter principle)'의 적용을 제한하며, 불법 행위 발견 시 즉시 수정 조치를 취하고 관계 당국에 보고하도록 요구한다. 제15조에서는 서비스 제공자가 민원 및 신고 제도를 구축해 불규칙 콘텐츠를 신속히 처리하도록 요구하고 있다.

이번 도우인이 발표한 공고에서도 이러한 규제를 재차 강조하고 있으며, 엄격한 표현 뒤에는 실제로 사용자들의 협조를 바라며 공동 감시 및 부적절한 AI 콘텐츠 생성 행위에 대한 적극적 신고를 유도하고자 하는 의도가 드러난다. 현재 플랫폼과 사용자가 AI 생성 콘텐츠 관리에서 연결되는 핵심은 바로 재확인된 규정의 첫 번째 항목인 '명확한 표시(marked identification)'이다. <생성형 인공지능 서비스 관리 임시방법> 제12조에 따르면, 제공자는 <인터넷정보서비스 심층합성관리규정> 및 <사이버보안 표준 실천 가이드—생성형 인공지능 서비스 콘텐츠 표시 방법>에 따라 이미지, 동영상 등의 생성 콘텐츠에 표시를 해야 한다. 도우인을 포함한 대부분의 AI 생성 콘텐츠를 제공하거나 수용하는 자매체 플랫폼들은 인공지능 생성물에 대한 표시 방법과 요구사항을 명확히 규정하고 있다.

현재 도우인 공식은 여전히 사용자가 AI 창작 콘텐츠를 신고하면 플랫폼이 관련 경고문을 추가하는 방식을 취하고 있는데, 매우 사실감 있는 AI 가상 인물 콘텐츠를 게시할 때 창작자가 본문에 '가상 아이돌/가상 인물' 등의 태그를 스스로 추가하지 않는 한 실행력에 한계가 있다. 이번 공고에서 위반 사용자에 대한 처벌 조치를 엄격히 재강조했지만, 현재 처리 방식의 한계로 인해 사용자와 플랫폼 사이에 어떤 '예의 차리고 나서 행동하라'는 묵시적 합의를 이루고자 하는 의도로 보인다. 플랫폼 규정 설계와 탐지 알고리즘 등의 기술적 수단을 병행하는 것이 현재로서는 관련 서비스 제공자가 취할 수 있는 최선의 규제 방안처럼 보이지만, 이런 조치들이 기회와 위험이 공존하는 시대에 얼마나 효과적인지는 여전히 실천을 통해 검증받아야 할 부분이다.

주의할 점은, 가상 인물 이미지가 창작자의 책임을 회피하는 '방패막이'가 될 수 없다는 것이다. AI 창작의 규제 구축은 결코 플랫폼 측의 일방적 바람만으로 이루어질 수 없다. 이번 도우인 공고에서 가장 규정의 엄격함과 플랫폼 관리 의지를 부각시키는 부분은, 전형적인 위반 사례를 나열한 후 '반쯤 고백하듯' AI를 부적절하게 사용해 가상 인물을 생성하는 행위에 대해 동영상 삭제, 계정 정지 등의 내부 처벌을 시행하겠다고 밝힌 점이다. 또한 일부 사이버 범죄 조직이 AI 가상 인물을 범죄에 악용한 정황을 이미 확보한 경우, 경찰에 신고하여 단속 조치를 취하겠다고 밝혔다. 물론 앞서 언급한 '묵시적 합의'는 사용자와 플랫폼 사이에 현실적으로 존재해야 할 것이다. 불법 창작 행위를 하는 창작자가 부담하는 책임은 플랫폼 규정의 처벌에 그치지 않으며, 위반 정도에 따라 다른 법적 결과, 심지어 형사 책임까지 질 수 있다.