AI에 특화된 탈중앙화 Web3 기반 프로토콜 KIP Protocol 이해하기(2)

2024.03.01

AI에 특화된 탈중앙화 Web3 기반 프로토콜 KIP Protocol 이해하기(2)

RAG는 생성형 AI에서 사용하는 혁신적인 기술로, AI 내 3개의 핵심 가치 창출자(앱 개발자, 모델 제작자, 데이터 소유자)를 포함한다.

2024.03.01 - 04:17:50

KIPProtocol

Web3 심층 보도에 집중하고 흐름을 통찰

RAG는 생성형 AI에서 사용하는 혁신적인 기술로, AI 내 3개의 핵심 가치 창출자(앱 개발자, 모델 제작자, 데이터 소유자)를 포함한다.

저자: KIP Protocol

KIP Protocol은 세계 최초로 탈중앙화 RAG를 지원하는 프로토콜로서, 실질적으로 모든 AI를 탈중앙화할 수 있는 기반 프레임워크를 제공합니다. 이는 AI 거대 기업의 독점을 벗어나기 위한 첫 번째 단계입니다.

1) RAG 개요

AI 모델은 방대한 데이터를 학습하여 훈련됩니다. 데이터에서 패턴을 인식하도록 내부 가중치를 조정하며, 이를 통해 새로운 데이터에 기반해 예측이나 결정을 내릴 수 있습니다. 이후 모델은 새로 습득한 '원시' 지식을 바탕으로 사용자의 질문에 답변하게 됩니다.

그러나 이러한 훈련 과정에서는 전체 데이터셋이 모델에 노출되어야 하며, 이로 인해 데이터가 모델에 그대로 '흡수'될 가능성이 있습니다. 데이터에 기밀 정보나 저작권 정보가 포함된 경우, 모델이 미래 어느 시점에 그러한 정보를 그대로 출력할 위험이 발생합니다.

그렇다면, 당신의 데이터를 위험에 노출시키고 싶지 않다면 어떻게 해야 할까요?

여기에 RAG(검색 증강 생성, Retrieval-Augmented Generation)가 등장합니다.

RAG는 외부 지식 베이스 및 데이터베이스에서 데이터와 정보를 검색함으로써 AI 모델이 본래 알지 못했던 답변을 생성할 수 있도록 하는 고급 기술입니다.

이는 정답을 모를지라도 전문적으로 외부 데이터에서 원하는 답을 찾아내는 지능형 어시스턴트와 같습니다.

1. 사용자 쿼리 입력:

먼저 사용자는 RAG 시스템을 실행하는 챗봇에 질문을 제기합니다.

예를 들어, "코로나19의 증상은 무엇인가?"라는 질문입니다.

2. 외부 데이터베이스에서 검색:

모델은 의학 저널, 건강 웹사이트, 임상 데이터베이스 등 연결된 외부 지식 베이스 및 데이터베이스를 탐색하여 검색 단계를 시작하고, 사용자 쿼리와 관련된 데이터 및 정보만 추출합니다.

3. 데이터 처리, 필터링 및 생성:

검색된 데이터는 처리 및 필터링되어 핵심 정보를 추출하고 관련 없는 데이터는 제거됩니다. AI 모델은 검색된 데이터를 사용자 쿼리의 문맥과 통합하여 답변을 생성합니다.

코로나19 증상에 대한 쿼리의 경우, RAG는 발열, 기침, 호흡 곤란 등의 일반적인 증상을 나열하는 응답을 생성할 수 있으며, 모델 훈련 당시에는 존재하지 않았던 최신 의학 연구 논문 정보도 포함하여 더 높은 품질의 답변을 제공할 수 있습니다.

4. 응답 전송:

생성된 응답은 챗봇 인터페이스를 통해 사용자에게 전달됩니다.

따라서 RAG는 모델이 훈련 과정을 통해 데이터를 먼저 '흡수'할 필요 없이 외부 데이터를 활용해 AI 쿼리에 답변할 수 있게 합니다.

RAG 기술은 점점 성숙해지고 있으며, 우리의 연구 자료에서 우리는 RAG가 제공하는 답변의 질이 훈련된 모델을 능가할 수 있음을 보여줍니다. https://arxiv.org/pdf/2311.05903.pdf

2) RAG의 중요성

다음과 같은 이유로 RAG는 점점 더 중요해질 것입니다:

모델 훈련은 기술적이고 전문적인 작업이며 일반적으로 비용이 많이 들기 때문에, 누구나 필요한 기술이나 자원을 갖추고 있는 것은 아닙니다.
많은 데이터(기밀 데이터, 소유 데이터 등)의 소유자는 자신이 완전히 소유하지 못하거나 통제하지 못하는 모델에 데이터를 노출시키는 것을 꺼릴 수 있습니다.

또 다른 중요한 문제에 주목하셨을지도 모릅니다:

RAG 프레임워크 하에서 앱 개발자, 모델 제작자, 데이터 소유자가 협력하여 사용자 쿼리에 답변하는 데 각각 기여할 수 있습니다.

따라서 공정한 상황에서 각 당사자는 기여에 따라 공정한 보상을 받아야 합니다.

하지만 현재까지 각 당사자의 독립성이나 소유권을 해치지 않으면서 이를 수행할 수 있는 간단한 방법은 존재하지 않습니다. (참고로, 이 문제가 바로 1년 전부터 우리가 KIP 구축을 시작하게 된 원동력입니다.)

이것이 바로 '수익 분배 문제(revenue problem)'입니다.

3) RAG와 중심화된 AI의 '수익 문제'

하나의 실체가 AI 가치 창출의 세 가지 요소를 모두 소유하고 있다고 상상해보겠습니다. 이 경우 사용자로부터 수집된 수익을 여러 당사자 사이에서 재분배할 필요 없이 직접 내부적으로 회계 처리할 수 있습니다.

반면, 하나의 실체가 AI 가치 창출의 세 가지 요소(app 개발자, 모델 제작자, 데이터 소유자)를 모두 소유하는 것을 받아들이지 않는다면, 우리는 다양한 산업에서 AI 가치 창출 역할 간의 수익 분배 문제를 해결해야 합니다.

'수익 문제'를 해결하지 않으면 앱 개발자, 모델 제작자, 데이터 소유자는 각자의 독립성과 자유로운 거래를 유지할 수 없습니다.

그러나 이미 AI 업계의 독점이 시작되고 있습니다.

우리가 OpenAI의 독점에 대해 갖고 있는 견해는 다음과 같습니다:

OpenAI는 명백히 GPT-4와 같은 가장 강력한 폐쇄형 모델들을 보유하고 있으며, 이러한 모델들은 인터넷에서 수년간 게시된 우리의 지식과 콘텐츠를 수집해 훈련되었습니다. 이는 ChatGPT와 같은 앱과 사용자 맞춤형 GPT에 연료를 제공합니다.
저작권 보호 조치를 통해(즉, 자신의 플랫폼에 저작권이 있는 데이터를 업로드했다고 밝혀진 사람에게 법적 비용을 지불하겠다는 약속), 사용자가 법적 결과를 걱정하지 않고 대담하게 데이터를 폐쇄된 플랫폼에 업로드하도록 장려하고 있습니다.
OpenAI가 중앙집중형 폐쇄 웹2 플랫폼이라는 점을 감안할 때, 업로드한 사용자는 여전히 ChatGPT 또는 GPT 앱에 업로드한 데이터를 소유한다고 볼 수 있을지 스스로 묻게 됩니다.
결국 기존 모델과 무차별적인 '긁어모으기', 저작권 보호 조치, 막대한 자금력을 종합하면, OpenAI는 모델 요구를 충족시키기 위해 끊임없이 데이터와 자원을 흡수하는 유사 이래 최고의 '데이터 진공청소기'라고 볼 수 있습니다.

위의 모든 요소들(그리고 하드웨어를 위해 모금한 70억 달러)을 종합하면, 특별한 조치를 취하지 않는 한 하나 또는 소수 회사에 의한 AI 산업의 완전한 독점은 불가피하다는 것을 쉽게 알 수 있습니다.

앞서 언급한 이유들로 인해 우리는 AI 산업의 독점이 인류에게 해롭다고 굳게 믿으며, 이를 벗어날 수 있는 해결책을 적극적으로 마련할 것입니다.

4) 탈중앙화 RAG의 의미

RAG는 AI 가치 창출의 세 가지 핵심 요소(App 개발자, 모델 제작자, 데이터 소유자) 모두를 포함합니다.

따라서 KIP는 탈중앙화된 RAG 프레임워크를 구축함으로써 실질적으로 AI 가치 창출을 탈중앙화해 통제할 수 있는 프레임워크를 만들고, 모든 가치 창출자에게 공정한 경쟁 환경을 제공하여 AI 독점에서 벗어납니다.

우리는 어떤 대규모 기업도 각 핵심 기능을 장악하지 않고도 효율적으로 작동하는 AI를 수백만 명의 소규모 및 대규모 창작자들의 공동 노력의 결실로 만들 수 있도록 합니다.

이를 위해 먼저 RAG의 탈중앙화를 방해하는 세 가지 근본적인 문제를 해결할 것입니다:

1. 소유권:

(앱 개발자, 모델 제작자, 데이터 소유자)가 ERC-3525 반동질 토큰(Semi-Fungible Tokens) 형태의 Web3 '거래 엔티티'를 만들어 웹3에 콘텐츠를 쉽고 안전하게 게시할 수 있도록 하며, 이를 통해 체인 상에서 디지털 재산권을 입증할 수 있게 합니다.

2. 체인 내외 연결:

체인 외부와 체인 상의 상호작용을 매끄럽게 하여 앱 개발자, 모델 제작자, 데이터 소유자가 자유롭게 서로 연결할 수 있는 개방된 환경을 제공합니다.

3. 수익화:

각 AI 가치 창출자의 기여를 기록하고 계산하며, 자동 수익 분배 및 인출이 가능한 통합 프레임워크를 제공합니다.