LLM이 블록체인에 힘을 불어넣어 체인 상 경험의 새로운 시대를 열다

2023.08.07

LLM이 블록체인에 힘을 불어넣어 체인 상 경험의 새로운 시대를 열다

LLM의 장점으로는 방대한 데이터에 대한 이해 능력, 다양한 언어 관련 작업 수행 능력, 그리고 사용자 요구에 따라 결과를 맞춤화할 수 있는 잠재력이 있다.

2023.08.07 - 12:27:03

LLM区块链

Web3 심층 보도에 집중하고 흐름을 통찰

저자: Yiping, IOSG Ventures

서론

거대 언어 모델(LLM)의 급속한 발전과 함께 인공지능(AI)과 블록체인을 융합하는 다양한 프로젝트들이 등장하고 있습니다. LLM과 블록체인의 결합이 점점 더 활발해지고 있으며, AI가 다시금 블록체인과 통합될 수 있는 기회를 확인할 수 있습니다. 특히 주목할 만한 분야는 바로 제로 낼스 지식 머신러닝(ZKML)입니다.
AI와 블록체인은 근본적으로 서로 다른 특성을 지닌 혁신 기술입니다. AI는 일반적으로 중앙집중화된 데이터센터에서 제공하는 강력한 컴퓨팅 파워를 필요로 하지만, 블록체인은 탈중앙화된 컴퓨팅과 개인정보 보호 기능을 제공하며, 대규모 계산 및 저장 작업에는 다소 부적합합니다. 우리는 여전히 AI와 블록체인 통합의 최적 사례를 탐색하고 연구 중이며, 이후 일부 "AI + 블록체인" 융합 프로젝트 사례들을 소개할 예정입니다.

출처: IOSG Ventures

본 리서치 보고서는 상·하편으로 나누어 발표되며, 본 문서는 상편으로, 암호화폐 분야에서의 LLM 활용에 초점을 맞추고, 적용 전략을 탐구합니다.

LLM이란 무엇인가?

LLM(거대 언어 모델)은 수십억 개의 매개변수를 가진 인공 신경망으로 구성된 컴퓨터 기반 언어 모델입니다. 이러한 모델들은 방대한 양의 비정형 텍스트 데이터로 학습됩니다.

2018년경 등장한 LLM은 자연어 처리(NLP) 연구를 근본적으로 변화시켰습니다. 특정 과제마다 별도의 지도학습 모델을 훈련시키던 이전 방식과 달리, LLM은 범용 모델로서 다양한 과제에서 뛰어난 성능을 보여줍니다. 그 능력과 응용 분야는 다음과 같습니다:

텍스트 이해 및 요약: LLM은 방대한 인간 언어 및 텍스트 데이터를 이해하고 요약할 수 있으며, 핵심 정보를 추출하고 간결한 요약문을 생성할 수 있습니다.
신규 콘텐츠 생성: LLM은 텍스트 기반 콘텐츠 생성 능력을 갖추고 있습니다. 사용자가 프롬프트(prompt)를 제공하면, 질문에 답변하거나 새로운 텍스트, 요약, 감성 분석 등을 생성할 수 있습니다.
번역: LLM은 서로 다른 언어 간 번역에 활용될 수 있으며, 딥러닝 알고리즘과 신경망을 통해 어휘 간 문맥과 관계를 이해합니다.
텍스트 예측 및 생성: LLM은 맥락에 기반하여 인간과 유사한 텍스트를 예측하고 생성할 수 있으며, 노래, 시, 이야기, 마케팅 자료 등을 포함합니다.
다양한 분야에서의 활용: 거대 언어 모델은 자연어 처리 과제 전반에 걸쳐 광범위하게 적용 가능하며, 대화형 AI, 챗봇, 의료, 소프트웨어 개발, 검색 엔진, 튜터링, 글쓰기 도구 등 여러 분야에서 사용되고 있습니다.

LLM의 장점은 방대한 데이터를 이해하는 능력, 다양한 언어 관련 과제 수행 능력, 그리고 사용자 요구에 맞춰 결과를 맞춤화할 수 있는 잠재력입니다.

일반적인 거대 언어 모델 응용 사례

탁월한 자연어 이해 능력 덕분에 LLM은 상당한 잠재력을 지니고 있으며, 개발자들은 다음 두 가지 측면에 주목하고 있습니다:

방대한 컨텍스트 데이터와 콘텐츠를 기반으로 사용자에게 정확하고 최신의 답변 제공
다양한 에이전트와 도구를 활용해 사용자의 특정 과제 수행

바로 이러한 두 가지 측면 때문에 'XX와 대화하기' 형태의 LLM 응용 프로그램이 우후죽순처럼 등장하고 있습니다. 예를 들어 PDF와 대화하기, 문서와 대화하기, 학술 논문과 대화하기 등이 있습니다.

그 후 사람들은 LLM을 다양한 데이터 소스와 통합하려는 시도를 하게 되었으며, 개발자들은 GitHub, Notion, 기타 메모 소프트웨어 등 플랫폼을 성공적으로 LLM과 통합했습니다.

LLM이 지닌 고유한 한계를 극복하기 위해 다양한 도구들이 시스템에 도입되었습니다. 첫 번째로 도입된 도구는 검색 엔진으로, 이를 통해 LLM은 최신 지식에 접근할 수 있게 되었습니다. 이후 월프럼알파(WolframAlpha), 구글 스위트(Google Suites), 이더스캔(Etherscan) 등의 도구가 거대 언어 모델과 통합되는 발전이 이루어졌습니다.

LLM 애플리케이션 아키텍처

아래 그림은 사용자 질의에 응답할 때 LLM 애플리케이션이 따르는 프로세스를 개괄합니다. 먼저 관련 데이터 소스를 임베딩 벡터로 변환하여 벡터 데이터베이스에 저장합니다. LLM 어댑터는 사용자 질의와 유사도 검색을 이용해 벡터 DB에서 관련 컨텍스트를 찾습니다. 해당 컨텍스트는 프롬프트에 삽입되어 LLM에 전달되며, LLM은 이 프롬프트를 실행하고 도구를 활용해 답변을 생성합니다. 경우에 따라 특정 데이터셋으로 LLM을 파인튜닝(fine-tuning)하여 정확도를 높이고 비용을 절감하기도 합니다.

LLM 애플리케이션의 워크플로우는 대략 세 가지 주요 단계로 나눌 수 있습니다:

데이터 준비 및 임베딩: 이 단계에서는 향후 접근을 위해 민감한 정보(예: 프로젝트 회의록)를 보존하는 과정을 포함합니다. 일반적으로 파일을 분할한 후 임베딩 모델을 통해 처리하고, 벡터 데이터베이스라 불리는 특수한 유형의 데이터베이스에 저장합니다.
프롬프트 구성(Formulation) 및 추출(Extraction): 사용자가 검색 요청(예: 프로젝트 정보 검색)을 제출하면, 소프트웨어는 일련의 프롬프트를 생성하여 언어 모델에 입력합니다. 최종 프롬프트에는 보통 개발자가 직접 코딩한 프롬프트 템플릿, few-shot 예제로써 효과적인 출력 예시, 외부 API로부터 가져온 필요한 데이터, 그리고 벡터 DB에서 추출한 관련 문서들이 포함됩니다.
프롬프트 실행 및 추론: 프롬프트 작성 후, 기존의 언어 모델에 제공되어 추론을 수행합니다. 여기에는 독점 모델 API, 오픈소스 모델 또는 개별적으로 파인튜닝된 모델이 포함될 수 있습니다. 이 단계에서 일부 개발자는 로깅, 캐싱, 검증 같은 운영 체계를 시스템에 추가로 통합하기도 합니다.

암호화 세계에 LLM 도입하기

암호화 분야(Web3)는 Web2와 일부 유사한 애플리케이션이 존재하지만, 우수한 LLM 애플리케이션을 개발하기 위해서는 특히 신중한 접근이 필요합니다.

암호화 생태계는 고유한 문화, 데이터, 융합성을 지니고 있습니다. 이러한 암호화 특화 데이터셋으로 파인튜닝된 LLM은 비교적 낮은 비용으로 우수한 성과를 낼 수 있습니다. 데이터는 풍부하지만, HuggingFace 등의 플랫폼에서는 공개 데이터셋이 명백히 부족한 실정입니다. 현재 스마트 계약과 관련된 데이터셋은 단 하나뿐이며, 11.3만 개의 스마트 계약을 포함하고 있습니다.

개발자들은 또한 다양한 도구를 LLM에 통합하는 데 어려움을 겪고 있습니다. 이러한 도구는 Web2에서 사용되는 것과 다르며, LLM이 거래 관련 데이터에 접근하고, 탈중앙화 애플리케이션(Dapp)과 상호작용하며, 거래를 실행할 수 있도록 해줍니다. 지금까지 Langchain에서 Dapp 통합 사례를 찾아보기 어렵습니다.

고품질 암호화 LLM 애플리케이션 개발에는 추가적인 노력이 필요할 수 있지만, LLM은 본질적으로 암호화 분야에 매우 적합합니다. 이 분야는 풍부하고 깨끗하며 구조화된 데이터를 제공하며, 솔리디티(Solidity) 코드가 일반적으로 간결하고 명확하기 때문에 LLM이 기능적인 코드를 생성하기 쉬운 환경을 제공합니다.

하편에서는 LLM이 블록체인 분야에 도움을 줄 수 있는 8가지 잠재적 방향에 대해 논의할 것입니다. 예를 들어: