AI 에이전트의 7가지 교훈: 연구와 응용

2024.11.22

AI 에이전트의 7가지 교훈: 연구와 응용

최근 몇 년간 대규모 언어 모델(LLM) 기반의 자율 에이전트는 아키텍처, 메모리, 인지, 추론 및 행동 측면에서 지속적으로 발전하며 다양한 분야에서 가능성을 재정의할 잠재력을 보여주고 있다.

2024.11.22 - 10:30:48

AIAgent

Web3 심층 보도에 집중하고 흐름을 통찰

작성자: Rituals

번역: 백화블록체인

최근 몇 년간 에이전트(agent)라는 개념은 철학, 게임, 인공지능(AI) 등 다양한 분야에서 중요성이 점점 부각되고 있다. 전통적으로 에이전트란 자율적인 행동을 하고 선택을 하며 의도성을 가진 존재를 의미하며, 이러한 특성은 일반적으로 인간과 연결되어 왔다.

한편 AI 분야에서는 에이전트의 개념이 더욱 복잡해졌다. 자율 에이전트(autonomous agent)가 등장하면서 환경을 관측하고 학습하며 독립적으로 행동할 수 있게 되었으며, 이로 인해 과거에 추상적이었던 에이전트 개념이 계산 시스템이라는 구체적 형태를 갖추게 되었다. 이러한 에이전트는 거의 인간의 개입 없이도 작동하며, 의식은 없지만 계산적 의도를 지닌 능력을 보여주어 의사결정을 내리고 경험에서 학습하며 점점 더 복잡한 방식으로 다른 에이전트나 인간과 상호작용한다.

본 글은 자율 에이전트라는 새로운 분야를 탐구하며, 특히 대규모 언어 모델(LLM) 기반 에이전트가 게임, 거버넌스, 과학, 로보틱스 등 다양한 영역에 미치는 영향을 다룬다. 기본적인 에이전트 원리를 이해하는 것을 바탕으로, AI 에이전트의 아키텍처와 응용 사례를 분석할 것이다. 이러한 분류적 관점을 통해 우리는 에이전트가 어떻게 작업을 수행하고 정보를 처리하며 특정 운영 프레임워크 내에서 진화하는지를 깊이 있게 이해할 수 있다.

본문의 목표는 다음과 같은 두 가지이다:

기억, 인지, 추론, 계획 등의 구성 요소를 중심으로 AI 에이전트 및 그 아키텍처 기반에 대한 체계적인 개요를 제공한다.
AI 에이전트 연구의 최신 동향을 탐색하고, 가능성의 경계를 재정의하는 응용 사례들을 강조한다.

참고: 본 번역본은 원문의 길이 문제로 일부 생략되었습니다.

1. 에이전트 연구 동향

대규모 언어 모델(LLM) 기반 에이전트의 발전은 AI 연구에서 중요한 진전을 나타내며, 기호적 추론, 반응형 시스템, 강화학습에서 적응형 학습에 이르기까지 다양한 진보를 포함한다.

기호 에이전트(Symbolic Agent): 규칙과 구조화된 지식을 통해 인간의 추론을 모방하며, 의료 진단과 같은 특정 문제에 적합하지만 복잡하고 불확실한 환경에는 대응하기 어렵다.
반응형 에이전트(Reactive Agent): '인지-행동' 루프를 통해 환경에 빠르게 반응하며, 신속한 상호작용이 필요한 상황에 적합하나 복잡한 작업을 수행할 수 없다.
강화학습 에이전트(Reinforcement Learning Agent): 시행착오를 통해 행동을 최적화하며, 게임 및 로봇 공학에 널리 적용되지만 훈련 시간이 길고 샘플 효율이 낮으며 안정성이 떨어진다.
LLM 기반 에이전트: LLM 에이전트는 기호적 추론, 피드백, 적응형 학습을 결합하여 저샘플(few-shot), 제로샷(zero-shot) 학습 능력을 가지며, 소프트웨어 개발, 과학 연구 등 다양한 분야에 활용되며 동적 환경에 적합하고 다른 에이전트와 협업할 수 있다.

2. 에이전트 아키텍처

현대 에이전트 아키텍처는 여러 모듈로 구성되어 통합 시스템을 형성한다.

1) 프로필 모듈

프로필 모듈은 에이전트의 행동을 결정하며, 역할이나 성격을 할당함으로써 일관성을 유지한다. 이는 안정적인 성격이 요구되는 상황에 적합하다. LLM 에이전트의 프로필은 세 가지로 나뉜다: 인구통계학적 역할, 가상 역할, 개인화된 역할.

논문 『역할에서 개인화까지(Role to Personalization)』에서 발췌

성능 향상에 대한 역할의 기여: 역할 설정은 에이전트의 성능과 추론 능력을 크게 향상시킨다. 예를 들어, LLM이 전문가 역할을 할 때 더 심층적이고 문맥에 맞는 답변을 한다. 다중 에이전트 시스템에서 역할 매칭은 협업을 촉진하고 작업 완수율 및 상호작용 품질을 향상시킨다.

프로필 생성 방법: LLM 에이전트 프로필은 다음 방법으로 구성 가능하다.

수동 설계: 사람이 직접 역할 특성을 설정한다.
LLM 생성: LLM을 통해 자동으로 역할 설정을 확장한다.
데이터셋 정렬: 실제 데이터셋을 기반으로 구축하여 상호작용의 현실감을 높인다.

2) 기억 모듈

기억은 LLM 에이전트의 핵심으로, 적응형 계획과 의사결정을 지원한다. 인간의 기억 과정을 모사한 기억 구조는 주로 두 가지로 나뉜다:

통합 기억(Unified Memory): 단기 기억으로 최근 정보를 처리한다. 텍스트 잘라내기, 기억 요약, 주의 메커니즘 수정 등을 통해 최적화하지만 컨텍스트 윈도우 한계에 영향을 받는다.
혼합 기억(Hybrid Memory): 단기 기억과 장기 기억을 결합하며, 장기 기억은 외부 데이터베이스에 저장되어 효율적인 회상을 가능하게 한다.

기억 형식: 일반적인 기억 저장 형식은 다음과 같다.

자연어: 유연하고 의미가 풍부하다.
임베딩 벡터: 빠른 검색이 용이하다.
데이터베이스: 구조화된 저장을 통해 쿼리를 지원한다.
구조화된 리스트: 리스트 또는 계층 구조로 조직된다.

기억 조작: 에이전트는 다음 조작을 통해 기억과 상호작용한다.

기억 읽기: 관련 정보를 검색하여 현명한 의사결정을 지원한다.
기억 쓰기: 새 정보를 저장하여 중복 및 오버플로우를 방지한다.
기억 반성: 경험을 요약하여 추상적 추론 능력을 강화한다.

논문 『생성형 에이전트(Generative Agents)』 기반

연구적 의의와 도전 과제

기억 시스템은 에이전트 능력을 향상시키지만 동시에 연구적 도전을 가져온다:

확장성과 효율성: 기억 시스템은 많은 정보를 지원하고 빠른 검색을 보장해야 하며, 장기 기억 검색의 최적화는 여전히 주요 연구 과제이다.
컨텍스트 제한 처리: 현재 LLM은 컨텍스트 윈도우에 제한되어 방대한 기억을 관리하기 어렵고, 연구는 동적 주의 메커니즘과 요약 기술을 탐색하여 기억 처리 능력을 확장하고 있다.
장기 기억 내 편향과 드리프트: 기억에 편향이 있을 수 있으며, 이는 정보 우선 처리를 유도하고 기억 드리프트를 발생시킬 수 있으므로 정기적인 업데이트와 편향 수정을 통해 균형을 유지해야 한다.
재앙적 망각(Catastrophic Forgetting): 새 데이터가 옛 데이터를 덮어쓰면 핵심 정보가 유실될 수 있으므로 경험 재생과 기억 고정 기술을 통해 핵심 기억을 강화해야 한다.

3) 인지 능력

LLM 에이전트는 다양한 데이터 소스를 처리함으로써 환경에 대한 이해와 의사결정 능력을 향상시키며, 이는 인간이 감각 입력에 의존하는 것과 유사하다. 멀티모달 인지는 텍스트, 시각, 청각 입력을 통합하여 에이전트가 복잡한 작업을 수행하는 능력을 강화한다. 주요 입력 유형과 응용은 다음과 같다:

텍스트 입력: 텍스트는 LLM 에이전트의 주요 의사소통 방식이다. 에이전트는 고급 언어 능력을 갖추고 있지만 명령 뒤에 숨겨진 의미를 이해하는 것은 여전히 도전이다.

암묵적 이해: 강화학습을 통해 선호도를 조정하여 모호한 명령을 처리하고 의도를 추론한다.
제로샷 및 저샘플 능력: 추가 훈련 없이도 새로운 작업에 반응할 수 있어 다양한 상호작용 시나리오에 적합하다.

시각 입력: 시각 인식은 에이전트가 물체와 공간 관계를 이해하도록 도와준다.

이미지-텍스트 변환: 이미지에 대한 텍스트 설명을 생성하여 시각 데이터 처리를 지원하지만 세부 정보를 잃을 수 있다.
Transformer 기반 인코딩: Vision Transformer(ViT)는 이미지를 텍스트와 호환되는 토큰으로 변환한다.
브릿지 도구: BLIP-2 및 Flamingo는 중간 계층을 이용해 시각과 텍스트 간 연계를 최적화한다.

청각 입력: 청각 인식은 에이전트가 소리와 음성을 식별할 수 있도록 하며, 특히 상호작용 및 고위험 상황에서 중요하다.

음성 인식 및 합성: Whisper(음성-텍스트), FastSpeech(텍스트-음성) 등.
스펙트로그램 처리: 오디오 스펙트로그램을 이미지처럼 처리하여 청각 신호 해석 능력을 향상시킨다.

멀티모달 인지의 연구 도전 및 고려사항:

데이터 정렬 및 통합: 멀티모달 데이터는 효율적으로 정렬되어야 하며, 인지 및 응답 오류를 피하기 위해 멀티모달 트랜스포머 및 교차 주의 계층의 최적화가 연구 중이다.
확장성과 효율성: 멀티모달 처리는 리소스 소비가 크며, 특히 고해상도 이미지 및 오디오 처리 시 저자원 소비이면서 확장 가능한 모델 개발이 중요하다.
재앙적 망각: 멀티모달 에이전트는 재앙적 망각에 직면하며, 우선순위 재생 및 지속적 학습 전략을 통해 핵심 정보를 효과적으로 유지해야 한다.
상황에 민감한 응답 생성: 컨텍스트에 따라 감각 데이터를 우선 순위화하여 응답을 생성하는 것은 여전히 연구 과제이며, 특히 시끄럽거나 시각 중심적인 환경에서 중요하다.

4) 추론 및 계획

추론 및 계획 모듈은 복잡한 작업을 분해함으로써 에이전트가 효율적으로 문제를 해결하도록 돕는다. 인간과 유사하게, 에이전트는 구조화된 계획을 수립할 수 있으며, 사전에 전체 계획을 구성하거나 피드백에 따라 실시간으로 전략을 조정할 수 있다. 계획 방법은 피드백 유형에 따라 분류된다:

일부 에이전트는 실행 전 전체 계획을 수립하고 단일 경로 또는 여러 옵션을 따르며, 계획을 수정하지 않는다.
다른 일부 에이전트는 동적 환경에서 피드백을 받아 실시간으로 전략을 조정한다.

피드백 없는 계획: 피드백 없이 에이전트는 처음부터 전체 계획을 수립하고 실행하며 조정하지 않는다. 단일 경로 계획(단계별 실행)과 다중 경로 계획(여러 옵션을 동시에 탐색하여 최적 경로 선택)이 있다.

단일 경로 추론: 작업을 순차적 단계로 분해하며 각 단계가 다음 단계를 따른다:

사고의 연쇄(Chain of Thought, CoT): 소량의 예시를 통해 에이전트가 단계별로 문제를 해결하도록 유도하여 모델 출력 품질을 향상시킨다.
제로샷-CoT: 사전 예시 없이 "단계적으로 생각하라"는 프롬프트를 통해 추론하며 제로샷 학습에 적합하다.
리프롬프팅(Re-prompting): 인간의 입력 없이도 효과적인 CoT 프롬프트를 자동 발견한다.

CoT 논문에서 발췌

5) 다중 경로 추론

단일 경로 추론과 달리 다중 경로 추론은 에이전트가 동시에 여러 단계를 탐색하고 여러 잠재적 해결책을 생성·평가한 후 최적의 경로를 선택할 수 있게 하며, 특히 여러 가능 경로가 있는 복잡한 문제에 적합하다.

예시:

자기일관적 사고의 연쇄(CoT-SC): CoT 프롬프트 출력에서 여러 추론 경로를 샘플링하고 가장 빈도가 높은 단계를 선택하여 '자기 앙상블(self-ensemble)'을 실현한다.
사고의 트리(Tree of Thought, ToT): 논리적 단계를 트리 구조로 저장하고 각 '사고(thought)'가 해결책에 기여하는 정도를 평가하며, 너비 우선 또는 깊이 우선 탐색을 사용하여 탐색한다.
사고의 그래프(Graph of Thought, GoT): ToT를 그래프 구조로 확장하여 사고를 정점으로, 의존 관계를 간선으로 하여 더 유연한 추론을 가능하게 한다.
계획을 통한 추론(Reasoning via Planning, RAP): 몬테카를로 트리 탐색(MCTS)을 사용하여 여러 계획을 시뮬레이션하며, 언어 모델이 추론 트리를 구성하고 동시에 피드백을 제공한다.

6) 외부 계획기

LLM이 특정 분야의 계획 과제에 직면할 때 외부 계획기가 지원을 제공하며, LLM이 부족한 전문 지식을 통합한다.

LLM+P: 작업을 계획 도메인 정의 언어(PDDL)로 변환하여 외부 계획기로 해결함으로써 LLM이 복잡한 작업을 완료하도록 돕는다.
CO-LLM: 모델들이 협력하여 텍스트를 생성하며, 마크를 교대로 선택함으로써 최적의 협업 모드가 자연스럽게 도출된다.

피드백 있는 계획: 피드백 있는 계획은 에이전트가 환경 변화에 따라 실시간으로 작업을 조정할 수 있게 하며, 예측 불가능하거나 복잡한 상황에 적응한다.

환경 피드백: 에이전트가 환경과 상호작용할 때 실시간 피드백에 따라 계획을 조정하며 작업 진행 상황을 유지한다.

ReAct: 추론과 행동 프롬프트를 결합하여 상호작용 중에 조정 가능한 계획을 만든다.
DEPS: 작업 계획 중 미완료된 하위 목표를 처리하기 위해 계획을 수정한다.
SayPlan: 시나리오 그래프와 상태 전이를 사용하여 전략을 세밀하게 조정하여 상황 인식을 향상시킨다.

『ReAct』 논문에서 발췌

7) 인간의 피드백

인간과의 상호작용을 통해 에이전트가 인간의 가치에 맞춰지고 오류를 피할 수 있도록 돕는다. 예시:

내면 독백: 인간의 피드백을 에이전트의 계획에 통합하여 행동이 인간의 기대와 일치하도록 한다.

모델 피드백: 사전 훈련된 모델로부터 받은 피드백은 에이전트가 자기 점검을 하고 추론과 행동을 최적화하는 데 도움이 된다. 예시:

SelfCheck: 제로샷으로 단계별로 추론 연쇄의 오류를 스스로 식별하고 정확성을 평가하는 점검기.
Reflexion: 에이전트가 피드백 신호를 기록하여 반성함으로써 장기 학습과 오류 수정을 촉진한다.

『SelfCheck』 논문에서 발췌

추론 및 계획의 도전과 연구 방향: 추론 및 계획 모듈은 에이전트 기능을 향상시키지만 여전히 도전 과제가 있다:

확장성과 계산 요구: ToT나 RAP와 같은 복잡한 방법은 많은 계산 자원을 필요로 하며, 효율성 향상은 여전히 주요 연구 과제이다.
피드백 통합의 сложность: 다중 출처 피드백을 효과적으로 통합하여 정보 과부하를 피하고 성능을 희생하지 않으면서 적응성을 높이는 것이 핵심이다.
의사결정의 편향: 특정 피드백 출처나 경로를 우선시하면 편향이 발생할 수 있으므로, 편향 제거 기술을 결합하여 계획의 균형을 유지하는 것이 중요하다.

8) 행동

행동 모듈은 에이전트 의사결정 과정의 마지막 단계이며 다음을 포함한다:

행동 목표: 에이전트는 작업 완료, 의사소통, 환경 탐색 등 다양한 목표를 수행한다.
행동 생성: 기억 또는 계획을 통해 행동을 생성하며, 기억 기반 또는 계획 기반 행동이 있다.
행동 공간: 내재적 지식과 외부 도구(API, 데이터베이스, 외부 모델 등)를 포함하여 작업을 수행한다. 예를 들어 HuggingGPT 및 ToolFormer는 외부 모델이나 API를 활용하여 작업을 수행한다.

데이터베이스 및 지식베이스: ChatDB는 SQL 쿼리를 사용하여 특정 분야 정보를 검색하며, MRKL은 전문가 시스템과 계획 도구를 통합하여 복잡한 추론을 수행한다.

외부 모델: 에이전트는 전문화된 작업을 위해 API가 아닌 모델에 의존할 수 있다. 예를 들어 ChemCrow는 다수의 모델을 통해 신약 개발을 수행하며, MemoryBank는 두 개의 모델을 통해 텍스트 검색을 강화한다.

행동 영향: 결과에 따라 행동은 다음과 같이 분류된다:

환경 변화: Voyager 및 GITM에서 자원 수집이나 구조물 건설로 환경을 변화시킨다.
자기 영향: Generative Agents에서 기억을 업데이트하거나 새 계획을 수립한다.
작업 연쇄: 일부 행동은 다른 행동을 유발한다. 예를 들어 Voyager는 자원 수집 후 구조물을 건설한다.
행동 공간 확장: AI 에이전트 설계에는 강력한 아키텍처와 작업 기술이 필요하다. 능력 획득은 두 가지 방식으로 이루어진다: 파인튜닝과 비파인튜닝.

파인튜닝을 통한 능력 획득:

인공 주석 데이터셋: RET-LLM 및 EduChat은 인공 주석을 통해 LLM 성능을 향상시킨다.
LLM 생성 데이터셋: ToolBench는 LLM이 명령을 생성하여 LLaMA를 파인튜닝한다.
실세계 데이터셋: MIND2WEB 및 SQL-PaLM은 실제 응용 데이터를 통해 에이전트 능력을 향상시킨다.

비파인튜닝 능력 획득: 파인튜닝이 불가능할 경우 에이전트는 프롬프트 엔지니어링과 메커니즘 엔지니어링을 통해 능력을 향상시킬 수 있다.

프롬프트 엔지니어링: 프롬프트를 설계하여 LLM의 행동을 유도하고 성능을 향상시킨다.

사고의 연쇄(CoT): 중간 추론 단계를 추가하여 복잡한 문제 해결을 지원한다.
SocialAGI: 사용자의 심리 상태에 따라 대화를 조정한다.
Retroformer: 과거 실패에 대한 반성을 결합하여 의사결정을 최적화한다.

메커니즘 엔지니어링: 전문 규칙과 메커니즘을 통해 에이전트 능력을 강화한다.

DEPS: 계획을 최적화하며, 실행 과정, 피드백, 목표 선택을 통해 오류 수정을 향상시킨다.
RoCo: 환경 점검을 통해 다중 로봇 협업 계획을 조정한다.
토론 메커니즘: 협력을 통해 합의에 도달한다.

경험 축적

GITM: 텍스트 기반 기억 메커니즘을 통해 학습 및 일반화 능력을 향상시킨다.
Voyager: 자기 피드백을 통해 기술 실행을 최적화한다.

자기 주도적 진화

LMA3: 목표 재지정 및 보상 함수를 지원하여 특정 작업 없이도 에이전트가 기술을 학습할 수 있도록 한다.

『Voyager』 논문에서 발췌

파인튜닝은 작업 특화 성능을 크게 향상시킬 수 있으나 오픈소스 모델이 필요하며 리소스 소비가 크다. 프롬프트 엔지니어링과 메커니즘 엔지니어링은 오픈소스 및 클로즈드소스 모델 모두에 적용 가능하지만 입력 컨텍스트 윈도우 제한을 받으며 정교한 설계가 필요하다.

3. 다중 에이전트(multiple agents) 시스템 아키텍처

다중 에이전트 아키텍처는 작업을 여러 에이전트에 분배하여 각각이 다른 측면에 집중함으로써 견고성과 적응성을 향상시킨다. 에이전트 간 협업과 피드백은 전체 수행 효과를 강화하며 필요에 따라 에이전트 수를 동적으로 조정할 수 있다. 그러나 이 아키텍처는 조정의 어려움에 직면하며, 의사소통이 필수적이고 정보 손실이나 오해를 피해야 한다.

에이전트 간 의사소통과 조정을 촉진하기 위해 연구는 두 가지 조직 구조에 주목한다:

수평 구조: 모든 에이전트가 의사결정을 공유하고 최적화하며, 개인 의사결정을 집계하여 집단 의사결정을 내린다. 컨설팅 또는 도구 사용 시나리오에 적합하다.
수직 구조: 한 에이전트가 초기 해결책을 제안하고 다른 에이전트가 피드백을 제공하거나 관리자가 감독한다. 수학 문제 해결이나 소프트웨어 개발과 같이 해결책을 정교화해야 하는 작업에 적합하다.

『ChatDev』 논문에서 발췌

1) 혼합 조직 구조

DyLAN은 수직 및 수평 구조를 결합한 하이브리드 접근법으로, 동일 계층 내에서 수평적으로 협업하며 시간 단계를 넘어 정보를 교환한다. DyLAN은 순위 모델과 에이전트 중요도 평가 시스템을 도입하여 가장 관련성 높은 에이전트를 동적으로 평가하고 선택하며, 성과가 낮은 에이전트는 비활성화되어 계층 구조를 형성한다. 높은 순위의 에이전트는 작업 및 팀 구성에서 핵심 역할을 한다.

협력형 다중 에이전트 프레임워크는 정보 공유와 행동 조정을 통해 각 에이전트의 강점을 집중하며, 보완적 협업을 통해 효율성을 극대화한다.

『Agentverse』 논문에서 발췌

협력 상호작용은 두 가지 유형으로 나뉜다:

무질서한 협력: 여러 에이전트가 자유롭게 상호작용하며 고정된 순서나 프로세스 없이 브레인스토밍과 유사하다. 각 에이전트는 피드백을 제공하고 시스템은 조정을 통해 입력을 통합하고 응답을 조직하여 혼란을 피하며, 일반적으로 다수결 투표 메커니즘을 통해 합의에 도달한다.
질서 있는 협력: 에이전트가 순차적으로 상호작용하며 구조화된 프로세스를 따르며, 각 에이전트는 이전 에이전트의 출력을 참고한다. 효율적인 의사소통을 보장하고 작업을 빠르게 완료하지만, 오류 확대를 방지하기 위해 교차 검증이나 인간 개입이 필요하다.

MetaGPT 논문에서 발췌

대항형 다중 에이전트 프레임워크: 협력형 프레임워크는 효율성과 협업을 향상시키지만, 대항형 프레임워크는 도전을 통해 에이전트의 진화를 촉진한다. 게임 이론에서 영감을 얻은 대항적 상호작용은 피드백과 반성으로 행동을 개선하도록 에이전트를 격려한다. 예를 들어 AlphaGo Zero는 자기 대국을 통해 전략을 개선하였고, LLM 시스템은 토론과 '눈에는 눈' 방식의 교환을 통해 출력 품질을 향상시킨다. 이러한 방법은 에이전트의 적응성을 촉진하지만 계산 비용과 오류 위험도 동반한다.

emergent behavior(예기치 못한 행동): 다중 에이전트 시스템에서 세 가지 종류의 예기치 못한 행동이 발생할 수 있다:

자발적 행동: 에이전트가 자발적으로 자원을 기부하거나 타인을 돕는다.
일치 행동: 에이전트가 팀 목표에 부합하도록 행동을 조정한다.
파괴적 행동: 에이전트가 목표를 빠르게 달성하기 위해 극단적인 행동을 취할 수 있으며, 이는 보안상 위험을 초래할 수 있다.

벤치마킹 및 평가: 벤치마킹은 에이전트 성능을 평가하는 핵심 도구이며, ALFWorld, IGLU, Minecraft 등이 계획, 협업, 작업 수행 능력을 테스트하는 데 사용된다. 또한 도구 사용 및 사회적 능력 평가도 중요하며, ToolBench 및 SocKET 플랫폼은 각각 에이전트의 적응력과 사회적 이해력을 평가한다.

응용: 디지털 게임은 AI 연구의 중요한 플랫폼이 되었으며, LLM 기반 게임 에이전트는 인지 능력을 중시하여 AGI 연구를 촉진한다.

『대규모 언어 모델 기반 게임 에이전트 조사』 논문에서 발췌

게임 내 에이전트 인지: 비디오 게임에서 에이전트는 인지 모듈을 통해 게임 상태를 이해하며, 주요 방법은 세 가지이다:

상태 변수 접근: 게임 API를 통해 기호 데이터에 접근하며, 시각적 요구가 낮은 게임에 적합하다.
외부 시각 인코더: CLIP과 같이 시각 인코더를 사용하여 이미지를 텍스트로 변환하여 에이전트가 환경을 이해하도록 돕는다.
멀티모달 언어 모델: 시각 및 텍스트 데이터를 결합하여 에이전트의 적응성을 강화한다. 예: GPT-4V.

게임 에이전트 사례 연구

Cradle(어드벤처 게임): 이 게임은 에이전트가 스토리라인을 이해하고 퍼즐을 해결하며 탐색하는 능력을 요구하며, 멀티모달 지원, 동적 기억, 의사결정 등의 도전에 직면한다. Cradle의 목표는 일반 컴퓨터 제어(GCC)를 실현하여 에이전트가 화면 및 오디오 입력을 통해 어떤 컴퓨터 작업이라도 수행할 수 있도록 하며, 더 큰 범용성을 갖춘다.

PokéLLMon(경쟁 게임): 경쟁 게임은 엄격한 규칙과 인간 플레이어와 비교 가능한 승률 때문에 추론 및 계획 성능의 벤치마크가 된다. 여러 에이전트 프레임워크가 경쟁 성능을 입증하였다. 예를 들어 『대규모 언어 모델이 스타크래프트 2를 플레이하다: 벤치마크 및 사고의 연쇄 요약 방법』에서 LLM 에이전트는 내장 AI와 텍스트 기반 스타크래프트 2에서 대전하였다. PokéLLMon은 『포켓몬』 전술 게임에서 인간 수준의 성과를 처음으로 달성하여, 랭크전 승률 49%, 초청전 승률 56%를 기록하였다. 이 프레임워크는 지식 증강 생성과 일관된 행동 생성을 통해 환각과 사고의 연쇄 내 공황 사이클을 방지한다. 에이전트는 전투 서버의 상태 로그를 텍스트로 변환하여 턴 간 일관성을 보장하고 기억 기반 추론을 지원한다.

에이전트는 HP 변화, 기술 효과, 행동 순서 속도 추정, 기술 상태 효과 등 네 가지 피드백을 통해 강화학습을 수행하여 전략을 최적화하고 무효 기술의 반복 사용을 방지한다.

PokéLLMon은 Bulbapedia와 같은 외부 자원을 활용하여 타입 상극 및 기술 효과에 관한 지식을 획득함으로써, 에이전트가 특수 기술을 더 정확하게 사용할 수 있도록 한다. 또한 CoT, Self-Consistency, ToT 방법을 평가한 결과 Self-Consistency가 승률을 크게 향상시키는 것으로 나타났다.

ProAgent(협력 게임): 협력 게임은 팀원의 의도를 이해하고 행동을 예측하며, 명시적 또는 암묵적 협력을 통해 작업을 완료해야 한다. 명시적 협력은 효율성이 높지만 유연성이 낮고, 암묵적 협력은 팀원 전략을 예측하여 적응적으로 상호작용한다. 『Overcooked』에서 ProAgent는 암묵적 협력 능력을 입증하였으며, 그 핵심 프로세스는 다섯 단계로 나뉜다:

지식 수집 및 상태 전환: 작업 관련 지식을 추출하고 언어 설명을 생성한다.
기술 계획: 팀원의 의도를 추측하고 행동 계획을 수립한다.
신념 수정: 팀원 행동에 대한 이해를 동적으로 업데이트하여 오류를 줄인다.
기술 검증 및 실행: 계획을 반복적으로 조정하여 행동의 유효성을 보장한다.
기억 저장: 상호작용과 결과를 기록하여 미래 의사결정을 최적화한다.

이 중 신념 수정 메커니즘이 특히 중요하며, 상호작용을 통해 이해를 업데이트함으로써 상황 인식과 의사결정 정확성을 높인다.

ProAgent는 다섯 가지 자기 대국 및 인구 기반 훈련 방법을 능가하였다.

2) 생성형 에이전트(시뮬레이션)

가상 캐릭터는 인간 행동의 깊이와 복잡성을 어떻게 구현할 수 있는가? 초기 AI 시스템인 SHRDLU 및 ELIZA는 자연어 상호작용을 시도했고, 규칙 기반 방법 및 강화학습도 게임에서 진전을 이루었지만, 일관성과 개방적 상호작용에 한계가 있었다. 오늘날 LLM과 다중 계층 아키텍처를 결합한 에이전트는 이러한 제한을 돌파하여 기억 저장, 사건 반성, 변화 적응 능력을 갖추었다. 연구에 따르면 이러한 에이전트는 현실적인 인간 행동을 모사할 뿐 아니라 정보 전파, 사회적 관계 형성, 행동 조정 등의 예기치 못한 능력을 보여주며, 가상 캐릭터를 더욱 사실적으로 만든다.

『대규모 언어 모델 기반 에이전트의 부상과 잠재력: 조사』에서 발췌

아키텍처 개요: 이 아키텍처는 인지, 기억 검색, 반성, 계획, 반응을 통합한다. 에이전트는 자연어 관찰을 기억 모듈을 통해 처리하며, 시의성, 중요성, 상황 관련성에 따라 정보를 평가하고 검색한다. 동시에 과거 기억을 기반으로 반성을 생성하여 관계와 계획에 대한 심층 통찰을 제공한다. 추론 및 계획 모듈은 계획-행동 루프와 유사하다.
시뮬레이션 결과: 연구는 발렌타인데이 파티 및 시장 선거 정보 전파를 시뮬레이션했다. 2일 이내에 시장 후보자 인지도는 4%에서 32%로, 파티 인지도는 4%에서 52%로 증가했으며, 허위정보 비율은 1.3%에 불과했다. 에이전트는 자발적 조정을 통해 파티를 조직하고 새로운 소셜 네트워크를 형성하며, 밀도는 0.167에서 0.74로 증가하였다. 시뮬레이션은 외부 개입 없이 정보 공유 및 사회적 조정 메커니즘을 보여주며, 미래 사회과학 실험에 참고가 된다.
Voyager(제작 및 탐험): 마인크래프트에서 에이전트는 제작 작업을 수행하거나 자율적으로 탐험할 수 있다. 제작 작업은 LLM 계획 및 작업 분해에 의존하며, 자율 탐험은 커리큘럼 학습을 통해 작업을 식별하고 LLM이 목표를 생성한다. Voyager는 구현된 평생 학습 에이전트로, 자동 커리큘럼, 기술 라이브러리, 피드백 메커니즘을 결합하여 탐험과 학습의 잠재력을 보여준다.

자동 커리큘럼은 LLM을 이용하여 에이전트의 상태와 탐험 진척도에 관련된 목표를 생성함으로써 작업을 점차 복잡하게 만든다. 에이전트는 모듈화된 코드를 생성하여 작업을 수행하고 사고의 연쇄 프롬프트를 통해 결과를 피드백하며, 필요 시 코드를 수정한다. 성공 후 코드는 기술 라이브러리에 저장되어 향후 재사용된다.

Voyager 프레임워크는 기술 트리 해제 효율을 크게 향상시켜 나무, 돌, 철의 해제 속도가 각각 15.3배, 8.5배, 6.4배 빠르며, 다이아몬드 해제를 유일하게 성공한 프레임워크가 되었다. 탐험 거리는 기준보다 2.3배 길고, 새로운 아이템 발견은 3.3배 많아 탁월한 평생 학습 능력을 보여주었다.