AIエージェントの7つの示唆：研究と応用

2024.11.22

共有先

TechFlow厳選深潮セレクト

AIエージェントの7つの示唆：研究と応用

近年、大規模言語モデル（LLM）に基づく自律エージェントは、アーキテクチャ、記憶、知覚、推論および行動などにおいて着実に進化を遂げており、さまざまな分野で可能性を再定義する潜在能力を示している。

2024.11.22 - 10:30:48

AIAgent

Web3業界の深掘り報道に専念し潮流を洞察

執筆：Rituals

翻訳：白話ブロックチェーン

近年、エージェント（代理）という概念は哲学、ゲーム、人工知能（AI）など複数の分野でその重要性を増している。伝統的に、エージェントとは自ら行動し、選択を行い、意図を持つ実体を指し、こうした特徴は通常人間に結びつけられてきた。

一方、人工知能の文脈では、エージェントの意味はより複雑になっている。自律的エージェントの登場により、環境を観察し、学習し、独立して行動できるようになり、かつて抽象的であったエージェントの概念が計算システムに具体的な形を与えられた。こうしたエージェントはほとんど人的介入を必要とせず、意識こそ持たないものの、計算的な意図を持ち、意思決定を行い、経験から学習し、他エージェントや人間とますます複雑な方法で相互作用する能力を示している。

本稿では、自律エージェントという新興分野、特に大規模言語モデル（LLM）に基づくエージェントと、それがゲーム、ガバナンス、科学、ロボット工学などの分野に与える影響について考察する。エージェントの基本原則を踏まえつつ、AIエージェントのアーキテクチャと応用について分析する。このような分類的視点を通じて、これらのエージェントがどのようにタスクを遂行し、情報を処理し、特定の運用枠組みの中で進化していくかを深く理解できる。

本稿の目的は以下の2点である。

記憶、知覚、推論、計画などの構成要素に注目しながら、AIエージェントとそのアーキテクチャの基礎に関する体系的な概要を提供する。
AIエージェント研究における最新の動向を探り、可能性の再定義に貢献する応用事例を紹介する。

注：記事の長さの関係上、原文に対して編集・削減を行っている。

1. エージェント研究のトレンド

大規模言語モデル（LLM）に基づくエージェントの発展は、シンボル推論、反応型システム、強化学習から適応的学習まで、AI研究における大きな進歩を示している。

シンボルエージェント：ルールと構造化された知識で人間の推論を模倣する。医療診断など特定の問題に適用されるが、複雑で不確実な環境への対応は困難。
反応型エージェント：「知覚－行動」ループによって環境に迅速に応答。高速インタラクションの場面に適するが、複雑なタスクの完了はできない。
強化学習エージェント：試行錯誤によって行動を最適化。ゲームやロボティクスに広く応用されるが、学習期間が長く、サンプル効率が低く、安定性に欠ける。
LLMベースのエージェント：シンボル推論、フィードバック、適応的学習を統合。ファイショットおよびゼロショット学習が可能で、ソフトウェア開発、科学研究など幅広い分野に応用され、動的な環境でも他のエージェントと協働できる。

2. エージェントアーキテクチャ

現代のエージェントアーキテクチャは複数のモジュールからなり、統合されたシステムを形成している。

1）プロファイルモジュール

プロファイルモジュールはエージェントの行動を決定し、役割や個性を割り当てることで一貫性を確保する。これは安定した個性が求められる場面に適している。LLMエージェントのプロファイルは三種類に分けられる：人口統計的役割、仮想的役割、パーソナライズされた役割。

論文『From Roles to Personalization』より引用

役割設定はエージェントの性能と推論能力を著しく向上させる。例えば、LLMが専門家として振る舞うと、より深い文脈に合った応答を行う。マルチエージェントシステムでは、役割の一致が協力を促進し、タスク達成率とインタラクションの質を高める。

プロファイル作成方法 LLMエージェントのプロファイルは以下のように構築できる。

手動設計：人為的に役割の特性を設定。
LLM生成：LLMを使って自動的に役割設定を拡張。
データセット整合：実際のデータセットに基づいて構築し、インタラクションの現実味を高める。

2）メモリーモジュール

記憶はLLMエージェントの核であり、適応的な計画立案と意思決定を支える。記憶構造は人間のプロセスを模倣し、主に二つのタイプに分けられる。

統合メモリー：短期記憶。最近の情報を処理。テキストの切り出し、記憶の要約、注意機構の変更により最適化されるが、コンテキストウィンドウの制限がある。
ハイブリッドメモリー：短期と長期の記憶を組み合わせ、長期記憶は外部データベースに保存され、効率的な回想が可能。

記憶フォーマット記憶の一般的な保存形式には以下がある。

自然言語：柔軟で意味豊か。
埋め込みベクトル：高速検索に適する。
データベース：構造化された保存によりクエリをサポート。
構造化リスト：リストまたは階層形式で整理。

記憶操作エージェントは以下の操作で記憶とやり取りする。

記憶読み取り：関連情報を検索し、賢明な意思決定を支援。
記憶書き込み：新しい情報を保存し、重複やオーバーフローを回避。
記憶リフレクション：経験を要約し、抽象的推論能力を強化。

論文『Generative Agents』より

研究意義と課題

記憶システムはエージェントの能力を高めるが、同時に研究課題ももたらす。

スケーラビリティと効率性：大量の情報を扱いながら高速検索を保証する必要があり、長期記憶の検索最適化が研究の重点。
コンテキスト制限の処理：現在のLLMはコンテキストウィンドウに制限され、膨大な記憶を管理するのが難しく、動的注意機構や要約技術の研究が進められている。
長期記憶におけるバイアスとドリフト：記憶にバイアスが生じ、情報が優先的に処理されて記憶ドリフトを引き起こす可能性があるため、定期的な更新と修正が必要。
災害的忘却：新しいデータが古いデータを上書きし、重要な情報が失われる。経験リプレイや記憶固定化技術で重要記憶を強化する必要がある。

3）知覚能力

LLMエージェントは多様なデータソースを処理することで、環境の理解と意思決定能力を高める。これは人間が感覚入力に依存するのに似ている。マルチモーダル知覚はテキスト、視覚、聴覚などの入力を統合し、エージェントが複雑なタスクを遂行する能力を強化する。主な入力タイプとその応用は以下の通り。

テキスト入力テキストはLLMエージェントの主要なコミュニケーション手段。高度な言語能力を持つが、指示の背後にある潜在的な意味を理解することは依然課題。

潜在的理解：強化学習で好みを調整し、曖昧な指示や意図の推測に対応。
ゼロショットおよびファイショット能力：追加訓練なしで新しいタスクに応答でき、多様なインタラクションに適する。

視覚入力視覚知覚により、エージェントは物体と空間関係を理解できる。

画像→テキスト：視覚データを説明するテキストを生成。ただし細部が失われることがある。
Transformerベースのエンコーディング：Vision Transformer（ViT）などが画像をテキスト互換のトークンに変換。
橋渡しツール：BLIP-2やFlamingoなど中間層を活用し、視覚とテキストの接続を最適化。

聴覚入力聴覚知覚により、エージェントは音声や音を認識できる。特にインタラクティブな場面やリスクの高い状況で重要。

音声認識と合成：Whisper（音声→テキスト）、FastSpeech（テキスト→音声）など。
スペクトログラム処理：オーディオスペクトログラムを画像として処理し、聴覚信号の解析能力を向上。

マルチモーダル知覚の研究課題と考慮点：

データのアラインメントと統合：マルチモーダルデータは効率的にアラインメントされねばならず、知覚と応答の誤りを避ける。研究はマルチモーダルTransformerやクロスアテンション層の最適化に集中。
スケーラビリティと効率性：マルチモーダル処理は高解像度画像やオーディオで負荷が大きく、低リソースかつ拡張可能なモデルの開発が鍵。
災害的忘却：マルチモーダルエージェントも災害的忘却に直面し、優先度リプレイや継続的学習戦略で重要な情報を保持する必要がある。
文脈に敏感な応答生成：ノイズのある環境や視覚優位の状況において、感覚データを文脈に応じて優先的に処理する応答生成が研究の重点。

4）推論と計画

推論と計画モジュールは、複雑なタスクを分解することでエージェントが効率的に問題を解決できるようにする。人間と同様、構造化された計画を立てることができ、事前に完全な計画を構築するか、フィードバックに応じてリアルタイムで戦略を調整できる。計画手法はフィードバックの有無で分類される。

一部のエージェントは、実行前に完全な計画を立て、単一パスまたは複数オプションで実行し、計画を変更しない。
別のエージェントは、動的環境においてフィードバックに基づきリアルタイムで戦略を調整する。

フィードバックのない計画フィードバックがない場合、エージェントは最初から完全な計画を立て、それを実行するが、調整は行わない。単一パス計画（ステップ順に実行）と複数パス計画（複数のオプションを同時に探索し、最良のパスを選択）がある。

単一パス推論：タスクを順次ステップに分解し、各ステップが次のステップにつながる。

チェイン・オブ・ソート（CoT）：少数の例を用いて、エージェントに段階的な問題解決を促し、モデル出力の品質を向上。
ゼロショットCoT：事前設定の例を不要とし、「段階的に考えてください」というプロンプトで推論を行う。ゼロショット学習に適する。
リプロンプティング：人手による入力なしに、効果的なCoTプロンプトを自動的に発見。

CoT論文より

5）複数パス推論

単一パス推論とは異なり、複数パス推論はエージェントが同時に複数のステップを探索し、複数の潜在的解決策を生成・評価して最良のパスを選ぶことを可能にする。複数のアプローチが存在する複雑な問題に適している。

例：

自己一貫性チェイン・オブ・ソート（CoT-SC）：CoTプロンプトからの出力から複数の推論パスをサンプリングし、最も頻繁に出現するステップを選択することで「自己アンサンブル」を実現。
思考の木（ToT）：論理的ステップを木構造として保存し、各「思考」が解決策に与える貢献を評価。幅優先または深さ優先探索でナビゲート。
思考のグラフ（GoT）：ToTをグラフ構造に拡張。思考を頂点、依存関係を辺とする。より柔軟な推論が可能。
プランニングによる推論（RAP）：モンテカルロ木探索（MCTS）で複数の計画をシミュレート。LLMが推論木を構築すると同時にフィードバックを提供。

6）外部プランナー

LLMが特定領域の計画課題に直面したとき、外部プランナーが支援し、LLMに欠けている専門知識を統合する。

LLM+P：タスクをプランニングドメイン定義言語（PDDL）に変換し、外部プランナーで解決。LLMが複雑なタスクを完了するのを支援。
CO-LLM：複数モデルが協力してテキストを生成。モデルが交互にトークンを生成することで、最適な協働モードが自然に浮上。

フィードバックありの計画フィードバックありの計画により、エージェントは環境の変化に応じてリアルタイムでタスクを調整し、予測不能または複雑な状況に適応できる。

環境からのフィードバックエージェントが環境と相互作用する際、リアルタイムのフィードバックに基づき計画を調整し、タスクの進行を維持。

ReAct：推論と行動のプロンプトを結合し、インタラクション中に調整可能な計画を作成。
DEPS：タスク計画中に計画を再構築し、未完了のサブゴールに対処。
SayPlan：シーングラフと状態遷移を用いて戦略を精緻化し、状況認識を向上。

論文『ReAct』より

7）人間からのフィードバック

人間との相互作用を通じ、エージェントが人間の価値観と一致するように支援し、誤りを回避。例：

内なる独白：人間のフィードバックをエージェントの計画に統合し、行動が人間の期待と一致するようにする。

モデルからのフィードバック事前学習済みモデルからのフィードバックは、エージェントが自己チェックを行い、推論と行動を最適化するのを助ける。例：

SelfCheck：ゼロショットで段階的にチェックする自己チェッカー。推論チェーン内の誤りを自己識別し、正しさを評価。
Reflexion：エージェントがフィードバック信号を記録してリフレクションを行い、長期的な学習と誤り修正を促進。

論文『SelfCheck』より

推論と計画における課題と研究方向推論と計画モジュールはエージェントの機能を高めたが、依然課題がある。

スケーラビリティと計算負荷：ToTやRAPのような複雑な手法は大量の計算資源を必要とし、効率化が研究の重点。
フィードバック統合の複雑さ：多源フィードバックを効果的に統合し、情報過負荷を避け、適応性を損なわず性能を維持することが鍵。
意思決定におけるバイアス：特定のフィードバック源やパスを優先するとバイアスが生じる可能性がある。バイアス除去技術を組み合わせて計画のバランスを取る。

8）アクション

アクションモジュールはエージェントの意思決定プロセスの最終段階であり、以下を含む。

アクション目標：エージェントはタスク完了、コミュニケーション、環境探査など複数の目標を遂行。
アクション生成：記憶や計画に基づいてアクションを生成（記憶に基づく、計画に基づくなど）。
アクションスペース：内在的知識と外部ツール（API、データベース、外部モデルなど）を含み、タスクを実行。HuggingGPTやToolFormerなどは外部モデルやAPIを活用してタスクを実行。

データベースとナレッジベース：ChatDBはSQLクエリでドメイン固有情報を取得。MRKLは専門家システムとプランニングツールを統合し、複雑な推論を可能にする。

外部モデル：エージェントは非APIモデルに依存して専門タスクを実行することもある。ChemCrowは複数モデルを用いて薬物発見を行い、MemoryBankは二つのモデルでテキスト検索を強化。

アクションの影響：結果に基づきアクションは以下に分類される。

環境変化：VoyagerやGITMでの資源収集や建造物建設など、環境を変える。
自己影響：Generative Agentsでの記憶更新や新たな計画立案。
タスク連鎖：あるアクションが他のアクションをトリガー。Voyagerでは資源収集後に建造物を建設。
アクションスペースの拡張：AIエージェントの設計には強力なアーキテクチャとタスキルが必要。能力獲得方法は微調整ありとなしの二つ。

微調整による能力獲得：

人間アノテーションデータセット：RET-LLMやEduChatは人間がアノテーションを付けてLLMの性能を向上。
LLM生成データセット：ToolBenchはLLMが生成した命令でLLaMAを微調整。
実世界データセット：MIND2WEBやSQL-PaLMは実際のアプリケーションデータでエージェント能力を向上。

微調整なしの能力獲得微調整が不可能な場合、プロンプトエンジニアリングやメカニズムエンジニアリングで能力を高める。

プロンプトエンジニアリングプロンプト設計によりLLMの行動を導き、性能を向上。

チェイン・オブ・ソート（CoT）：中間的な推論ステップを追加し、複雑な問題解決を支援。
SocialAGI：ユーザーの心理状態に応じて会話を調整。
Retroformer：過去の失敗のリフレクションを組み合わせて意思決定を最適化。

メカニズムエンジニアリング専門的なルールやメカニズムでエージェント能力を強化。

DEPS：計画を最適化。実行プロセス、フィードバック、目標選択の記述で誤り修正を向上。
RoCo：環境チェックでマルチロボット協働計画を調整。
ディベートメカニズム：協働で合意に達する。

経験の蓄積

GITM：テキストベースの記憶メカニズムで学習と汎化能力を向上。
Voyager：自己フィードバックでスキル実行を最適化。

自発的進化

LMA3：目標の再設定と報酬関数をサポートし、特定タスクのない環境でスキルを学習。

論文『Voyager』より

微調整はタスク固有の性能を大幅に向上するが、オープンソースモデルが必要でリソース消費が大きい。プロンプトエンジニアリングとメカニズムエンジニアリングはオープン・クローズド両方のモデルに適用可能だが、入力コンテキストウィンドウの制限があり、慎重な設計が必要。

3. 複数エージェント（agents）を含むシステムアーキテクチャ

マルチエージェントアーキテクチャはタスクを複数のエージェントに分配し、それぞれが異なる側面に専念することで、堅牢性と適応性を高める。エージェント間の協力とフィードバックが全体の実行効果を強化し、必要に応じてエージェント数を動的に調整できる。しかし、このアーキテクチャは調整の課題に直面し、コミュニケーションが極めて重要で、情報の喪失や誤解を避ける必要がある。

エージェント間のコミュニケーションと調整を促進するために、研究は二つの組織構造に注目している。

水平構造：すべてのエージェントが意思決定を共有・最適化。個人の意思決定を集約して集団意思決定を行う。コンサルティングやツール利用の場面に適する。
垂直構造：一つのエージェントが初期の解決策を提案し、他のエージェントがフィードバックを提供、または管理者が監督。数学問題の解決やソフトウェア開発など、解決策を精緻化する必要があるタスクに適する。

論文『ChatDev』より

1）混合組織構造

DyLANは垂直構造と水平構造を組み合わせたハイブリッド方式。エージェントは同じレイヤー内で水平に協働し、時間ステップをまたいで情報を交換。DyLANはランキングモデルとエージェント重要性スコアシステムを導入し、動的に最も関連性の高いエージェントを評価・選択。パフォーマンスが低いエージェントは無効化され、階層構造が形成される。高ランクのエージェントはタスクとチーム構成で中心的役割を果たす。

協調型マルチエージェントフレームワーク情報共有と行動調整を通じ、各エージェントの強みを活かし、相補的協力を通じて効率を最大化する。

論文『Agentverse』より

協調的インタラクションは二種類に分けられる。

無秩序協調：複数のエージェントが自由にインタラクションし、固定順序やプロセスなし。ブレインストーミングに似る。各エージェントがフィードバックを提供し、システムがエージェントを調整して入力を統合し、応答を組織化。混乱を避けるために多数決メカニズムがよく使われる。
秩序ある協調：エージェントが順番にインタラクションし、構造化されたプロセスに従う。各エージェントは前のエージェントの出力を注視し、効率的なコミュニケーションを確保。タスクは迅速に完了するが、誤りの拡大を防ぐために交差検証や人間の介入が必要。

MetaGPT論文より

対抗的マルチエージェントフレームワーク協調的フレームワークは効率と協力を高めるが、対抗的フレームワークは挑戦を通じてエージェントの進化を促す。ゲーム理論に着想を得て、対抗的インタラクションはフィードバックとリフレクションを通じて行動改善を促す。AlphaGo Zeroは自己対戦で戦略を改良し、LLMシステムは「ディベート」や「しっぺ返し」の交換で出力品質を向上させる。この手法は適応性を促進するが、計算コストと誤りのリスクも伴う。

創発的行動マルチエージェントシステムでは、三種類の創発的行動が現れる可能性がある。

志願的行動：エージェントが自発的にリソースを提供したり、他人を助けたりする。
一貫性行動：エージェントがチーム目標に合うように行動を調整。
破壊的行動：エージェントが目標を急速に達成しようと極端な行動をとり、安全性のリスクを生む。

ベンチマークテストと評価ベンチマークテストはエージェントのパフォーマンスを評価する重要なツール。ALFWorld、IGLU、Minecraftなどのプラットフォームが、計画、協力、タスク実行能力のテストに使われる。また、ツール利用能力や社会的能力の評価も重要で、ToolBenchやSocKETはそれぞれエージェントの適応能力と社会的理解を評価する。

応用デジタルゲームはAI研究の重要なプラットフォームとなっている。LLMベースのゲームエージェントは認知能力に注力し、AGI研究を推進。

論文『A Survey on Large Language Model Based Game Agents』より

ゲームにおけるエージェントの知覚ビデオゲームでは、エージェントは知覚モジュールでゲーム状態を理解。主な方法は三つ。

状態変数アクセス：ゲームAPIを通じてシンボルデータにアクセス。視覚要求が低いゲームに適する。
外部視覚エンコーダ：CLIPなどの視覚エンコーダで画像をテキストに変換し、環境理解を助ける。
マルチモーダル言語モデル：視覚とテキストデータを統合し、エージェントの適応性を高める。GPT-4Vなど。

ゲームエージェントのケーススタディ

Cradle（アドベンチャーゲーム）：エージェントがストーリーを理解し、パズルを解き、ナビゲートする必要がある。マルチモーダルサポート、動的記憶、意思決定の課題に直面。Cradleの目標は汎用コンピュータ制御（GCC）を実現し、画面と音声入力だけで任意のコンピュータタスクを実行できるようにすること。汎用性が高い。

PokémonLLMon（競技ゲーム）競技ゲームは厳格なルールと人間プレイヤーとの勝率比較が可能であるため、推論と計画のパフォーマンスのベンチマークとなる。複数のエージェントフレームワークが競技的パフォーマンスを示している。例えば、「Large Language Models for StarCraft II: Benchmark and Chain-of-Summary Approach」では、LLMエージェントが内蔵AIとテキスト版『スタークラフトII』で対戦。PokémonLLMonは初めて人間レベルのパフォーマンスを達成したLLMエージェントで、『ポケモン』戦術ゲームで49％のランクマッチ勝率、56％の招待戦勝率を記録。このフレームワークは知識の強化生成と一貫した行動生成により、幻覚やチェインオブソートにおけるパニックループを回避。エージェントは戦闘サーバーのステートログをテキストに変換し、ターンの連続性を確保し、記憶に基づく推論を支援。

エージェントはHP変化、スキル効果、行動順序の速度推定、スキル状態効果の4種類のフィードバックで強化学習を行い、戦略を最適化し、無効なスキルのループ使用を回避。

PokémonLLMonはBulbapediaなどの外部リソースを利用して、タイプ相性やスキル効果といった知識を得て、特殊スキルをより正確に使用できるようにする。さらに、CoT、Self-Consistency、ToTの各手法を評価したところ、Self-Consistencyが勝率を著しく向上させることが判明。

ProAgent（協力ゲーム）協力ゲームでは、仲間の意図を理解し、行動を予測する必要がある。明示的または暗黙的な協力でタスクを達成。明示的協力は効率が高いが柔軟性が低い。暗黙的協力は仲間の戦略を予測して適応的に相互作用する。『Overcooked』では、ProAgentが暗黙的協力の能力を示しており、そのコアプロセスは五段階。

知識収集と状態変換：タスクに関連する知識を抽出し、言語的に表現。
スキル計画：仲間の意図を推測し、行動計画を立てる。
信念修正：仲間の行動理解を動的に更新し、誤りを減らす。
スキル検証と実行：計画を繰り返し調整し、行動の有効性を確保。
記憶保存：インタラクションと結果を記録し、将来の意思決定を最適化。

特に信念修正メカニズムが重要で、インタラクションとともに理解を更新することで、状況認識と意思決定の精度を高める。

ProAgentは5つの自己対戦および群衆ベースの訓練法を上回った。

2）生成型エージェント（シミュレーション）

仮想キャラクターは人間の行動の深さと複雑性をどう体現できるか？SHRDLUやELIZAなどの初期AIシステムは自然言語インタラクションを試み、ルールベースや強化学習もゲームで進展したが、一貫性とオープンインタラクションには限界があった。現在、LLMと多層アーキテクチャを組み合わせたエージェントはこれらの限界を突破し、記憶を保存し、出来事をリフレクションし、変化に適応する能力を持つようになった。研究によると、こうしたエージェントは現実の人間の行動を模倣するだけでなく、情報伝播、社会的関係構築、行動調整といった創発的能力を示し、仮想キャラクターをよりリアルにする。

『The Rise and Potential of Large Language Model Based Agents: A Survey』より

アーキテクチャ概要：知覚、記憶検索、リフレクション、計画、反応を統合。エージェントは記憶モジュールで自然言語の観察を処理し、時宜、重要性、文脈関連性に基づいて情報を評価・検索。過去の記憶に基づいたリフレクションを生成し、関係や計画に対する深い洞察を提供。推論と計画モジュールはプラン－アクションループに似ている。
シミュレーション結果：研究はバレンタインパーティーと市長選挙の情報伝播をシミュレート。2日間で市長候補者の認知度は4％から32％に、パーティーの認知度は4％から52％に上昇。誤情報の割合は1.3％にとどまった。エージェントは自発的に協調してパーティーを企画し、新たなソーシャルネットワークを形成。密度は0.167から0.74に上昇。外部干渉なしで情報共有と社会的調整が可能であることを示し、今後の社会科学実験の参考となる。
Voyager（制作と探索）：Minecraftにおいて、エージェントは制作タスクを実行したり、自律的に探索したりできる。制作タスクはLLMによる計画とタスク分解に依存。自律的探索はカリキュラム学習でタスクを識別し、LLMが目標を生成。Voyagerは具象化された生涯学習エージェントで、自動カリキュラム、スキルライブラリ、フィードバック機構を組み合わせ、探索と学習の可能性を示す。