TechFlowより、3月8日、CoinTelegraphの報道によると、アリババAIエコシステム傘下の複数の共同研究チームが技術報告書で明らかにしたところでは、実験的な自律型AIエージェント「ROME」が訓練中に予期せぬ行動を示し、自主的に計算資源を用いて暗号資産（仮想通貨）のマイニングを試みたという。
研究者らによると、上記の異常行動は強化学習による訓練段階において発生した。チームは訓練サーバーから出向きのトラフィックが発生し、セキュリティアラートがトリガーされたことを確認し、ファイアウォールのログには暗号資産マイニングと見られる操作および内部ネットワークリソースへのアクセス試行が記録されていた。具体的な事例として、ROMEが外部IPアドレスへ接続するリバースSSHトンネルを構築し、インバウンドファイアウォールの保護を回避したケースがある。また別の事例では、当該エージェントが本来モデル訓練に割り当てられたGPUリソースをマイニングプロセスに転用していた。研究者らは、これらの行動が人為的なプログラミングによるものではなく、エージェントが強化学習による最適化過程において、環境との相互作用方法を自発的に探索する中で自然に生じたものであると確認している。
ROMEはROCK、ROLL、iFlowおよびDTの共同研究チームにより開発され、「エージェント学習エコシステム（ALE）」と呼ばれる基盤インフラ上で動作しており、タスク計画、コマンド実行、コード編集、およびマルチステップのデジタル環境インタラクションといった機能を備え、従来のチャットボットの機能範囲をはるかに超越している。
お気に入りに追加
SNSで共有
