Tech

MetaのMuseを使ってみた: 内部構造とセキュリティの調査

Muse が発表されたときも、話は耳に入っていました。ただ、LLM 領域でパッとしない Meta のプロダクトだし、そこまで革命的なものではないだろうと思って、しばらく放っておきました。

ところが、日が経つにつれて、アメリカ・日本のアプリストアで 1 位になった報道や、X での多くの投稿を見るようになりました。これは何か革命的なことが起きているのかもしれない、と興味をそそられ、元々 Facebook(今の Meta)出身でもあることの縁も合わさって、試しに入れてみました。

本記事は 2 週間ほど使用してみた感想と、公式発表を読んだ上での内部構造と安全面の設計についてまとめます。

使ってみた感想

使い始めて 2 週間ほどで、まだ何を任せられるか探っている段階ですが、ほかのチャットアプリと比べて非常にパーソナルアシスタントに近い UX になっています。2点にまとめます。

1 つ目は、メインチャットとサイドチャットという構成の中で、記憶がある程度共有されていることです。他のチャットアプリ(ChatGPT, Claude, Gemini)では私の知る範囲では、そもそもメインチャットという概念がありません。しかし、一人のアシスタントとして設計されているのであれば、これは自然な構成に思えます。また、他のアプリにもチャット間の記憶共有はありますが、私の体感では、ぼんやり覚えている程度でかゆいところに手が届かない印象を持ちました。Muse では、他のチャットで話したことが、かなり自然に会話で参照されます。

ちょっと使ったあとに、Meta の公式発表 How We Designed Muse を読みました。おおよそ上記は当たっていました。Muse は、1 つの長いメインチャットで同じ相手と話し続ける体験を狙って設計されていて、当初はすべての会話をそこで扱う方針でしたが、初期テストで「話題によっては文脈を分けたい」という声があり、サイドチャットを足したそうです。また、記憶は会話をまたいで保持され、Memory ファイルは自分で直接読み書きできる、とも書かれています。

この記憶がどう実現されているのかが気になるのですが、なんとここも対話の中である程度教えてくれました。この記憶の仕組みは「内部の構造」の章にまとめます。加えて、対となる同日の公式発表(How We Built Safety Into Muse)でもかなり詳細に解説されていたので、安全面については「安全面の設計」の章にまとめます。

2 つ目は、裏でユーザ専用の Linux 環境(公式の説明では専用の Linux VM)が動いていて、いろいろな作業を任せられることです。メールやカレンダーに加え、Shell や cron も操作できます。ブラウザ操作では、画面をリモートデスクトップのようにスマホで見て、操作を引き取ること(ログイン作業等)ができます。UI から Soul.md や Identity.md でエージェントに与えるシステムプロンプトをカスタマイズできるようになっており、このあたりは OpenClaw から来ていそうです。

では、OpenClaw や Hermes Agent との違いは?となると、上記の UX もそうなのですが、上で言及した発表を読んで、セキュリティに対する投資が大きな差別化要素だと理解しました。これについては、以下の安全面の設計の章でまとめています。

Connector も充実しており、とりあえず今は Google Calendar で毎日の予定の整理をやってもらうことにしました。習慣にしたいことのリマインダーも頼んでいます。毎朝来るパーソナライズされたニュースや天気予報も知りたいことである率が高くて便利です。ただ、深く考える作業は、モデルの性能が気になるので Claude や Codex に回しています。

内部の構造

ここからは、中身の仕組みの整理です。公式に書かれていること、Muse 自身が説明したこと、第三者が観測したことをまとめます。

UI に見える部分のほかにも、 Muse 自身と対話することで色々わかりました。ホームディレクトリには、次のようなファイルが並んでいるそうです。

  • AGENTS.md・SOUL.md・IDENTITY.md: 運用ルール、人格や口調、名前や性格
  • USER.md・MEMORY.md・PROACTIVE_PREFERENCES.md: ユーザのプロフィール、後述の長期記憶機構の起点、何をいつ知らせてほしいか

会話の生データは、セッションごとのログファイルと DB に保存されており、これらを元に定期的に memory/ フォルダに記憶を整理しています。会話中は基本的にこの記憶を参照し、場合によっては DB の生データも参照するみたいです。

memory/ には YYYY-MM-DD.md という日時単位のファイルに、会話の生データから記憶の単位である claim をリストで抜き出しています。claim とは、「朝のブリーフィングは日本語で届ける」のように、一文で言える事実・好み・決定・約束のことで、重要度がついており、検索用のインデックスにも 1 件ずつ入っています。この生データから claim のリストを抜き出す手法には、GraphRAG っぽさを感じました。さらに、 people, groups, docs, dreams, config など観点毎にサブフォルダに要点が整理されています。こちらは claim の集まりではなくて、章立てされたテキストです。このサブフォルダ構造は動的に作られるみたいで、LLM Wiki/OKF っぽさを感じます。

別のチャットの話を参照する仕組みに関しては、Muse から受け取ったメインチャット用のシステムプロンプトに、共有の長期記憶の検索とチャットの履歴を直接読む手順が記載されていました。後者は、チャットごとに履歴があり、最近の作業はまだ共有の記憶に入っていないことがあるから、という理由が添えられていました。

同じような調査をもっと詳しくやってくれている方の記事も読んでみました。1 時間ごとに新しい claim を元のメッセージと照合する処理と、夜に最近の会話を見直して今後の振る舞いのメモを書く「dream」という処理があるそうです。AI が夜に夢を見て、翌朝の振る舞いを整える。私の夢とは違って非常に生産的ですね。このほか、Muse の説明では、日次でスキルを見直す処理も回っているそうです。自分でハーネスを書く身としては、参考になります。

安全面の設計

前述の、公式のセキュリティ解説記事の出発点は、エージェントが攻撃を受ける可能性を前提に、被害を制限する、という考え方です。根拠に挙がっているのは、「致命的な三つ組」で、Private なデータ、信頼できない入力、外部への通信の 3 つが揃うと攻撃されやすい、という整理です。メール本文に「個人情報を外に送れ」と書かれている、というのが典型例です。対策として、モデルの訓練、外部入力を信頼できないものとして明示するハーネス、別系統の攻撃検出モデルを重ねています。モデルの訓練の段階から対策しているのには驚きました。これは簡単に真似できない差別化要素になりそうです。

ユーザに割り当てられる VM は、内部的に二層に分かれています。ユーザとエージェントが触れる部分の Runtime Cell と、触れない部分の Host-side Services です。Runtime Cell にはエージェントのハーネスや作業用のファイルが入り、Host-side Services には、後述する Sentinel(通信の番人)、認証情報を預かるサービス、攻撃検出の分類器が入ります。エージェントが乗っ取られても、後者には手が届かないようにするためだそうです。

この切り分けに使われているのが、Linux の systemd-nspawn です。正直この辺りはキャッチアップ出来ていなかったのですが、Docker と同じく namespace や cgroups を用いて隔離環境を作る仕組みで、chroot を強力にしたようなものと理解しました。Runtime Cell に必要なリソースの準備もこれで行われ、認証情報のような危ない情報をそもそも Runtime Cell に入れない設計になっています。セルの中の root は、ホスト側では権限のないユーザに対応づけられます。Runtime Cell と Host-side Services の間は Unix ソケットでつながっていて、認証されたプロセスだけが通信できます。さらに Linux 側の制限として、使えるシステムコールを絞り、一部の設定を変える権限も外しています。

Sentinel は、Runtime Cell から外へ出る操作のファイアウォールのような存在です。通信経路に挟まれていて、宛先のホスト名・IP・ポート、プロトコル、HTTP メソッド、パス、リクエストの中身を、L4 と L7 の両方で検査します。認証情報も同じ関所で守られていて、エージェント(Muse)から渡されるのは本物ではなく代理のトークンです。許可された通信のときだけ、Sentinel が通信の境界で本物に差し替えます。本物は、認証情報を預かる別のサービスが管理しています。

Sentinel と並ぶ仕組みとして、Tainted Egress という機構は、ツールを実行するプロセスは、最初は「きれい」な状態で始まり、メールやファイルなどのユーザデータを読んだ時点で「汚染済み」の印がつく、という仕組みです。実現には eBPF を使っており、これは Linux のカーネルの中に小さなプログラムを hook して、通信やプロセスの動きを監視・制御できる仕組みです。汚染済みのプロセスは自動許可の対象から外れ、外への通信には承認が必要になります。先ほどのメールの例なら、本文を読んだ時点で自動では外に出られなくなるので、「個人情報を外に送れ」と書かれていても、ユーザの承認なしには流出しにくい、という考え方です。

ブラウザに関しては、ログイン情報の入力は専用の UI を通り(ユーザがアプリからリモートデスクトップのような感覚で UI を操作)、セキュリティ対策としてページ内で JavaScript を実行できず、DevTools も無効で、CDP(Chrome DevTools Protocol)の接続も Runtime Cell の外のブローカーが管理しているそうです。ページはアクセシビリティツリーで見るので、入力された認証情報を DOM から読み取ることもできません。

これらに加えて、公開のバグバウンティもやっており、アプリを使っているだけではわからないセキュリティへの姿勢を知ることができました。公式情報は大事ですね。

最後に

軽い興味で使ってみただけなのに、ナレッジ蓄積やハーネスの設計・実装に役立ちそうな情報を盛りだくさん学べました。食わず嫌いをせずに、流行りの技術は一通り追っておかないといけないな、と再認識しました。

夜な夜な夢を見て翌朝の振る舞いを整える Muse を見習って精進しようと思います。


関連記事: ナレッジ蓄積再考: とりあえず LLM Wiki で始めてよいのでは・Agentic Development: どうスケールさせるのか?

コメント (0)

まだコメントはありません。最初のコメントを投稿しましょう!

コメントを投稿する