メインコンテンツへスキップ
見出し画像

自分のメモを3D空間に並べて、意味で探せるアプリを作った

    自分のメモやURLを3Dの空間に浮かべて、意味が近いものを探せるアプリを作りました。 Cloudflareの無料枠だけで動かして、一時的に公開もしています。

    ※コードの大部分はClaude Codeを使用しています。

    はじめに

    メモが増えると、キーワードを覚えていないと探せなくなります。 「あのとき何か書いたはず」を、言葉が違っても見つけたい。をコンセプトに作りました。メインはCloudflareを使ってみようが始まりです。

    質問を入れると、関係するメモが空間の中で光って、根拠のメモ付きで答えが返ってきます。 RAGと呼ばれる仕組みを、3次元空間で見えるようにしたものです。

    何ができるか

    登録したメモが、全部ノードとして浮かんでいる

    登録したメモは、球状の空間に点(ノード)として並びます。 ドラッグで回して、スクロールでズームできます。

    位置は、登録するときにメモの内容から決めています。 似たメモは、だいたい近くに置かれます。

    画像

    質問すると、関係するメモが光る

    質問を入れると、関係の強いノードが大きく光ります。 クリックすると、該当する部分の抜粋と、一致度が出ます。 一致度は、質問とメモの近さを0〜100で表したものです。確率ではありません。

    回答は、見つかったメモだけを根拠に作ります。 関係するメモがなければ、「見つかりませんでした」と答えるようにしてあります。 これを入れないと、AIが抜粋にないことを作文してしまいました。

    ヒットしたものを、並べ直す

    検索でヒットしたメモは、その場で並べ直します。ここで主成分分析(PCA)を使っています。 PCAはCloudflareの機能ではなく、自分でWorkerに書いた計算です(下の「どこまでがCloudflareか」を参照)。

    メモをベクトルにすると(これはWorkers AIがやってくれます)、1つのメモが1024個の数値になります。 1024次元の点は、そのままでは見えません。3Dの空間に置くには、3つの数値まで減らす必要があります。

    そこで、ヒットした点の広がりを見て、「一番ばらついている方向」を探します。 これが第1軸です。次に、第1軸と直角で、2番目にばらついている方向を第2軸、同じように第3軸を決めます。 各メモを、この3つの軸に投影した値が、3Dの座標(x, y, z)になります。

    ばらつきの大きい方向を選ぶのがポイントです。 違いが一番出る向きに広げるので、似たメモは近く、違うメモは遠くに見えます。 逆に、全部同じ向きに寄っていると、軸を選んでもあまり意味がありません。

    勘違いしやすいところがあって、「軸」は3つの数値ではなく、1024次元の中の向き(矢印)です。 1本の軸が1024個の数値でできていて、それが3本あります。 減るのは、メモ1つあたりの座標のほうです(1024個から3つに)。 軸のほうは、1024個の数値を3本分、そのまま持っています。

    実装では、点の数が少ないので、点同士の内積から軸を求めています(累乗法という方法です)。 行列のライブラリは使っていません。

    画像

    関連するメモを、あとから広げる

    検索のあと、ノードを右クリック(スマホは長押し)すると、そのメモに近いものが出てきます。 関連のノードは青緑で、最初の検索と同じ軸の上に置きます。 軸を作り直さないのがポイントです。最初の検索で決めた3本の軸(平均の点と拡大率も)を覚えておいて、新しい点も同じ式で投影します。 軸は検索結果と一緒に画面に渡し、関連を取るときに送り返します。サーバーは何も覚えていません(約38KBです)。 同じ軸なので、最初の検索でヒットしていれば出たはずの位置と、ほぼ同じ場所に出ます。 軸を決めたときの点より外側の点は、球の外に出ることもあります。それでもいいことにしました。 同じ空間の中で、「ここから先」が広がっていく感じです。

    最初の検索では出なかったけれど、選んだメモには近いもの、が見つかります。 質問に合うものではなく、選んだメモに近いもの、という点が少しややこしいです。

    これでちょっとこのメモ忘れてきたな、関連する情報も知りたいな
    ということもできるようになります。ただ3次元するより芋づる式に知識を遡れたら楽しいかなと思い入れました。

    画像

    仕組み

    流れは、登録と検索の2つです。

    • 登録: メモを短いかたまり(チャンク)に分けて、数値のベクトルに変換して保存する

    • 検索: 質問もベクトルに変換して、近いチャンクを探し、その抜粋をもとに回答を作る

    使ったのは、Cloudflareのサービスです。

    • Workers: APIと、RAGの処理

    • Pages: 画面(3Dは React Three Fiber)

    • D1: メモの本文

    • Vectorize: ベクトル検索

    • Workers AI: ベクトル化と回答の生成

    どこまでがCloudflareか

    ここは混ざりやすいので、分けて書きます。

    Cloudflareがやってくれること

    • メモや質問を、1024個の数値(ベクトル)に変換する(Workers AI)

    • ベクトルを保存して、近いものを探す(Vectorize。「質問に近い順にN件」を返す)

    • 本文を保存する(D1)

    • 回答の文章を作る(Workers AI)

    • コードを動かす場所と、画面の配信(Workers、Pages)

    自分で書いたこと(Workerの中の計算)

    • メモをチャンクに分ける処理

    • 質問に近いチャンクを、ソース(メモ)ごとにまとめる処理

    • PCAで3つの軸を求めて、座標に変換する計算

    • 関連ノードを、同じ軸に投影する計算

    • 回答の指示(見つからないときは作文しない、など)

    つまり、「近いものを探す」までは、Cloudflareに任せています。 「それを3D空間のどこに置くか」は、自分で考えて書いたところです。

    全部、無料枠で動かしています。 超えた場合は課金ではなく止まる方式なので、安心して試せました。

    守り方

    画面は、Cloudflare Accessで守っています。ログインは、自分のメールにコードが届くワンタイムPINで、許可しているのは自分のメールアドレスだけです。

    APIを呼ぶためのトークンは、ブラウザには出していません。 画面と一緒に置いた中継が、ログイン済みか確認してからトークンを付けて、APIに転送する形にしました。

    メモの登録は、手元の開発環境からAI(Claude Code)に頼むこともできます。ただ、AIにAPIの鍵を渡すのは避けたかったので、登録と削除だけができる専用のトークンを別に作りました。 そのトークンも、AIには見えないように、自分で作り直して本番に登録しています。

    使ってみて

    検索すると、思ったよりも意味で拾ってくれます。 言い回しが違っても、近いメモが光るのは気持ちいいです。

    一方で、メモの中身が薄いと、当然ながら答えも薄くなります。 仕組みより、入れる情報の質が効くところは、実際に使ってみて分かりました。

    おわりに

    今回は、アプリを作り切ることではなく、CloudFlareを作ってみることが目的でした。意外と無料枠でもできることが多いなという印象です。
    (後から知りましたが、Obsidian(オブシディアン)のプラグインで結構似たことができそう...)

    あなたへのおすすめ