メインコンテンツへスキップ
見出し画像

思いつきを「島の地図」にするWebアプリ mappa を作りました

    メモやログは溜まる一方で、見返しても全体像がつかめません。検索はできても、「自分は今、何について何回考えているのか」は検索では分かりませんでした。

    そこで、書いた文章を埋め込みベクトルにして、意味の近さをそのまま2次元の地形にするアプリ、mappa を作りました。

    👉 https://mappa.yomroom.com/

    画像

    仕組み:書く → 埋め込む → 量子化する → 地図にする

    ユーザーが操作するのは「書いて追加」だけです。裏では次のパイプラインが動いています。

    1. 要約とベクトル化:Geminiで文章を短く要約し、「要約+本文」を gemini-embedding-001(SEMANTIC_SIMILARITY、768次元)で埋め込みます。

    2. ベクトル量子化:単位ベクトルに正規化し、単位球面上でk-meansを回します。

    3. 島の距離を測る:各クラスタのセントロイドを再正規化して代表ベクトルとし、島どうしの距離をコサイン距離(1 − cᵢ·cⱼ)で定義します。

    4. 2次元に落とす:島間距離の行列に古典的MDSをかけて座標を決め、重なる島は反発緩和で押し広げます。

    python

    labels = kmeans(V, k)                  # 単位球面上のLloyd法
    C = normalize(centroids(V, labels))    # 島の代表ベクトル
    D = 1.0 - C @ C.T                      # 島間コサイン距離
    G = -0.5 * J @ (D**2) @ J              # ダブルセンタリング
    coords = top2_eigvecs(G)               # 古典的MDS → 2次元

    「ベクトル量子化」として見ると

    k-meansは、セントロイドをコードブックとして学習し、各ベクトルを最近傍のコードワードに置き換える処理、つまりベクトル量子化そのものです。mappaでは、1つの島が1つのコードワードにあたります。

    ただし目的は圧縮ではなく、人間が読める解像度で意味空間を粗視化することです。そのため K(コードブックのサイズ)をスライダーで5〜30に動かせるようにしてあります。Kが小さければ大づかみな主題が、大きければ細かい論点が見えます。各島の「平均内部距離(1 − cos)」も計算していて、量子化誤差に相当します。

    実装のこだわり

    • 決定論的:seedingはfarthest-point、空クラスタは再配置するので、同じデータなら同じ地図になります。再計算するたびに島がシャッフルされることはありません。

    • 見た目と数値を一致させる:島の間の点線に出る距離は、MDSの2次元距離ではなく元の768次元でのコサイン距離です。2次元への射影は必ず歪むので、位置関係は目安にして、数字を正として読む設計にしました。

    • スケールは一様:MDSの結果は縦横で同じ倍率を掛け、距離比を保ちます。島の半径はメンバー数の平方根に比例します。

    • 島の中身:セントロイドに最も近いログが島の中心(代表)になり、残りは黄金角のスパイラルで外側へ並びます。島どうしは最小全域木で結ばれるので、どの島も孤立しません。

    • スタック:FastAPI + SQLite + NumPy。フロントはビルドなしのVanilla JSです。

    色で「偏り」を見る:対立タグ

    good ↔ bad のような対立タグのペアを作ると、島の色がその軸の偏りを表します。全部goodなら緑、半々ならくすんだ中間色、という具合です。意味埋め込みは「ポジかネガか」ではなく「何の話か」でクラスタを作るので、同じ話題の島の中で、どちらに傾いているかを色で重ねて見られます。

    使い方の例

    ① 世論やレビューを島ごとに分類する
    SNSの投稿、アンケートの自由記述、パブリックコメントなどをCSVで読み込みます。論点ごとに島ができ、島の大きさで声の大きさ、島間距離で論点の遠さが分かります。賛成・反対のタグをペアにすれば、同じ論点の中の賛否の偏りも色で見えます。ただし、島の分かれ方はKとサンプルの偏りに依存します。結論の根拠ではなく、論点を探る入口として使うのがおすすめです。

    画像
    ヘッドフォンのamazonレビューを読み込ませた

    ② 勉強で間違いやすい島を見つける
    間違えた問題と、その理由を一言ずつ放り込みます。溜まると、「何度も間違えている分野」が大きな島として現れます。さらに「理解不足 / ケアレス」をペアタグにすれば、島ごとに原因の傾向が色で分かります。問題集の章立てとは別の切り口で、自分だけの苦手分野マップができます。

    ③ 日記として使う
    その日の気分や出来事を一言ずつ書きます。数十件溜まると、「仕事の悩みの島」「趣味の島」「人間関係の島」のように、自分の関心の地形が見えます。気分をポジティブ/ネガティブのペアタグにすると、島ごとの色で、何について考えると気分が沈むのかが分かります。

    ④ ほかにも

    • 読書や論文のメモ:読んだものが主題ごとに島になり、空白地帯が次に読む領域になります

    • アイデア出し:ブレインストーミングの出力を投げ込むと、実は似た案ばかりだった、が一目で分かります

    • ユーザーの声・問い合わせ:要望の主題が島の大きさで見えます

    公開と探索

    作ったマップは公開できます。公開すると、他の人の地図を見たり、気に入ったマップに★を付けたりできます。探索ページには、★の多い順のランキング、新着、自分が★を付けたスター済みがあります。他の人の地図の島を眺めるのは、意外と面白いです。

    公開するとログ本文や要約も見られる状態になるため、公開前に確認が出ます。個人的な日記は非公開のままでも十分使えます。

    注意点

    • 入力した文章は、要約とベクトル化のために Gemini APIに送信されます。見られたくない内容は書かないでください

    • Googleでログインしますが、他の人に見えるのは自分で決めたユーザー名だけです

    • AI処理には1日あたりの上限があります

    • 作りたてなので、バグや荒削りな部分があります

    おわりに

    まず5〜10個、頭に浮かんだことを放り込んでみてください。スライダーでKを動かすと、同じデータの粒度が変わっていきます。

    「こういうデータで試したら面白かった」「この距離の測り方はおかしい」といった感想やツッコミは、コメントでもSNSでも大歓迎です。

    #個人開発 #ベクトル検索 #Gemini #k-means #FastAPI #データ可視化 #個人開発者と繋がりたい

     
     
    AIやapiを使った個人開発をしています。みんなに使ってもらう前にまずは自分が使う事が大事かなと思っています。

    あなたへのおすすめ