メインコンテンツへスキップ
見出し画像

「全部くっついてる…」グラフのカオスと戦った日。AI開発の泥沼と「ブラックホール単語」|MDツール開発ログ Vol.7 前編


    この記事はマガジンにまとめています。

    こちらの記事も読んでみてね!


    こんにちは、ノックスリョウです!

    今回は、正直しんどかったセッションです。

    「動いた!」という達成感よりも、「また変わらない…」という徒労感の方が多かった日でした。

    でも、こういう日もある。

    それもプロセスエコノミーの一部として、包み隠さずお届けします。



    順調な滑り出しからの暗転?

    前回は、V3.0のロードマップを立案し、
    「データが毎度上書きされて消えていた」
    という致命的な問題をすぐさま修正しました。

    ニュースデータが日付つきで蓄積されるようになり、ツールが「市場の貯金箱」として機能しはじめたところでした。

    今回はその続き、Step 2の「グラフのクラスター化」に取り掛かります。


    今週の「敵」は、すべてが繋がる「寂しがり屋ロジック」

    グラフを眺めると、全てのワードが一つにくっついていて「分類」が見えません。
    問題の正体をGeminiに聞いてみると、名前がありました。

    「寂しがり屋ロジック」。

    本当にあるのか、その場で命名したのかわからないが

    現在のアルゴリズムは、どの単語でも「上位2件と必ずつながる」仕様でした。
    たとえ関係が薄くても、無理やりメインのグループに引っ付こうとしてしまう。

    V3.0で目指したいのは、逆の「独立独歩ロジック」です。

    Before: 仲の良いトップ2人と手を繋ぐ(たとえ仲が悪くても)

    After: 仲良し度(Jaccard係数)が低すぎる場合は手を繋がない

    これで、ニッチなワードがポツンと「独立した島(クラスター)」として浮かび上がるはず!

    ただ実装するだけ
    のはずが問題はここから…


    検証①:足切りライン導入も、立ちはだかる「2つの巨塔」

    AIに指示を出しました。

    共起回数が3回未満、またはJaccard係数が0.05未満の場合は線を引かない。
    どの単語とも強く繋がっていない単語は、孤立したノードとして描画する。

    実行。
    グラフを確認。

    画像
    見にくくてすみません!

    データ不足は仕方ないとしても、
    「ファッション」と「化」という2つのノードに、全ワードが吸い寄せられている。

    独立した島ができていない…。


    検証②:「ブラックホール単語」を消せ! 手術の結末は…

    Geminiが分析してくれました。

    「ブラックホール単語」という概念だそうです。

    「ファッション」「アパレル」「化(デジタル化などの接尾辞)」みたいな、MD業務では"前提"すぎる言葉が、すべての単語を強力に吸い寄せてしまっている状態です。

    これを除外ワードリストに追加し、グラフから消す「手術」を施しました。

    除外したのは「ファッション」「アパレル」「市場」「展開」「企業」などのビジネス一般語から、「化」「性」「的」「系」などの接尾辞まで。

    「なるほど、これで島ができるか…」

    そう期待しながら再実行すると、また大きな塊。

    画像

    前編のまとめ:2連敗から見えた「問題の正体」

    2回手を打っても「変わらず」でした。

    焦りはある。でも、問題の構造が少しずつ見えてきている感覚もある。

    「ブラックホール単語」という概念をきちんと言語化できたことは、確かな前進です。

    次はどこを攻めるか。
    次の一手を考え、育てていく。
    クセになってきましたね

    ということで
    後編では、発想を180度転換した新しい戦略に挑みます!


    次回予告:発想の転換!「線を引くのをやめる」という奇策へ

    今回のログには後編があります。

    クラスター化の格闘が続いた後、「いっそ、グラフの線にこだわるのをやめる」という逆転の発想が生まれました。

    後編もぜひ読んでみてください。

    【後注】

    前回の記事(Vol.6)では、V3.0ロードマップの立案とデータ蓄積の仕組みを整えた話をお届けしています。

    未読の方はそちらも合わせてどうぞ!



    画像

    この記事が参加している募集

     
     
    論理(Logic)と感性(Sense)でハックする! 薬剤師・画家。服のブランドを立ち上げながら、AIをチームにして、MDの道具(TrendGraph)や発信の仕組みを自分で作っています。指示がずれた、任せすぎた、といった失敗も含めて、チームを引っ張る側の記録を書いています。

    あなたへのおすすめ