
「全部くっついてる…」グラフのカオスと戦った日。AI開発の泥沼と「ブラックホール単語」|MDツール開発ログ Vol.7 前編
この記事はマガジンにまとめています。
こちらの記事も読んでみてね!
こんにちは、ノックスリョウです!
今回は、正直しんどかったセッションです。
「動いた!」という達成感よりも、「また変わらない…」という徒労感の方が多かった日でした。
でも、こういう日もある。
それもプロセスエコノミーの一部として、包み隠さずお届けします。
順調な滑り出しからの暗転?
前回は、V3.0のロードマップを立案し、
「データが毎度上書きされて消えていた」
という致命的な問題をすぐさま修正しました。
ニュースデータが日付つきで蓄積されるようになり、ツールが「市場の貯金箱」として機能しはじめたところでした。
今回はその続き、Step 2の「グラフのクラスター化」に取り掛かります。
今週の「敵」は、すべてが繋がる「寂しがり屋ロジック」
グラフを眺めると、全てのワードが一つにくっついていて「分類」が見えません。
問題の正体をGeminiに聞いてみると、名前がありました。
「寂しがり屋ロジック」。
本当にあるのか、その場で命名したのかわからないが
現在のアルゴリズムは、どの単語でも「上位2件と必ずつながる」仕様でした。
たとえ関係が薄くても、無理やりメインのグループに引っ付こうとしてしまう。
V3.0で目指したいのは、逆の「独立独歩ロジック」です。
Before: 仲の良いトップ2人と手を繋ぐ(たとえ仲が悪くても)
After: 仲良し度(Jaccard係数)が低すぎる場合は手を繋がない
これで、ニッチなワードがポツンと「独立した島(クラスター)」として浮かび上がるはず!
ただ実装するだけ
のはずが問題はここから…
検証①:足切りライン導入も、立ちはだかる「2つの巨塔」
AIに指示を出しました。
共起回数が3回未満、またはJaccard係数が0.05未満の場合は線を引かない。
どの単語とも強く繋がっていない単語は、孤立したノードとして描画する。
実行。
グラフを確認。

データ不足は仕方ないとしても、
「ファッション」と「化」という2つのノードに、全ワードが吸い寄せられている。
独立した島ができていない…。
検証②:「ブラックホール単語」を消せ! 手術の結末は…
Geminiが分析してくれました。
「ブラックホール単語」という概念だそうです。
「ファッション」「アパレル」「化(デジタル化などの接尾辞)」みたいな、MD業務では"前提"すぎる言葉が、すべての単語を強力に吸い寄せてしまっている状態です。
これを除外ワードリストに追加し、グラフから消す「手術」を施しました。
除外したのは「ファッション」「アパレル」「市場」「展開」「企業」などのビジネス一般語から、「化」「性」「的」「系」などの接尾辞まで。
「なるほど、これで島ができるか…」
そう期待しながら再実行すると、また大きな塊。

前編のまとめ:2連敗から見えた「問題の正体」
2回手を打っても「変わらず」でした。
焦りはある。でも、問題の構造が少しずつ見えてきている感覚もある。
「ブラックホール単語」という概念をきちんと言語化できたことは、確かな前進です。
次はどこを攻めるか。
次の一手を考え、育てていく。
クセになってきましたね
ということで
後編では、発想を180度転換した新しい戦略に挑みます!
次回予告:発想の転換!「線を引くのをやめる」という奇策へ
今回のログには後編があります。
クラスター化の格闘が続いた後、「いっそ、グラフの線にこだわるのをやめる」という逆転の発想が生まれました。
後編もぜひ読んでみてください。
【後注】
前回の記事(Vol.6)では、V3.0ロードマップの立案とデータ蓄積の仕組みを整えた話をお届けしています。
未読の方はそちらも合わせてどうぞ!
