
【絶望の4,101単語】Python初心者がAIと「仕分けアプリ」を爆速開発した2時間のリアル|MDツール開発ログ Vol.8 前編
こんにちは、ノックスリョウです!
やっと暖かくなってきましたね。
最近の朝食マイトレンドは
スタバのコーヒーとヨーグルト&バナナグラノーラです!
宣伝なんでもありません。
ただただ、ヨーグルト&バナナグラノーラが好きなだけです!
あと、ヨーグルト&バナナグラノーラって言いたくなっちゃう語感。
さて今回は、ツールの根底にある「ゴミ問題」と向き合い、
その解決策として仕分けアプリを構築した記録をお届けします。
この記事はマガジンにまとめています。
こちらの記事も読んでみてね!
開発の現在地:土台が揺れる中で見つけた「3つの課題」
開発を進める中で一度立ち止まり、
タスクリストを「再定義」するセッションがありました。
整理すると、現在の課題はこの3つ。
① データクリーニング(最優先・緊急)
収集データにノイズが多く、トレンドが見えない状態。
除外リストの強化だけでは追いつかないため、
スクレイピング自体の精度見直しか、TF-IDFによる自動カット導入が必要。
② フォーカス機能の実装(UI強化)
ノードをクリックしたとき、関連ノードが中心に集まるインタラクションが未実装。
PyVis側の設定調整で対応予定。
③ Webアプリ化・SNS対応(中長期)
これはV4.0以降の構想として、まずは①②をPythonスクリプトベースで完遂させる。
「積み上げてきたのに、まだ土台が揺れている」という感覚。
でも逆に言えば、ちゃんと課題が見えてきたということでもあります。
まずは最優先の①から、本格的に手を打つことにしました。
そもそも、なぜファッションの「トレンド」が見えてこないのか?
それはある日、グラフを眺めていて気づいたこと。
「出てくるワード、なんか変じゃないか?」
「b」「.」「https」「jp」…
ファッションのトレンドを分析したいのに、
意味のない記号やURLの切れ端が大量に混入している。
これでは分析どころか、ノイズだらけのグラフができあがるだけです。
グラフを埋め尽くす「ゴミ」の正体と、ネガティブリストの限界
最初は「除外リストを作ればいいか」と思っていました。
でも実際にやってみると、すぐに壁にぶつかる。
URLの切れ端(「jp」「co」など)なのか略語なのか判断できない
次々と新しいゴミが出てくる「いたちごっこ」
アルファベット3文字…これ、除外していい?
手動でリストを更新するのには限界がある。
そもそも根本的なアプローチを変えないと、解決しないのだと気づきました。
発想の転換!AIが出した答えは「仕分けアプリ(竹プラン)」だった
どうすべきかGeminiと議論した結果、
「ネガティブリスト方式」から「ホワイトリスト/ルールベース方式」への切り替えという方向が出てきました。
さらに、具体的な実装プランとして3段階の選択肢が提示されました。
梅:LLM判定
┗ChatGPT APIに単語を投げて「ゴミかどうか」判断してもらう
竹:仕分けアプリ
┗怪しい単語を画面に出して自分で「OK/NG」を押す
松:機械学習
┗蓄積したOK/NGデータでAIモデルを育てる

Geminiのすすめは迷わず「【竹】が圧倒的におすすめ」でした。
コスト0円。
自分のMD視点を100%反映できる。
使えば使うほど賢くなる。
そして何より、竹の運用が将来の「松(機械学習)」への教師データ作りを兼ねているという設計の巧みさ。
専門用語では「Human-in-the-Loop(人間参加型学習)」と呼ぶらしい。
「なるほど、段階があるんだ」と腑に落ちました。
Streamlitなら1行で起動する爆速体験
プランが決まったので、さっそく実装を始めます。
まずは「記憶の保管場所」づくりから。
プロジェクトフォルダ内に vocab というフォルダを作り、
whitelist.json と blacklist.json という2つのファイルを配置する。
自分の判断をここに書き込んでいく設計です。
次にWebアプリを作るためのライブラリ「Streamlit」をインストール。
pip install streamlit
ターミナルで一行。これだけです。
コードを貼り付けて、いざ起動!
仕分けアプリ本体のコードをGeminiに出してもらい、
cleaning_app.py というファイルに貼り付け。
streamlit run cleaning_app.py
ターミナルでこのコマンドを叩くと…
ブラウザが自動で開いて、アプリが起動しました。

率直に言って、驚きました。
あっという間にUIが立ち上がって、実際にボタンを押せる画面になっている。
でも、画面を見てさらに驚く。
「残り未判定ワード:4,101個」

すっ…すごいなぁー。
試しに「ファッション」の判定を保留にしてみると…
ボタンを押しても動かない。
次の単語に進まないのです。
爆速実装の感動と、直後に突きつけられた「4,101個」の絶望
ここから、デバッグの時間が始まりました。
ボタンが反応しない原因はどこか。
vocab フォルダが見つからないのか。
JSONファイルへの書き込みに失敗しているのか。
少しずつ確認しながら修正を加えていく。
保存場所の設定を直して、もう一度起動する。
また別のエラーが出てくる。
正直、自分みたいなPython初心者にはかなり手ごわかった。
この試行錯誤に費やした時間、約2時間。
最終的にはうまくいったのですが…
今度は別の問題が発覚しました。
1単語あたりの処理に、約1〜2分もかかる。
4,101個を one by one で判定していたら、
単純計算で4,000分以上かかる計算です。
さすがに現実的ではない。

さてどうする?
ここまで読んでいただきありがとうございました!
後編では、この「処理が重すぎる問題」をどう解決したか、
さらにまた新たなエラーに直面した話をお届けします。
実は後半の方が、ちょっとだけ「事件」が起きていますw
それでは、また!
後注
前回(Vol.7)では、グラフのクラスター化と「寂しがり屋ロジック」との格闘、
そしてMVP思考に立ち返るきっかけになった話をお届けしています。
合わせてお読みいただけると、この開発の流れが掴めるかと思います。
未読の方はぜひ!
