メインコンテンツへスキップ
見出し画像

「ゴミだらけのグラフ」を救え。Pythonで"ノイズ"を消し、"トレンド"を可視化するまで開発ログ

    こんにちは、RYOです。

    前編では、バラバラだった部品を統合して、ボタン一つで全工程が完了する自動化パイプラインを構築した話をしました。

    「これで完璧!」

    そう思ったのも束の間。
    生成されたグラフを見て、私は愕然としました。

    「なんだこれ…意味のない単語ばっかり…」

    今回の後編では、この「ゴミだらけのグラフ」をどう改善したのか、
    そして「変化(トレンド)」を可視化する仕組みをどう実装したのかをお伝えします。

    この記事は、こんな方に届いてほしいです。

    「データは集まったけど、ノイズが多すぎて使えない…」

    「今日のスナップショットじゃなくて、トレンドの変化が知りたい…」

    そう感じている方へ。

    この記事を読めば、データクリーニングの重要性と、トレンド検知ロジックの実装方法が分かります。


    【絶望】自動化には成功。でも出力されたのは「ゴミの山」だった

    自動化には成功しました。

    でも、生成されたグラフを見て、私は愕然としました。
    グラフに表示されているのは、こんな単語たち。

    ・[、]、(、) ── 記号

    ・https、com、jpg ── URL断片

    ・し、て、の ── 一文字ひらがな

    これでは、本当に重要なトレンドワードが埋もれてしまう。

    「せっかく自動化したのに、これじゃ意味がない…」

    正直、心が折れかけました。
    でも、ここで諦めるわけにはいきません。


    【解決策】「記号・URL・一文字」を消せ。泥臭いフィルタリング実装

    私は、Geminiに「クリーニング仕様書」を作成してもらい、以下の除外ルールを実装しました。

    1. 記号・数字のみの単語を除外

    2. URL・ファイル拡張子を除外

    3. 1文字だけのひらがな・カタカナを除外

    4. Markdown/HTMLタグの残骸を除外


    さらに、ストップワードリストも追加。

    こと,もの, ため, よう, それ, これなど、
    意味の薄い単語を排除しました。

    修正版を実行すると、グラフの質が劇的に向上。
    意味のあるワードだけが抽出されるようになりました。

    「これで、ようやく使えるツールになった…」

    そう思いました。
    でも、私はまだ満足していませんでした。


    【進化】「点」ではなく「線」を見る。トレンド検知ロジックの秘密

    ここまでで、ツールは「だいぶまし」になりました。
    でも、私にはもう一つ、実現したいことがありました。

    「今日のスナップショット」じゃなくて、「変化(トレンド)」が見たい。

    優秀なMDが注目するのは、「今日何が話題か」ではなく、「昨日と比べて、急に話題になり始めたワードは何か」です。

    この変化こそが、次のトレンドの予兆だから。

    私は、Antigravityに「トレンド検知ロジック」の実装を依頼しました。


    【実装】赤色は「急上昇」のサイン。一目で判断できるダッシュボードへ

    実装したロジックは以下の通り。

    1. 毎日の単語出現回数を`word_history.csv`に記録

    2. 過去3日間の平均値と今日の値を比較

    3. 比率が1.5倍以上なら「急上昇(Hot)」として赤色表示

    4. 比率が0.5倍以下なら「急降下(Cold)」として青色表示

    これにより、ダッシュボードを開いた瞬間、
    赤いノードだけを見ればトレンドが分かるようになりました。

    「これだ…これが欲しかったんだ!」

    グラフを見た瞬間、そう思いました。


    【注意点】最初は「全部赤」になる可能性

    ただし、注意点が一つ。

    この機能は過去データとの比較が前提なので、
    初回実行時は正しく機能しません。

    最初の1〜2日は、比較対象がないため、全てのワードが「新規」として扱われます。

    でも、2〜3日使い続けることで、
    真価を発揮、もしくは課題が見え始めます。

    「最初は我慢が必要だけど、育てる楽しみがある」

    そう思いながら、毎日データを蓄積していきました。


    【結論】ツールは「作る」ものではなく、愛着を持って「育てる」もの

    この一連のプロセスで気づいたのは、ツール開発は「一発完成」ではなく、「育てる」ものだということ。

    最初のバージョンは完璧ではありません。

    でも、問題を見つけて、改善を依頼して、また確認する──このサイクルを回すことで、少しずつ「使えるツール」に近づいていきます。

    そして、このプロセス自体が楽しいんです。

    まるで、自分の子どもが成長していくのを見守るような感覚。

    「ここをこうしたら、もっと良くなるかも」

    そう考えながら、少しずつ改善を重ねていく。

    その過程で、ツールへの愛着が湧いてくるんです。


    【まとめ】後編のポイント

    ・データクリーニングは地味だが、分析精度を左右する最重要工程

    ・記号、URL、意味のない単語を徹底的に除外することで、グラフの質が劇的に向上

    ・「今日のスナップショット」ではなく、「変化(トレンド)」を可視化することで、真の価値が生まれる

    ・過去データとの比較で「急上昇ワード」を自動検知できる

    ・ツール開発は「一発完成」ではなく、「育てる」もの


    【Next Step】あなたも「育てる開発」を始めませんか?

    この記事を読んで、「自分にもできそう」と思った方は、ぜひ挑戦してみてください。

    AIツールを使えば、プログラミング経験がなくても、
    自分の業務を効率化するツールを作ることができます。

    そして、完璧でなくても大丈夫。

    問題を見つけて、改善を依頼する──このサイクルを回すことで、必ず「使えるツール」に育っていきます。


    今すぐできるアクション:

    1. 自分の業務で「手作業で繰り返している作業」をリストアップする

    2. まずは「動くプロトタイプ」を作ってみる

    3. 実際に使ってみて、問題点を見つける

    4. AIアシスタントに改善を依頼し、少しずつブラッシュアップする


    技術的なハードルは、思っているよりもずっと低いです。

    あなたの「もっと良くしたい」という気持ちが、最高のツールを生み出す原動力になります。

    一緒に、業務をもっと楽しく、もっと効率的にしていきましょう!

    それでは、また!


    後注

    ここまで記事を読んでいただきありがとうございます!

    前編では、自動化パイプライン構築の話をしました。

    まだ未読の方は、ぜひ一読してみてください!


    ※次回は、さらなる機能追加と、実際の業務での活用事例をお届けします!

    この記事が参加している募集

     
     
    論理(Logic)と感性(Sense)でハックする! 薬剤師・画家。服のブランドを立ち上げながら、AIをチームにして、MDの道具(TrendGraph)や発信の仕組みを自分で作っています。指示がずれた、任せすぎた、といった失敗も含めて、チームを引っ張る側の記録を書いています。

    あなたへのおすすめ