メインコンテンツへスキップ
見出し画像
Photo bynoouchi

Linux初心者、基本情報の学習分析システムを作ってみた

    はじめに

    私はいま、基本情報技術者試験を受験しようと受験勉強を頑張っています。

    • どの分野が苦手なのか

    • 正答率は伸びているのか

    • 勉強量は足りているのか

    といったことが、勉強をしている中で把握しづらいな~と思っていました。
    そこで、過去問道場のCSVデータを利用して、自分専用の学習分析システムを作ってみることに。

    完成したシステムで行ったのは以下の点まで。

    • CSVの自動取り込み

    • MariaDBへの保存

    • 分野別正答率の集計

    • 日別正答率推移の可視化

    • GitHubでの公開

    Linux環境構築

    まずはWSL2でUbuntuを導入しました。
    最初の目標は、「Windows上でLinuxを触れるようになること」です。

    導入後は、

    git --version
    python3 --version
    

    などを実行して環境を確認。

    その後、

    • VS Code

    • GitHub

    • Python仮想環境

    を整備しました。

    GitHubと連携

    GitHubのリポジトリを作成。
    しかし最初のpushで認証エラーが発生。
    GitHub CLIを利用して認証を行いました。

    gh auth login
    

    認証後、

    git push -u origin main
    

    で無事公開できました。

    MariaDB導入

    学習データを蓄積するためにMariaDBを採用。
    テーブル構造は以下のような形にしました。

    CREATE TABLE results (
        id INT AUTO_INCREMENT PRIMARY KEY,
        question_no INT,
        csv_file VARCHAR(255),
        solve_date DATE,
        field_name VARCHAR(100),
        major_category VARCHAR(100),
        middle_category VARCHAR(100),
        is_correct BOOLEAN,
        source TEXT
    );
    

    PythonでCSVを取り込む

    使用ライブラリ

    pip install pandas pymysql
    

    CSVの読込は以下のように実装しました。

    import glob
    import pandas as pd
    
    csv_files = glob.glob("/mnt/e/FE道場CSV/*.csv")
    latest_csv = max(csv_files)
    
    df = pd.read_csv(
        latest_csv,
        encoding="cp932"
    )
    

    最初はCSVファイル名を毎回書き換えていましたが、後から自動取得へ変更しました。

    重複登録問題

    途中で問題が発生。
    CSVを2回取り込むと、同じ問題が重複登録されてしまいます。
    最初は

    • 学習日

    • 出典

    で重複判定を行っていました。
    しかし、同じ日に同じ問題を解くケースが存在しました。
    そこで、

    CSVファイル名 + 問題番号
    

    を組み合わせて重複判定を行う方式へ変更しました。
    これにより、以下のことが可能に。

    • 同じCSVを再取込しても増えない

    • 別日の学習履歴は保存できる

    グラフ化

    matplotlibを利用して可視化しました。

    分野別正答率

    SQLで集計。

    SELECT
        middle_category,
        ROUND(AVG(is_correct) * 100, 1) AS accuracy
    FROM results
    GROUP BY middle_category;
    

    取得した結果を横棒グラフとして表示しました。

    日別正答率推移

    SELECT
        solve_date,
        ROUND(AVG(is_correct) * 100, 1) AS accuracy
    FROM results
    GROUP BY solve_date
    ORDER BY solve_date;
    

    折れ線グラフで推移を確認できるようにしました。

    日本語フォント問題

    グラフ作成時、

    Glyph missing from font
    

    というエラーが大量発生。
    Ubuntuに日本語フォントを導入。

    sudo apt install fonts-noto-cjk
    

    さらにMatplotlibのフォント設定を変更して解決。

    plt.rcParams["font.family"] = "Noto Sans CJK JP"
    

    GitHub公開

    完成したプロジェクトはGitHubへ公開しました。(プライベートですが・・・)
    現在は

    • CSV取込

    • データベース保存

    • グラフ生成

    まで自動化されています。

    画像
    こんなグラフができたよ

    今後やりたいこと

    • 苦手分野ランキング

    • 累計学習数推移

    • README自動更新

    • Web画面化

    おわりに

    最初は「勉強履歴を見やすくしたい」というだけの思いつきでしたが、
    実際には、

    • Linux

    • GitHub

    • Python

    • SQL

    • MariaDB

    • データ分析

    を一通り触る経験になりました。

    今後も基本情報の勉強と並行しながら、少しずつ機能を追加していきたいと思っています🦕

    あなたへのおすすめ