
Linux初心者、基本情報の学習分析システムを作ってみた
はじめに
私はいま、基本情報技術者試験を受験しようと受験勉強を頑張っています。
どの分野が苦手なのか
正答率は伸びているのか
勉強量は足りているのか
といったことが、勉強をしている中で把握しづらいな~と思っていました。
そこで、過去問道場のCSVデータを利用して、自分専用の学習分析システムを作ってみることに。
完成したシステムで行ったのは以下の点まで。
CSVの自動取り込み
MariaDBへの保存
分野別正答率の集計
日別正答率推移の可視化
GitHubでの公開
Linux環境構築
まずはWSL2でUbuntuを導入しました。
最初の目標は、「Windows上でLinuxを触れるようになること」です。
導入後は、
git --version
python3 --version
などを実行して環境を確認。
その後、
VS Code
GitHub
Python仮想環境
を整備しました。
GitHubと連携
GitHubのリポジトリを作成。
しかし最初のpushで認証エラーが発生。
GitHub CLIを利用して認証を行いました。
gh auth login
認証後、
git push -u origin main
で無事公開できました。
MariaDB導入
学習データを蓄積するためにMariaDBを採用。
テーブル構造は以下のような形にしました。
CREATE TABLE results (
id INT AUTO_INCREMENT PRIMARY KEY,
question_no INT,
csv_file VARCHAR(255),
solve_date DATE,
field_name VARCHAR(100),
major_category VARCHAR(100),
middle_category VARCHAR(100),
is_correct BOOLEAN,
source TEXT
);
PythonでCSVを取り込む
使用ライブラリ
pip install pandas pymysql
CSVの読込は以下のように実装しました。
import glob
import pandas as pd
csv_files = glob.glob("/mnt/e/FE道場CSV/*.csv")
latest_csv = max(csv_files)
df = pd.read_csv(
latest_csv,
encoding="cp932"
)
最初はCSVファイル名を毎回書き換えていましたが、後から自動取得へ変更しました。
重複登録問題
途中で問題が発生。
CSVを2回取り込むと、同じ問題が重複登録されてしまいます。
最初は
学習日
出典
で重複判定を行っていました。
しかし、同じ日に同じ問題を解くケースが存在しました。
そこで、
CSVファイル名 + 問題番号
を組み合わせて重複判定を行う方式へ変更しました。
これにより、以下のことが可能に。
同じCSVを再取込しても増えない
別日の学習履歴は保存できる
グラフ化
matplotlibを利用して可視化しました。
分野別正答率
SQLで集計。
SELECT
middle_category,
ROUND(AVG(is_correct) * 100, 1) AS accuracy
FROM results
GROUP BY middle_category;
取得した結果を横棒グラフとして表示しました。
日別正答率推移
SELECT
solve_date,
ROUND(AVG(is_correct) * 100, 1) AS accuracy
FROM results
GROUP BY solve_date
ORDER BY solve_date;
折れ線グラフで推移を確認できるようにしました。
日本語フォント問題
グラフ作成時、
Glyph missing from font
というエラーが大量発生。
Ubuntuに日本語フォントを導入。
sudo apt install fonts-noto-cjk
さらにMatplotlibのフォント設定を変更して解決。
plt.rcParams["font.family"] = "Noto Sans CJK JP"
GitHub公開
完成したプロジェクトはGitHubへ公開しました。(プライベートですが・・・)
現在は
CSV取込
データベース保存
グラフ生成
まで自動化されています。

今後やりたいこと
苦手分野ランキング
累計学習数推移
README自動更新
Web画面化
おわりに
最初は「勉強履歴を見やすくしたい」というだけの思いつきでしたが、
実際には、
Linux
GitHub
Python
SQL
MariaDB
データ分析
を一通り触る経験になりました。
今後も基本情報の勉強と並行しながら、少しずつ機能を追加していきたいと思っています🦕