メインコンテンツへスキップ
見出し画像

Metabaseの運用を引き継げるように

    Metabaseで病院のデータを可視化したいなと思いつつ中々手を付けられずにいましたが、病院から外への異動を機に元の部署の人が運用可能になるように少し考えてみました。
    冗長化については安定化させる資源と知見(私も相手も)が薄いため、そのあたりは対応せずにリストアの手順を引き継ぐことにしました。
    Google AI Studioに聞きながら構築した時のメモ

    2026/06/10 追記
    リストアが上手くいかなかったので設定ファイル等見直しと修正をした
    nginxの受付ポートに8080を追加した

    特徴等

    • 冗長化は行っていない(最悪サーバー障害があったら仕事の合間終わりに復旧できればよいだろうと思う・・・言い訳っぽいが)

    • リストアの手順を残して引き継ぐ

    • バックアップとリストアはLAN内にあるNASを経由することにした

    • サーバー機ではなくPCにUbuntu Server 24.04 LTSをインストールして用意

    • Dockerで環境構築したものをクローズド環境で稼働する

    • docker-compose.ymlを作るときにできるだけlatestタグを使わないようにした

    • Metabaseと接続するデータベースはmariadbとし、同じdocker-compose.ymlに定義を入れた

    • mariadbへは自動取込にして運用を任せるために取込ルールを決めた

    • http通信にした

    • 最初sambaに取込用のファイルを入れようと思っていたが、いつのまにかNASのやり取りになった(どっちが良いんだろう・・・)

    • 最大の目的は病院に眠っているデータを可視化して経営戦略に生かしてもらうこと(データを作るのに疲れさせないこと)

    環境構築

    イメージ

    画像

    事前

    • docker 環境構築済み

    • すぐは使わないけど自己証明書作成

    • cifsのインストール(sudo apt install cifs-utils)

    ディレクトリ構成

    ~/metabase/
    ├── docker-compose.yml
    ├── .env                 (★環境設定)
    ├── nginx.conf           (★HTTP/HTTPS切り替え用)
    ├── backup.sh            (★NASバックアップ+世代管理)
    ├── restore.sh           (★NASからの復旧)
    ├── restore_manual.txt   (★マニュアル)
    ├── server.crt
    ├── server.key
    ├── share_data
    └── importer/
        ├── Dockerfile
        └── import_excel.py  (★From_To取込+自動仕分け+ログ)

    docker-compose.yml

    services:
      nginx:
        image: nginx:1.27.1
        container_name: nginx-proxy
        restart: always
        ports:
          - "8080:8080"
          - "80:80"
          - "443:443"
        volumes:
          - ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
          - ./server.crt:/etc/nginx/certs/server.crt:ro
          - ./server.key:/etc/nginx/certs/server.key:ro
        depends_on:
          - metabase
          - phpmyadmin
    
      samba:
        image: dperson/samba:latest
        container_name: samba-server
        restart: always
        ports:
          - "139:139"
          - "445:445"
        environment:
          TZ: ${TZ}
          GLOBAL: "map to guest = bad user"
          SHARE: "share;/share;yes;no;yes"
        volumes:
          - ./share_data:/share
    
      db:
        image: mariadb:11.4.5
        container_name: mariadb-server
        restart: always
        environment:
          MARIADB_ROOT_PASSWORD: ${DB_ROOT_PASSWORD}
          MARIADB_DATABASE: ${DB_NAME}
        volumes:
          - ./mysql_data:/var/lib/mysql
        ports:
          - "3306:3306"
    
      metabase:
        image: metabase/metabase:v0.61.3.x
        container_name: metabase-server
        restart: always
        volumes:
          - ./metabase_data:/metabase_data
        environment:
          MB_SITE_URL: "http://${SERVER_IP}/"
          TZ: ${TZ}
          JAVA_OPTS: ${MB_JAVA_OPTS}
          MB_DB_FILE: "/metabase_data/metabase.db"
        depends_on:
          - db
    
      phpmyadmin:
        image: phpmyadmin:5.2.1
        container_name: phpmyadmin-server
        restart: always
        environment:
          PMA_HOST: "db"
          PMA_ABSOLUTE_URI: "http://${SERVER_IP}/pma/"
        depends_on:
          - db
    
      importer:
        build: ./importer
          #    image: metabase-importer:latest
        container_name: excel-to-mariadb
        restart: always
        environment:
          DB_USER: ${DB_ROOT_USER}
          DB_PASS: ${DB_ROOT_PASSWORD}
          DB_HOST: "db"
          DB_NAME: ${DB_NAME}
        volumes:
          - nas_volume:/mnt/nas
          - ./importer:/app
        working_dir: /app
        command: python import_excel.py
        depends_on:
          - db
    
      db-backup:
        image: mariadb:11.4.5
        container_name: mariadb-backup
        restart: always
        environment:
          MARIADB_ROOT_USER: ${DB_ROOT_USER}
          MARIADB_ROOT_PASSWORD: ${DB_ROOT_PASSWORD}
          TZ: ${TZ}
        volumes:
          - nas_volume:/mnt/nas
          - ./metabase_data:/metabase_data:ro
          - ./backup.sh:/backup.sh
        entrypoint: ["/bin/bash", "/backup.sh"]
        depends_on:
          - db
    
    volumes:
      nas_volume:
        driver: local
        driver_opts:
          type: "cifs"
          device: ${NAS_PATH}
          o: "addr=${NAS_IP},username=${NAS_USER},password=${NAS_PASS},file_mode=0777,dir_mode=0777,vers=3.0"

    .env

    server_ip、nas_ip、その他は適宜変更

    # サーバー基本情報
    SERVER_IP=server_ip
    TZ=Asia/Tokyo
    
    # MariaDB 設定
    DB_ROOT_USER=root
    DB_ROOT_PASSWORD=root_password
    DB_NAME=metabase
    
    # NAS (CIFS) 設定
    NAS_IP=nas_ip
    NAS_PATH=//nas_ip/share
    NAS_USER=your_nas_user
    NAS_PASS=your_nas_password
    
    # Metabase 設定
    MB_JAVA_OPTS=-Xmx2g

    nginx.conf

    # --- 1. HTTP用の設定 ---
    server {
        listen 80;
        server_name server_ip;
    
        # ★将来HTTPSに強制リダイレクトしたい場合は、下の行のコメントを外す
        # return 301 https://$host$request_uri;
    
        # --- HTTPで動かしている間のメイン設定 (HTTPS化したらここから下は無視される) ---
        proxy_buffer_size 128k;
        proxy_buffers 4 256k;
        proxy_busy_buffers_size 256k;
    
        location / {
            proxy_pass http://metabase:3000;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    
        location /pma/ {
            proxy_pass http://phpmyadmin/;
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Host $host;
            rewrite ^/pma/(.*)$ /$1 break;
        }
    }
    
    # --- 2. ポート8080の設定 ---
    server {
        listen 8080;
        server_name server_ip;
    
        proxy_buffer_size 128k;
        proxy_buffers 4 256k;
        proxy_busy_buffers_size 256k;
    
        # 8080ポートのルートでMetabaseを表示(リダイレクトしない)
        location / {
            proxy_pass http://metabase:3000;
            # ★重要:ポート番号8080を維持してMetabaseに伝える
            proxy_set_header Host $host:8080;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    
        # 8080ポートでもphpMyAdminを使えるようにしておく
        location /pma/ {
            proxy_pass http://phpmyadmin:80/;
            proxy_set_header Host $host:8080;
            proxy_set_header X-Forwarded-Proto $scheme;
            rewrite ^/pma/(.*)$ /$1 break;
        }
    }
    
    # --- 2. HTTPS用の設定 (将来使うためにコメントアウト) ---
    # ★将来HTTPS化したい場合は、このserverブロックまるごとのコメントを外す
    # server {
    #     listen 443 ssl;
    #     server_name server_ip;
    #
    #     ssl_certificate     /etc/nginx/certs/server.crt;
    #     ssl_certificate_key /etc/nginx/certs/server.key;
    #
    #     proxy_buffer_size 128k;
    #     proxy_buffers 4 256k;
    #     proxy_busy_buffers_size 256k;
    #
    #     location / {
    #         proxy_pass http://metabase:3000;
    #         proxy_set_header Host $host;
    #         proxy_set_header X-Real-IP $remote_addr;
    #         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    #         proxy_set_header X-Forwarded-Proto $scheme;
    #     }
    #
    #     location /pma/ {
    #         proxy_pass http://phpmyadmin/;
    #         proxy_set_header Host $host;
    #         proxy_set_header X-Forwarded-Proto $scheme;
    #         proxy_set_header X-Forwarded-Host $host;
    #         rewrite ^/pma/(.*)$ /$1 break;
    #     }
    # }

    backup.sh

    #!/bin/bash
    sleep 30
    BACKUP_ROOT="/mnt/nas/backup"
    LOG_DIR="$BACKUP_ROOT/log"
    mkdir -p "$LOG_DIR"
    
    while true; do
        DATE_TAG=$(date +%Y%m%d_%H%M%S)
        LOG_FILE="$LOG_DIR/backup_$(date +%Y%m%d).log"
    
        # MariaDB バックアップ
        mariadb-dump -h db -u "$MARIADB_ROOT_USER" -p"$MARIADB_ROOT_PASSWORD" --all-databases --skip-ssl > "$BACKUP_ROOT/db_backup_${DATE_TAG}.sql" 2>> "$LOG_FILE"
    
        # Metabase バックアップ (指定フォルダ階層からコピー)
        cp "/metabase_data/metabase.db/metabase.db.mv.db" "$BACKUP_ROOT/metabase_config_${DATE_TAG}.db" 2>> "$LOG_FILE"
    
        if [ $? -eq 0 ]; then
            echo "[$(date '+%H:%M:%S')] SUCCESS: Backup created." >> "$LOG_FILE"
            ls -t "$BACKUP_ROOT"/db_backup_*.sql | tail -n +8 | xargs -r rm 2>/dev/null
            ls -t "$BACKUP_ROOT"/metabase_config_*.db | tail -n +8 | xargs -r rm 2>/dev/null
        else
            echo "[$(date '+%H:%M:%S')] FAILED: Check metabase path." >> "$LOG_FILE"
        fi
        find "$LOG_DIR" -name "backup_*.log" -mtime +7 -delete
        sleep 3600
    done

    restore.sh

    #!/bin/bash
    export $(grep -v '^#' .env | xargs)
    
    if [ -z "$1" ] || [ -z "$2" ]; then
        echo "Usage: ./restore.sh [DB_SQL_FILE] [METABASE_CONFIG_FILE]"
        exit 1
    fi
    
    echo "--- RESTORE START (Final Structure) ---"
    
    # 1. MariaDB
    docker exec -i mariadb-server mariadb -u "$DB_ROOT_USER" -p"$DB_ROOT_PASSWORD" -e "DROP DATABASE IF EXISTS $DB_NAME; CREATE DATABASE $DB_NAME;"
    docker exec mariadb-backup cat /mnt/nas/backup/$1 | docker exec -i mariadb-server mariadb -u "$DB_ROOT_USER" -p"$DB_ROOT_PASSWORD" "$DB_NAME"
    
    # 2. Metabase
    docker cp mariadb-backup:/mnt/nas/backup/$2 ./metabase_config_temp.db
    if [ $? -eq 0 ]; then
        docker compose stop metabase
        # ホスト側のディレクトリを一度リセット
        sudo rm -rf ./metabase_data/*
        # 指定通りの階層(metabase.db フォルダ)を強制作成
        sudo mkdir -p ./metabase_data/metabase.db
        # その中に配置
        sudo mv ./metabase_config_temp.db ./metabase_data/metabase.db/metabase.db.mv.db
        # 権限を2000に一括適用
        sudo chown -R 2000:2000 ./metabase_data
        sudo chmod 644 ./metabase_data/metabase.db/metabase.db.mv.db
    
        docker compose start metabase
        echo "Restore SUCCESS"
    else
        echo "Restore FAILED"
    fi

    importer/Dockerfile

    FROM python:3.11-slim
    RUN apt-get update && apt-get install -y build-essential pkg-config libmariadb-dev && rm -rf /var/lib/apt/lists/*
    RUN pip install --no-cache-dir pandas openpyxl sqlalchemy mysqlclient

    importer/import_excel.py

    import pandas as pd
    from sqlalchemy import create_engine, text
    import os, glob, time, shutil
    from datetime import datetime
    
    DB_USER = os.getenv("DB_USER", "root")
    DB_PASS = os.getenv("DB_PASS", "root_password")
    DB_HOST = os.getenv("DB_HOST", "db")
    DB_NAME = os.getenv("DB_NAME", "metabase")
    DB_URL = f"mysql://{DB_USER}:{DB_PASS}@{DB_HOST}/{DB_NAME}"
    IMPORT_BASE = "/mnt/nas/import"
    
    def write_log(filename, message, is_error=False):
        log_dir = os.path.join(IMPORT_BASE, "log")
        os.makedirs(log_dir, exist_ok=True)
        now = datetime.now()
        log_file = os.path.join(log_dir, "error.log") if is_error else os.path.join(log_dir, f"import_{now.strftime('%Y%m')}.log")
        with open(log_file, "a", encoding="utf-8") as f:
            f.write(f"[{now.strftime('%Y-%m-%d %H:%M:%S')}] {filename}: {message}\n")
    
    def safe_move(src, target_dir):
        filename = os.path.basename(src)
        name, ext = os.path.splitext(filename)
        dst = os.path.join(target_dir, filename)
        
        # 同名ファイルがある場合は「ファイル名_時分秒.xlsx」にする
        if os.path.exists(dst):
            timestamp = datetime.now().strftime("%H%M%S")
            dst = os.path.join(target_dir, f"{name}_{timestamp}{ext}")
        
        shutil.move(src, dst)
    def run_import():
        engine = create_engine(DB_URL)
        os.makedirs(os.path.join(IMPORT_BASE, "history"), exist_ok=True)
        os.makedirs(os.path.join(IMPORT_BASE, "error"), exist_ok=True)
    
        for file_path in glob.glob(os.path.join(IMPORT_BASE, "*.xlsx")):
            file_name = os.path.basename(file_path)
            name_part = os.path.splitext(file_name)[0]
            parts = name_part.rsplit('-', 2) # ハイフン区切り
    
            try:
                df = pd.read_excel(file_path)
                with engine.begin() as conn:
                    if len(parts) == 3:
                        table, f_val, t_val = parts[0], parts[1], parts[2]
                        target_col = "TargetMonth" if len(f_val) == 6 else "TargetDay"
                        df[target_col] = f_val
                        conn.execute(text(f"DELETE FROM `{table}` WHERE `{target_col}` BETWEEN :f AND :t"), {"f": f_val, "t": t_val})
                        df.to_sql(table, con=conn, if_exists='append', index=False)
                    else:
                        conn.execute(text(f"DELETE FROM `{name_part}`"))
                        df.to_sql(name_part, con=conn, if_exists='append', index=False)
                safe_move(file_path, os.path.join(IMPORT_BASE, "history"))
    #            shutil.move(file_path, os.path.join(IMPORT_BASE, "history", file_name))
                write_log(file_name, f"SUCCESS: {len(df)} rows.")
            except Exception as e:
                safe_move(file_path, os.path.join(IMPORT_BASE, "error"))
    #            shutil.move(file_path, os.path.join(IMPORT_BASE, "error", file_name))
                write_log(file_name, f"ERROR: {str(e)}", is_error=True)
    
    if __name__ == "__main__":
        time.sleep(30)
        while True:
            run_import()
            time.sleep(600)

    restore_manual.txt

    ただのメモ

    ■ Excelファイル命名規則(重要)
    
    1. 期間を指定して入れ替えたい場合
       [テーブル名]-[開始日]-[終了日].xlsx
       例:sales_data_table-20240601-20240630.xlsx
       ※テーブル名の中に「_」を使用しても問題ありません。
       ※区切りには必ず「-」(ハイフン)を使用してください。
    
    2. テーブルを全入れ替えしたい場合
       [テーブル名].xlsx
       例:user_master_list.xlsx
    
    
    ■ リストア(復旧)手順マニュアル
    
    1. NASの「share/backup/」内のファイル名を確認
       ・DB:db_backup_YYYYMMDD_HHMMSS.sql
       ・MB:metabase_config_YYYYMMDD_HHMMSS.db
    
    2. コマンドを実行(ファイル名を引数にする)
       ./restore.sh [DBファイル名] [MBファイル名]
    
       例:./restore.sh db_backup_20250101_120000.sql metabase_config_20250101_120000.db
    
    3. Metabaseが立ち上がるまで2分ほど待つ

    NASの共有フォルダにあらかじめ作ったもの

    ~/share/
    ├── backup
    └── import/
        ├── error
        ├── history
        └── log

    sambaで共有するディレクトリの権限を変えた(docker compose up -dした後)

    # 所有者を現在のログインユーザーに変更します
    sudo chown -R $USER:$USER ~/project/share_data
    
    # 全ユーザーに読み書き・実行権限を与えます(Everyone設定に合わせるため)
    sudo chmod -R 777 ~/project/share_data

    運用

    metabase用テーブルのルール

    • 必ず「TargetMonth」、「TargetDay」を入れる

    取込用Excelのルール

    • ファイル名は[テーブル名]-[開始日付または年月]-[終了日付または年月].xlsx

    • 1行目はデータベース項目名

    • 列位置はテーブルのカラム位置と合わせなくても良い

    • シートは一番左のシートが取込対象になる

    バックアップのルール(backup.sh)

    • バックアップは1時間ごとに取る

    • バックアップは7世代まで取る

    • ログファイルは1週間分保管される

    docker image の保存とリストアの手順

    PCサーバー本体が故障した場合、ディレクトリ構成を作るところまでやってから、保存しておいたイメージをloadしてdocker compose up -d してからrestore.shで戻すことにした。
    あとは、docker-compose.ymlを一部修正した。

    • docker imageの保存

    # イメージ名とタグを確認
    docker images
    
    # まとめて保存(※importerのイメージ名は環境により異なるので要確認)
    docker save \
      nginx:1.27.1 \
      dperson/samba:latest \
      mariadb:11.4.5 \
      metabase/metabase:v0.61.3.x \
      phpmyadmin:5.2.1 \
      metabase-importer:latest \
      > all_images.tar
    • 新しい環境にプロジェクト一式をコピーまたは作成する

      • docker-compose.yml

      • nginx.conf

      • backup.sh

      • restore.sh

      • restore_manual.txt

      • server.crt

      • server.key

      • importer/ (ディレクトリ毎)

    • docker imageをusbメモリ等で新しい環境に移してdocker compose up -d

      • もしくはsambaに\\server_ip\shareアクセスしてファイルを置く

    # 作業用ディレクトリの作成
    mkdir -p ~/metabase/importer
    mkdir -p ~/metabase/share_data
    cd ~/metabase
    
    # スクリプトに実行権限付与
    chmod +x backup.sh restore.sh
    
    # イメージの読み込み
    docker load < all_images.tar
    
    # --build を付けずに起動します(イメージはload済みのため)
    docker compose up -d

    2026/06/08 追記
    クローズド環境で元のdocker imageをつかうために一部docker-compose.ymlを変更した(Dockerfileではなく、imageをつかうようにした)

      importer:
        # build: ./importer
        image: metabase-importer:latest


    データ取り込みの確認

    mariadbのテーブル作成(手動)

    画像

    Excel作成と保存

    画像

    取り込んだ時のlogとデータベース

    画像
    画像

    バックアップの確認


    画像
    docker起動時から1時間ごとに作成される(画像は何度か再起動した時間が残っている)

    引き継ぐ方にお願いすること(できるものも多いと思うけど)

    • Ubuntu Server のインストールできるようにする

    • 自己証明書をつくれるようにする

    • metabaseの管理

    • mariadbのテーブル作成についてこの仕組み上の制約を理解する

    • 同じ環境を再現してみる

    • 仕組みについて考えてもらう


     
     

    のり

     
     
    北海道江別市の職員です。 LGWAN内で業務を効率化できるようにサーバーの構築等を自分メモ的ではありますが残していきたいと思います。 よろしくお願いいたします。 更新していきたいもの Pleasanter NextCloud RPA(SikuliX) その他OSSが興味あります。

    あなたへのおすすめ