メインコンテンツへスキップ
見出し画像

なぜZIPで日本語ファイル名が化けるのか ― MMD時計の開発で踏んだ35年前の地雷


    はじめに

    昨日、自作のMMD時計アプリ「Lain Clock」を公開しました。


    Three.jsでMMDモデルを表示しながら時計として使えるWebアプリです。

    今朝、ニコニコ立体のサイトで公開されてる、モデルをドロップして読み込み動作テストを兼ねて作業中時計アプリを動かそうとすると――

    ファイル名が完全に文字化け。

    UIのモデル名が「□□□□□qロT」みたいな表示になり、IndexedDBの中身を覗いても \u0005\u0001... という壊れたコードポイントが並んでいる。

    画像
    画像
    画像

    調べてみたら、これは35年前のフォーマット仕様に起因する問題だった。

    ZIPフォーマットと文字コードの歴史

    ZIPフォーマットが生まれたのは1989年。Phil Katzが開発したPKZIPが起源だ。

    当時の仕様書(APPNOTE)では、ファイル名のエンコーディングについてこう定めていた――

    「ファイル名はCP437(IBM PCのコードページ)で格納する」

    それだけ。

    Unicodeの「U」の字もない時代の話だ。

    結果として何が起きたか。

    各国のOS・ツールが、自国のコードページで勝手にファイル名を書き込むようになった。

    • 日本のWindows → Shift_JIS (CP932)

    • 中国のWindows → GBK

    • 韓国のWindows → EUC-KR

    • 西欧のWindows → CP1252

    ZIPファイルの中に
    「このファイル名は何の文字コードで書かれていますよ」
    という情報は、一切記録されない。

    展開する側が
    「たぶんこのコードページだろう」
    と推測して読むしかなかった。

    UTF-8対応 ― 17年遅れの標準化

    2006年、PKWAREはAPPNOTE 6.3.0で

    「General Purpose Bit Flag の bit 11」(Language Encoding Flag)

    を追加した。このビットが立っていれば「ファイル名はUTF-8ですよ」という意味になる。

    ただし、これはオプション扱い。既存ツールとの互換性のために強制されなかった。

    Windowsの標準ZIP機能(エクスプローラーの「送る → 圧縮」)も、長いことUTF-8フラグを付けずにシステムロケールのコードページで書いていた。

    最近のWindows 10/11でようやくUTF-8で書くようになったが、それまでに作られたZIPファイルは全てShift_JISのままだ。

    なぜ今まで気づかなかったのか

    答えはシンプルで、展開ツールが裏でよしなにやっていたからだ。

    7-Zip、WinRAR、macOSのArchive Utilityなど、主要な展開ツールはロケールを推測して自動的に文字コード変換を行ってくれる。

    日本語Windowsで日本語のZIPを展開すれば、何も考えなくても正しく表示される。

    問題が表面化するのは、今回のように
    「JavaScriptでZIPをパースする」
    場面だ。

    ブラウザには
    「OSのロケールでよしなにする」
    という暗黙の救済機構がない。

    JSのZIPライブラリ(JSZip、fflateなど)はファイル名のバイト列をUTF-8として解釈するので、Shift_JISで書かれたファイル名は容赦なく壊れる。

    ZIPだけじゃない ― tarも同じ問題を抱えていた

    調べていく中でもう一つ驚いたのが、UNIX発祥の tar も同じ構造的な問題を持っていたこと。

    tarのオリジナル仕様(ustar形式)にはエンコーディングの規定が一切ない。ファイル名はただのバイト列としてヘッダに格納される。

    • 日本語Linux → EUC-JP

    • macOS → UTF-8

    • 日本語Windows(Cygwin等)→ Shift_JIS

    同じtarballでも、作った環境と展開する環境が違えばファイル名が化ける。

    POSIX.1-2001で拡張ヘッダ(pax形式)が導入されてUTF-8が使えるようになったが、古いustar形式のアーカイブは今でも現役で流通している。

    ZIPもtarも、ファイル名は本質的にただのバイト列で「文字コードは呼び出し側が知ってるでしょ」という設計思想。

    Unicode前提の世界から見ると信じがたいが、80〜90年代はそれが普通だった。

    MMD界隈特有の事情

    この問題がMMD開発者にとって特に厄介なのは、MMDモデルの配布文化に起因する。

    MMDモデルの多くは2010年代前半に作られ、当時のWindows標準ツールやLhaplusなどで圧縮されている。

    つまり、ファイル名は確実にShift_JISだ。

    そしてこれらのZIPは、今後新しいものに置き換わることはない。

    作者が引退していたり、配布サイトが閉鎖していたりするからだ。

    UTF-8が完全に普及した2026年の今、コマンドプロンプト以外でShift_JISの問題にぶち当たるとは思わなかった。

    しかし、WebでMMDモデルを扱う以上、この35年前の地雷を避けて通ることはできない。

    対処法

    ブラウザの TextDecoder は shift_jis を標準サポートしているので、対処自体はシンプルだ。

    1. ZIPエントリのGeneral Purpose Bit Flag の bit 11 を確認する

    2. ビットが立っていれば → UTF-8としてそのまま読む

    3. 立っていなければ → バイト列を TextDecoder('shift_jis') でデコードする

    const decoder = new TextDecoder('shift_jis');
    const fileName = decoder.decode(rawNameBytes);
    

    ただし、使っているZIPライブラリによっては、ファイル名のバイト列に直接アクセスできない場合がある。JSZipなどは内部で勝手にUTF-8デコードしてしまうため、その時点で既にデータが壊れている。ライブラリの選定や内部処理への介入が必要になるケースもある。

    おわりに

    「文字化け」という言葉自体、最近はあまり聞かなくなった。

    UTF-8がデファクトスタンダードになり、文字コードの問題はほとんど過去のものになったはずだった。

    しかし、アーカイブフォーマットのような
    「一度作られたら何年も変わらずに流通し続けるもの」
    の中には、過去のエンコーディングがタイムカプセルのように封じ込められている。

    そしてそれは、ネイティブアプリの暗黙の変換処理に守られて、問題が見えないまま今日まで生き延びてきた。

    ブラウザという、そういった暗黙の救済がない環境でZIPを開いた瞬間、35年前の設計判断が目の前に現れる。

    レガシーとは、古いコードベースの中だけにあるものではない。データフォーマットの中にも、静かに眠っている。

    修正バージョン

    本日中に修正バージョンを作成して、ネットにアップロードする予定です。

    文字化けしたデータが消せなくなった場合は、お手数ですが、[Settings] タブから下にスクロールした先にある [Reset All Data]を実行してください。

    画像

    あなたへのおすすめ