メインコンテンツへスキップ
見出し画像

文字コードは、S-JISって言ったな、あれは嘘だ。

    結構長くこの業界にいるけど、まだまだ文字コードのこともわかってなかったなぁって話。なんやねん、CP932て。

    経緯

    ClaudeCodeでレガシーコードを修正する必要があり、UTF-8化して読み込ませようとした。
    元ファイルはWindowsのエディタで開くと「Shift_JIS」と表示されていたため、そのつもりで変換を実行。

    iconv -f SHIFT_JIS -t UTF-8 source.txt > utf8.txt
    

    しかし、№ や ① などの記号で変換エラーが発生。


    原因

    Windowsの「Shift_JIS」は本当のShift_JISではない。
    実態は CP932 (Windows-31J) と呼ばれる、Microsoft独自拡張版のShift_JIS。


    📍 関係イメージ

    [ JIS X 0208 ] ← 標準Shift_JIS(ここだけ収録)
           ↑
           └─ [ CP932 ] = Windowsの「Shift_JIS」
                ├─ 機種依存文字(№、①、㈱、㌔…)
                ├─ NEC特殊文字
                ├─ IBM拡張文字
                └─ 波ダッシュのコード位置が異なる
    
    • 標準Shift_JISはJIS規格の文字だけ

    • CP932はそれをベースにMicrosoftが独自に大量追加

    • そのため、Linux側の「Shift_JIS」変換では未収録文字で落ちる


    解決策

    変換元を CP932 に指定するだけで解決する。

    iconv

    # CP932 → UTF-8
    iconv -f CP932 -t UTF-8 source.txt > utf8.txt
    
    # UTF-8 → CP932
    iconv -f UTF-8 -t CP932 utf8.txt > restored.txt
    

    nkf(推奨)

    # CP932 → UTF-8
    nkf --ic=CP932 --oc=UTF-8 --ms source.txt > utf8.txt
    
    # UTF-8 → CP932
    nkf --ic=UTF-8 --oc=CP932 --ms utf8.txt > restored.txt
    

    --ms オプションで機種依存文字や波ダッシュの扱いをWindows寄りにしてくれる。


    学び

    • Windowsで「Shift_JIS」と表示されても、実態はほぼCP932

    • Linux側で標準Shift_JISを指定すると、変換エラーや文字化けが起きやすい

    • Win⇔Linux間のやり取りでは、必ず CP932 を明示指定するのが安全


    💡 「SJISなのに化ける」問題の8割はコレが原因。
    思い出そう、「Shift_JISって言ったな、あれは嘘だ。」。


     
     
    工場系、レガシーシステムエンジニア。 ガメラ2好き。 ガジェット好き。 ソフト作るの好き。

    あなたへのおすすめ