
文字コードは、S-JISって言ったな、あれは嘘だ。
結構長くこの業界にいるけど、まだまだ文字コードのこともわかってなかったなぁって話。なんやねん、CP932て。
経緯
ClaudeCodeでレガシーコードを修正する必要があり、UTF-8化して読み込ませようとした。
元ファイルはWindowsのエディタで開くと「Shift_JIS」と表示されていたため、そのつもりで変換を実行。
iconv -f SHIFT_JIS -t UTF-8 source.txt > utf8.txt
しかし、№ や ① などの記号で変換エラーが発生。
原因
Windowsの「Shift_JIS」は本当のShift_JISではない。
実態は CP932 (Windows-31J) と呼ばれる、Microsoft独自拡張版のShift_JIS。
📍 関係イメージ
[ JIS X 0208 ] ← 標準Shift_JIS(ここだけ収録)
↑
└─ [ CP932 ] = Windowsの「Shift_JIS」
├─ 機種依存文字(№、①、㈱、㌔…)
├─ NEC特殊文字
├─ IBM拡張文字
└─ 波ダッシュのコード位置が異なる
標準Shift_JISはJIS規格の文字だけ
CP932はそれをベースにMicrosoftが独自に大量追加
そのため、Linux側の「Shift_JIS」変換では未収録文字で落ちる
解決策
変換元を CP932 に指定するだけで解決する。
iconv
# CP932 → UTF-8
iconv -f CP932 -t UTF-8 source.txt > utf8.txt
# UTF-8 → CP932
iconv -f UTF-8 -t CP932 utf8.txt > restored.txt
nkf(推奨)
# CP932 → UTF-8
nkf --ic=CP932 --oc=UTF-8 --ms source.txt > utf8.txt
# UTF-8 → CP932
nkf --ic=UTF-8 --oc=CP932 --ms utf8.txt > restored.txt
--ms オプションで機種依存文字や波ダッシュの扱いをWindows寄りにしてくれる。
学び
Windowsで「Shift_JIS」と表示されても、実態はほぼCP932
Linux側で標準Shift_JISを指定すると、変換エラーや文字化けが起きやすい
Win⇔Linux間のやり取りでは、必ず CP932 を明示指定するのが安全
💡 「SJISなのに化ける」問題の8割はコレが原因。
思い出そう、「Shift_JISって言ったな、あれは嘘だ。」。