
文字コードのしくみ!文字化けはなぜ起こる?
パソコンやスマートフォンで、たまに見かける謎の文字列「縺ゅ縺」「�����」。これが「文字化け」です。
なぜこんなことが起きるのでしょうか?
その秘密は「文字コード」という、コンピュータが文字を扱うための約束事にあります。
コンピュータは数字しか分からない
実は、コンピュータの中には「あ」という文字も「A」という文字も存在しません。すべては「0」と「1」の数字の組み合わせです。
私たちが画面で「あ」と見ている文字は、コンピュータの内部では数字として保存されています。この「文字と数字の対応表」が文字コードなのです。
ビットって何?
コンピュータの世界の最小単位がビット(bit)です。ビットは「0」か「1」のどちらかしか表せません。電気のスイッチが「オン」か「オフ」かと同じイメージです。
ビット数と表現できる数の関係
1ビット:0か1 → 2通り
2ビット:00, 01, 10, 11 → 4通り
3ビット:000, 001, 010... → 8通り
8ビット(1バイト):00000000〜11111111 → 256通り
つまり、ビット数が増えるほど、表現できる文字の種類が増えるのです。これが文字コードの進化の原動力になりました。
文字コードの歴史 なぜ種類がたくさんあるの?
ステップ1 英語だけの時代(ASCII)
最初に作られた文字コードは「ASCII(アスキー)」というもので、1963年にアメリカで生まれました。
使用ビット数:7ビット
扱える文字数:128文字(2の7乗 = 128)
内容:アルファベット、数字、記号だけ
なぜ128文字?
7ビットで表現できる組み合わせが128通りだからです。「A」は「1000001」、「a」は「1100001」というように、それぞれの文字に0と1の7桁の番号が割り当てられました。
これで英語は問題なく使えましたが、日本語や中国語、フランス語の特殊な文字は入りませんでした。
ステップ2 ヨーロッパへの拡張(8ビット = 256文字)
「7ビットじゃ足りない!もう1ビット増やそう」ということで、8ビット(1バイト)に拡張されました。
使用ビット数:8ビット
扱える文字数:256文字(2の8乗 = 256)
追加された文字:「é」「ü」「ñ」などヨーロッパの文字
でも、256文字という限られた枠を各国が奪い合う形になり、設定を間違えると文字化けが起こるようになってしまいました。
ステップ3 日本語・中国語の登場(2バイト = 数万文字)
日本語には数千の漢字があります。8ビット(256文字)では全く足りません!
そこで考えられたのが2バイト(16ビット)を使う方式です。
使用ビット数:16ビット
扱える文字数:65,536文字(2の16乗 = 65,536)
これで漢字もひらがなもカタカナも表現できる!
この方式で生まれたのが
Shift_JIS(シフトJIS)
Windowsで広く使われた日本の文字コード
1バイト(英数字)と2バイト(漢字・ひらがな)を混在させる仕組み
「ソ」や「表」といった特定の文字で問題が起きやすい
EUC-JP
LinuxなどのUNIX系コンピュータで使われた
問題は、同じファイルでもWindowsで作るとShift_JIS、Macで作ると別の文字コード、というようにバラバラだったことです。
ステップ4 世界統一への挑戦(Unicode)
「もう世界中の文字を1つの体系にまとめよう!」という動きが始まりました。これがUnicode(ユニコード)です。
Unicodeでは
「あ」という文字に「U+3042」という世界共通の番号をつける
この番号をどうやってデータにするか(UTF-8、UTF-16など)を決める
UTF-8の賢い仕組み
UTF-8は「可変長」という賢い方式を採用しています。文字によって使うビット数を変えるのです。
英数字:1バイト(8ビット)で表現
例:「A」→ 8ビット分のデータ
日本語:3バイト(24ビット)で表現
例:「あ」→ 24ビット分のデータ
絵文字など:4バイト(32ビット)で表現
例:「😀」→ 32ビット分のデータ
なぜこれが優れているの?
英語の文章なら1バイトで済むので、データ量が少なくて済みます。日本語が必要なときだけ3バイト使うので、効率的なのです。
現在のインターネットでは、このUnicodeの中でもUTF-8という方式がほぼ標準になっています。
よくある文字化けパターン
パターン1 「縺ゅ縺」「繧�」
原因
UTF-8で保存したファイルを、古いShift_JISで開いてしまった
UTF-8の日本語は3つの数字で表現されますが、それをShift_JISの決まりで読もうとすると、まったく別の漢字に見えてしまうのです。
パターン2 半角カタカナだらけ
原因
EUC-JPで保存したファイルを、Shift_JISで開いてしまった
数字の解釈方法が違うため、本来の漢字が半角カタカナに見えてしまいます。
なぜ文字コードが違うと読めないの?
例えば、「あ」という文字で考えてみましょう
UTF-8で保存:3つの数字「227, 129, 130」として保存
Shift_JISで保存:2つの数字「130, 160」として保存
同じ「あ」でも、保存するときの約束事が違えば数字が変わります。そして、UTF-8で保存したものをShift_JISで開こうとすると、「227, 129, 130」という3つの数字を無理やりShift_JISの辞書で探すため、まったく違う文字が表示されてしまうのです。
スマホや最近のパソコンで文字化けが減った理由
最近では、ほとんどのウェブサイトやアプリがUTF-8に統一されています。
UTF-8の良いところ
世界中の言語を1つの方式で扱える(100万文字以上に対応可能)
英語は1バイト、日本語は3バイト、絵文字は4バイトと、必要な分だけ使う効率的な設計
スマホでもパソコンでも同じように表示できる
インターネットのデータ量を節約できる
ビット数の進化をまとめると
ASCII:7ビット → 128文字
拡張ASCII:8ビット → 256文字
日本語対応:16ビット → 65,536文字
UTF-8:8〜32ビット(可変) → 100万文字以上
このように、ビット数を増やし、さらに効率的な使い方を工夫することで、現在の豊かな文字表現が可能になったのです。
そのため、「このサイトでは文字化けするけど、あっちでは大丈夫」という問題が大きく減りました。
もし文字化けに遭遇したら
対処法1 AIに聞いて文字コードを特定する(最も簡単!)
文字化けしたテキストを見ても、どの文字コードで保存されているのか分からないことがありますよね。そんなときはAIに直接聞いてみるのが一番早くて確実です。
具体的な聞き方の例
この文字化けしたテキストの文字コードを教えてください
「縺ゅ縺�縺�縺�」AIは文字化けのパターンを分析して、「UTF-8をShift_JISで開いています」といった具体的な原因を教えてくれます。
さらに便利な使い方
文字化けしたファイルをそのままAIにコピペやアップロードして
このテキストファイルが文字化けしています。
正しい文字コードで読み直してもらえますか?と聞くだけで、AIが正しい文字コードを推測して内容を表示してくれます。自分で何度も試行錯誤する必要がありません。
AIが得意な理由
AIは大量の文字化けパターンを学習しているため
UTF-8とShift_JISの混同
EUC-JPとShift_JISの混同
BOM(後述)の有無による問題
これらを瞬時に見分けることができます。
対処法2 文字コードを変更してみる
メモ帳やテキストエディタで開いているなら
「ファイル」→「名前を付けて保存」を選ぶ
「文字コード」や「エンコード」という項目を探す
「UTF-8」「Shift_JIS」など、いくつか試してみる
ヒント
AIに「どの文字コードを試せばいいですか?」と聞いてから作業すると効率的です。
対処法3 ブラウザの設定を変える
ウェブページで文字化けしている場合
最近のブラウザは自動判定が優秀なので、ページを再読み込みすると直ることもあります
それでもダメなら、ブラウザの設定から「エンコード」を変更できます
対処法4 送信元に確認
メールやファイルで受け取った文書が文字化けしている場合は、送信者に「UTF-8で保存し直してもらえますか?」と頼むのが確実です。
まとめ これだけ覚えておけばOK
文字コードは「文字と数字の対応表」 - コンピュータは数字しか分からないので、この対応表が必要
文字化けは「対応表の読み違い」 - UTF-8で保存したものをShift_JISで開くと、違う文字に見える
今はほぼUTF-8の時代 - 新しいファイルを作るときは「UTF-8」を選んでおけば安心
古いファイルには注意 - 10年以上前のファイルはShift_JISのことが多い
困ったらAIに聞く - 文字化けしたテキストやファイルをAIに見せれば、原因と解決法を教えてくれる
文字コードの仕組みを少し知っておくだけで、文字化けに遭遇したときも慌てずに対処できます。デジタル時代の「共通言語」として、UTF-8がこれからも世界中で使われ続けていくでしょう。
そして何より、分からないことがあったら気軽にAIに質問してみるのが、現代の最も効率的な解決法です。