
【情報の基礎理論】1.3 データの表現
1. はじめに:文字も画像もすべて「数字」
コンピュータ内部には「あ」という文字の形が入っているわけではありません。
「『あ』という文字は、番号『12354』に割り当てよう」という対応表を持っているだけです。
この対応表のことを文字コードと呼びます。
実務(特に古いシステムの改修や、異なるシステム間のデータ連携)では、この「対応表の違い」によるトラブル(文字化け)が頻発します。
2. 代表的な文字コード
システム開発の歴史は長く、その時代や国ごとに様々な「対応表」が作られてきました。
ASCII (アスキー)
基本中の基本。半角英数字と記号のみ。
7ビットで表現(0〜127)。世界中のどのコンピュータでもほぼ間違いなく認識できる。
日本語は扱えない。
Shift-JIS (シフトジス)
Windowsの標準(日本語版)として長く使われてきたコード。
日本語(漢字・ひらがな)を扱えるが、特定の文字(「表」「ソ」「能」など)が含まれるとプログラムがおかしくなる「5C問題」という有名なトラブルメーカーとしても知られる。
古いCSVファイルやレガシーシステムでは現役。
Unicode / UTF-8
世界標準。ほぼ全ての言語の文字(+絵文字😊)を一つの体系で扱える。
現代のWeb開発や新しいプログラミング言語では、デフォルトで UTF-8 を使うのが一般的。
「迷ったらUTF-8にしておけ」 が現代の正解。
📝 NOTE 違いのイメージ
・ASCII: 英語辞書しかない状態。
・Shift-JIS: 英語辞書の隙間に無理やり日本語の書き込みをしたノート。
・Unicode: 世界中の言語が載っている分厚い辞書。
3. 実務トラブル:文字化け
文字化けは、「UTF-8で書かれた手紙」を「Shift-JISの辞書」で解読しようとした時に起こります。
全く違うページ(番号)を参照してしまい、意味不明な記号が表示されてしまうのです。
よくあるシチュエーション
CSVファイルの取り込み:
管理画面からダウンロードしたCSV(Shift-JIS)を、Macのエディタ(UTF-8)で開いたら文字化けした。
逆もしかり。最近のWebツールからDLしたCSV(UTF-8)をExcel(古いバージョンはShift-JIS前提)で開くと化ける。
WebAPI連携:
外部システムからデータをもらう時、文字コードの指定が合っていない。
対処法
「BOM(ボム)」の存在: UTF-8には「BOM付き」と「BOMなし」があります。Excelで開くときは「BOM付きUTF-8」だとうまくいくことが多いです。
エディタで開き直す: VSCodeなどの高機能エディタには「エンコードを指定して再度開く」機能があります。これで正しいコードを探り当てることができます。
4. 演習:文字コード体感
Q1. 文字化け推理
あるテキストファイルを開いたら、以下のような表示になりました。
`‚±‚ñ‚É‚¿‚Í`
(何らかの文字が化けているようです)
これは「何コード」のテキストを、「何コード」として開いてしまった可能性が高いでしょうか?
(ヒント:半角カタカナや変な記号が混じっている場合、バイト数が合っていないことが多いです)
・
・
・
▼ 解答と解説
推測:Shift-JIS のファイルを UTF-8 (またはISO-8859-1) として開いてしまった、など
正確に当てるのは難しいですが、特徴として:
「?」や「」だらけになる: UTF-8をShift-JISで開いたとき(UTF-8の漢字は3バイト、Shift-JISは2バイトなので、噛み合わず不明な文字になる)。
半角カナや欧州系記号に化ける: Shift-JISを無理やり1バイト系のコードとして解釈した場合など。
重要なのは「変換に失敗したわけではなく、解釈のルールを間違えているだけ」と気づくことです。
正しい文字コードを指定し直せば、データは元に戻ります。
Q2. Emojis
😀 (笑顔の絵文字) は、画像/イラストでしょうか?それとも文字でしょうか?
・
・
・
▼ 解答と解説
答え:文字
これは Unicode で `U+1F600` という番号が割り振られた「文字」です。
したがって、'A' や 'あ' と同じように、テキストエディタでコピー&ペーストできますし、検索もできます。
表示される見た目(フォント)は、OSやブラウザ(iPhoneかAndroidかWindowsか)によって勝手に変わります。あくまで「笑顔のマーク」という定義があるだけだからです。