メインコンテンツへスキップ
見出し画像

【情報の基礎理論】1.3 データの表現

    1. はじめに:文字も画像もすべて「数字」

    コンピュータ内部には「あ」という文字の形が入っているわけではありません。
    「『あ』という文字は、番号『12354』に割り当てよう」という対応表を持っているだけです。
    この対応表のことを文字コードと呼びます。

    実務(特に古いシステムの改修や、異なるシステム間のデータ連携)では、この「対応表の違い」によるトラブル(文字化け)が頻発します。

    2. 代表的な文字コード

    システム開発の歴史は長く、その時代や国ごとに様々な「対応表」が作られてきました。

    ASCII (アスキー)

    • 基本中の基本。半角英数字と記号のみ。

    • 7ビットで表現(0〜127)。世界中のどのコンピュータでもほぼ間違いなく認識できる。

    • 日本語は扱えない。

    Shift-JIS (シフトジス)

    • Windowsの標準(日本語版)として長く使われてきたコード。

    • 日本語(漢字・ひらがな)を扱えるが、特定の文字(「表」「ソ」「能」など)が含まれるとプログラムがおかしくなる「5C問題」という有名なトラブルメーカーとしても知られる。

    • 古いCSVファイルやレガシーシステムでは現役。

    Unicode / UTF-8

    • 世界標準。ほぼ全ての言語の文字(+絵文字😊)を一つの体系で扱える。

    • 現代のWeb開発や新しいプログラミング言語では、デフォルトで UTF-8 を使うのが一般的。

    • 「迷ったらUTF-8にしておけ」 が現代の正解。

    📝 NOTE 違いのイメージ
    ・ASCII: 英語辞書しかない状態。
    ・Shift-JIS: 英語辞書の隙間に無理やり日本語の書き込みをしたノート。
    ・Unicode: 世界中の言語が載っている分厚い辞書。

    3. 実務トラブル:文字化け

    文字化けは、「UTF-8で書かれた手紙」を「Shift-JISの辞書」で解読しようとした時に起こります。
    全く違うページ(番号)を参照してしまい、意味不明な記号が表示されてしまうのです。

    よくあるシチュエーション

    1. CSVファイルの取り込み:

      • 管理画面からダウンロードしたCSV(Shift-JIS)を、Macのエディタ(UTF-8)で開いたら文字化けした。

      • 逆もしかり。最近のWebツールからDLしたCSV(UTF-8)をExcel(古いバージョンはShift-JIS前提)で開くと化ける。

    2. WebAPI連携:

      • 外部システムからデータをもらう時、文字コードの指定が合っていない。

    対処法

    • 「BOM(ボム)」の存在: UTF-8には「BOM付き」と「BOMなし」があります。Excelで開くときは「BOM付きUTF-8」だとうまくいくことが多いです。

    • エディタで開き直す: VSCodeなどの高機能エディタには「エンコードを指定して再度開く」機能があります。これで正しいコードを探り当てることができます。

    4. 演習:文字コード体感

    Q1. 文字化け推理

    あるテキストファイルを開いたら、以下のような表示になりました。
    `‚±‚ñ‚É‚¿‚Í`
    (何らかの文字が化けているようです)

    これは「何コード」のテキストを、「何コード」として開いてしまった可能性が高いでしょうか?
    (ヒント:半角カタカナや変な記号が混じっている場合、バイト数が合っていないことが多いです)

    ・
    ・
    ・

    ▼ 解答と解説

    推測:Shift-JIS のファイルを UTF-8 (またはISO-8859-1) として開いてしまった、など

    正確に当てるのは難しいですが、特徴として:

    • 「?」や「」だらけになる: UTF-8をShift-JISで開いたとき(UTF-8の漢字は3バイト、Shift-JISは2バイトなので、噛み合わず不明な文字になる)。

    • 半角カナや欧州系記号に化ける: Shift-JISを無理やり1バイト系のコードとして解釈した場合など。

    重要なのは「変換に失敗したわけではなく、解釈のルールを間違えているだけ」と気づくことです。
    正しい文字コードを指定し直せば、データは元に戻ります。

    Q2. Emojis

    😀 (笑顔の絵文字) は、画像/イラストでしょうか?それとも文字でしょうか?

    ・
    ・
    ・

    ▼ 解答と解説

    答え:文字

    これは Unicode で `U+1F600` という番号が割り振られた「文字」です。
    したがって、'A' や 'あ' と同じように、テキストエディタでコピー&ペーストできますし、検索もできます。
    表示される見た目(フォント)は、OSやブラウザ(iPhoneかAndroidかWindowsか)によって勝手に変わります。あくまで「笑顔のマーク」という定義があるだけだからです。


     
     
    ITインストラクター、ITエンジニア、AIエンジニアなどのお仕事で生計を立てている猫です。おいしいご飯が大好きです。お好きに閲覧してやってくださいませ。いいねしてくれるととても喜びます😽