メインコンテンツへスキップ
見出し画像

#757 なぜ文字化けは起きるのか

    日本語と英語の文字コードを整理してみた

    情報処理系の学習をしていると、文字コードに関する問題が出てくることがあります。

    例えば、XMLの宣言で省略できる文字コードはどれか、Shift-JIS、EUC-JP、ISO-2022-JP、UTF-8、UTF-16の違いは何か、といった内容です。

    普段の業務では、文字コードを強く意識しないことも多いかもしれません。

    しかし、文字コードは非常に重要です。

    なぜなら、文字コードの理解がないと、次のような場面で原因が分かりにくくなるからです。

    • CSVファイルを開いたら文字化けした

    • 古い業務システムから出力したファイルが正しく読めない

    • Web APIで日本語が崩れる

    • メール本文の日本語が文字化けする

    • XMLやJSONの読み込みでエラーになる

    • データ移行時に一部の文字が欠落する

    • Windows環境とLinux環境で文字の扱いが違う

    今回は、文字コードについて、初心者にも分かるように整理してみます。


    文字コードとは何か

    文字コードとは、文字をコンピュータで扱うためのルールです。

    人間にとっては「あ」「A」「1」「★」のように見える文字でも、コンピュータ内部では数値として扱われます。

    例えば、人間が見ている文字は次のようなものです。

    • A

    • B

    • あ

    • い

    • 山

    • 川

    しかし、コンピュータはこれらをそのまま理解しているわけではありません。

    コンピュータは、文字を数値の並びとして保存し、必要なときにその数値を文字として表示します。

    このとき、

    「どの文字を、どの数値で表すか」

    を決めるルールが文字コードです。

    つまり、文字コードは、文字と数値の対応表のようなものです。


    文字化けはなぜ起きるのか

    文字化けは、文字コードの解釈がずれたときに発生します。

    例えば、あるファイルがShift-JISで保存されていたとします。

    しかし、そのファイルを開くアプリケーションが、UTF-8として読み込んでしまったとします。

    すると、保存されたバイト列の意味を正しく解釈できません。

    その結果、本来は日本語として表示されるはずの文字が、意味不明な文字列として表示されます。

    これが文字化けです。

    重要なのは、文字化けは必ずしも「文字そのものが壊れた」わけではないということです。

    多くの場合、問題は次のようなズレです。

    • 保存時の文字コード

    • 読み込み時の文字コード

    • 送信時の文字コード

    • 受信時の文字コード

    • データベースに格納する文字コード

    • 画面に表示する文字コード

    これらが一致していないと、文字化けが発生しやすくなります。


    日本語で代表的な文字コード

    日本語では、過去に複数の文字コードが使われてきました。

    英語と比べて日本語は文字数が多く、ひらがな、カタカナ、漢字、記号などを扱う必要があります。

    そのため、日本語環境では文字コードの違いが問題になりやすいです。

    代表的なものを整理します。


    Shift-JIS

    Shift-JISは、日本語Windows環境で長く使われてきた文字コードです。

    特徴は次のとおりです。

    • 日本語Windowsでよく使われた

    • 古い業務システムやCSVファイルでよく見かける

    • 1バイト文字と2バイト文字が混在する

    • Excelで扱うCSVとの関係で実務上よく登場する

    • Windows環境では、厳密なShift-JISではなく、CP932やWindows-31Jを指していることもある

    試験対策としては、次のように覚えると分かりやすいです。

    • Shift-JIS

    • 日本語Windows

    • 古い業務システム

    • CSV

    現在でも、既存システムとの連携ではShift-JISを意識する場面があります。


    EUC-JP

    EUC-JPは、UNIX系環境でよく使われてきた日本語文字コードです。

    特徴は次のとおりです。

    • UNIXやLinux系の古い環境で使われた

    • 古いサーバや日本語UNIX環境で登場することがある

    • 現在はUTF-8に置き換わっていることが多い

    試験対策としては、次のように覚えるとよいです。

    • EUC-JP

    • UNIX系

    • 古いLinux・UNIX環境

    現在のLinux環境ではUTF-8が一般的ですが、古いシステムを扱う場合にはEUC-JPが出てくることがあります。


    ISO-2022-JP

    ISO-2022-JPは、日本語メールでよく使われてきた文字コードです。

    特徴は次のとおりです。

    • 日本語電子メールで使われてきた

    • 7ビットで表現できる

    • 古いメールシステムとの互換性が高い

    • エスケープシーケンスで文字集合を切り替える

    昔のメールシステムでは、8ビットのデータを安全に扱えない環境がありました。

    そのため、7ビットで表現できるISO-2022-JPが日本語メールで利用されてきました。

    試験対策としては、次のように覚えるとよいです。

    • ISO-2022-JP

    • 日本語メール

    • 7ビット

    • 古いメール環境


    UTF-8

    UTF-8は、現在最も広く使われている文字コードの一つです。

    特徴は次のとおりです。

    • Unicodeを表す方式の一つ

    • Web、JSON、XML、Linux、クラウド環境などで広く使われる

    • 英数字はASCIIと互換性がある

    • 日本語も英語も多言語も扱える

    • 現在、新しくシステムを作る場合によく選ばれる

    UTF-8の大きな特徴は、英数字についてASCIIと互換性があることです。

    例えば、英字のAは、ASCIIでもUTF-8でも同じバイト列として扱えます。

    そのため、英語圏でも移行しやすく、現在のWebやシステムではUTF-8が広く使われています。

    試験対策としては、次のように覚えるとよいです。

    • UTF-8

    • 現在の標準

    • Webでよく使う

    • Unicode系

    • 多言語対応


    UTF-16

    UTF-16も、Unicodeを表す方式の一つです。

    特徴は次のとおりです。

    • 16ビット単位で文字を表す

    • Windows内部や一部のプログラミング環境で使われる

    • XMLではUTF-8と並んで重要

    • 多くの日本語文字は2バイトで表現される

    • 一部の文字は4バイトで表現される

    UTF-16は、XMLの学習でもよく登場します。

    XMLでは、UTF-8やUTF-16が標準的に扱われます。

    試験対策としては、次のように覚えるとよいです。

    • UTF-16

    • Unicode系

    • 16ビット単位

    • XMLで重要

    • Windows内部で関係することがある


    英語にも文字コードはあるのか

    日本語ほど複雑ではありませんが、英語にも代表的な文字コードがあります。

    英語はアルファベット、数字、基本的な記号が中心なので、日本語よりも少ない文字数で表現できます。

    そのため、古くからASCIIが基本として使われてきました。


    ASCII

    ASCIIは、英語圏で最も基本的な文字コードです。

    特徴は次のとおりです。

    • 英数字と基本的な記号を表す

    • 7ビットで128種類の文字を扱う

    • コンピュータの基本的な文字コードとして重要

    • UTF-8と互換性がある

    ASCIIで扱える主な文字は次のようなものです。

    • A〜Z

    • a〜z

    • 0〜9

    • 記号

    • 改行などの制御文字

    英語だけを扱うのであれば、ASCIIでかなりの範囲を表現できます。


    ISO-8859-1

    ISO-8859-1は、Latin-1とも呼ばれます。

    特徴は次のとおりです。

    • 西ヨーロッパ言語向けの文字コード

    • 英語に加えて、フランス語やドイツ語などのアクセント付き文字を扱える

    • 古いWebページや文書で見かけることがある

    例えば、次のような文字を扱います。

    • é

    • ä

    • ñ

    • ö

    • ü

    英語そのものにはアクセント付き文字はあまり出ませんが、人名、地名、外来語などでは必要になることがあります。


    Windows-1252

    Windows-1252は、Windows環境で使われてきた西ヨーロッパ向けの文字コードです。

    特徴は次のとおりです。

    • Windows環境でよく使われた

    • ISO-8859-1に近いが完全には同じではない

    • 引用符、ダッシュ、ユーロ記号などで違いが出る

    • 古い英文文書やWebページで登場することがある

    例えば、次のような記号が関係します。

    • “

    • ”

    • ’

    • –

    • —

    • €

    実務では、古い英文文書を扱うときに、Windows-1252由来の文字が混じることがあります。


    EBCDIC

    EBCDICは、IBMメインフレーム系で使われてきた文字コードです。

    特徴は次のとおりです。

    • IBMの大型汎用機で使われてきた

    • 一般的なPCやWebではあまり使わない

    • 金融系や基幹系の古いシステムで登場することがある

    試験対策としては、次のように覚えるとよいです。

    • EBCDIC

    • IBMメインフレーム

    • 古い大型汎用機

    普段のWeb開発ではあまり意識しませんが、基幹系システムの歴史を理解するうえでは重要です。


    UnicodeとUTF-8の違い

    文字コードの話で特に混乱しやすいのが、UnicodeとUTF-8の関係です。

    結論からいうと、UnicodeとUTF-8は同じ意味ではありません。

    Unicodeは、世界中の文字に共通の番号を割り当てる仕組みです。

    一方、UTF-8やUTF-16は、そのUnicodeの文字を、コンピュータ上のバイト列として表現する方式です。

    イメージとしては、次のように考えると分かりやすいです。

    • Unicode
      文字に番号を付ける標準

    • UTF-8
      Unicodeの文字をバイト列で表す方式

    • UTF-16
      Unicodeの文字を16ビット単位で表す方式

    つまり、Unicodeは「文字の一覧と番号付けの考え方」、UTF-8やUTF-16は「その番号をどう保存するかの方式」です。

    この違いを理解しておくと、文字コードの話がかなり整理しやすくなります。


    XMLと文字コード

    XMLでは、文書の先頭にXML宣言を書くことがあります。

    例えば、次のようなものです。

    <?xml version="1.0" encoding="UTF-8"?>
    

    この中の、

    encoding="UTF-8"
    

    が符号化宣言です。

    これは、

    「このXML文書はUTF-8で書かれています」

    という意味です。

    XMLでは、UTF-8やUTF-16が標準的に扱われます。

    一方で、Shift-JISなどを使う場合は、encoding指定が重要です。

    例えば、Shift-JISで書かれたXMLをUTF-8として読み込むと、文字化けや解析エラーが起きる可能性があります。

    XMLを扱うときは、次の点に注意が必要です。

    • 文書の実際の文字コード

    • XML宣言のencoding指定

    • 読み込むアプリケーション側の設定

    • 送受信時のHTTPヘッダなどの指定

    これらがずれると、XML文書を正しく読めなくなることがあります。


    実務で注意したい文字コードの落とし穴

    文字コードは、実務でも意外なところで問題になります。

    特に注意したいのは、次のようなケースです。


    CSVをExcelで開くと文字化けする

    CSVファイルをExcelで開いたときに文字化けすることがあります。

    これは、CSVファイルの文字コードと、Excelが想定している文字コードが違う場合に起こります。

    例えば、UTF-8のCSVを古いExcelがShift-JISとして読み込むと、文字化けすることがあります。


    古い業務システムがShift-JIS前提になっている

    古い業務システムでは、Shift-JIS前提でデータを出力していることがあります。

    一方、最近のWeb APIやクラウドサービスはUTF-8前提であることが多いです。

    このようなシステム同士を連携するときには、文字コード変換が必要になる場合があります。


    メールではISO-2022-JPが出てくることがある

    現在はUTF-8のメールも増えていますが、古い日本語メールではISO-2022-JPが使われることがあります。

    メールシステムとの連携では、文字コードやMIMEの扱いを確認する必要があります。


    WindowsのShift-JISは厳密にはCP932の場合がある

    実務で「Shift-JIS」と呼ばれているものが、実際にはWindows拡張のCP932を指していることがあります。

    この違いによって、一部の記号や外字、機種依存文字で問題が起きることがあります。


    外字や機種依存文字に注意する

    古い業務システムでは、外字や機種依存文字が使われていることがあります。

    例えば、人名、会社名、住所、製品名などで特殊な文字が使われることがあります。

    システム移行やデータ連携では、これらの文字が正しく変換できるかを確認する必要があります。


    ファイル、DB、APIで文字コードが違うことがある

    実務では、次のように複数の場所で文字コードが関係します。

    • 入力ファイル

    • データベース

    • アプリケーション

    • Web画面

    • API

    • メール

    • 帳票出力

    どこか一つでも文字コードの解釈がずれると、文字化けが起きることがあります。

    そのため、システム連携では「どの文字コードで受け取り、どの文字コードで保存し、どの文字コードで出力するか」を確認することが重要です。


    試験対策としての覚え方

    文字コードは、試験では次のように整理しておくと分かりやすいです。

    日本語の代表的な文字コードは、次のように覚えるとよいです。

    • Shift-JIS
      日本語Windows、古い業務システム、CSV

    • EUC-JP
      UNIX系、古いLinux・UNIX環境

    • ISO-2022-JP
      日本語メール、7ビット

    • UTF-8
      現在の標準、Web、JSON、XML、多言語対応

    • UTF-16
      Unicode系、16ビット単位、XMLでも重要

    英語の代表的な文字コードは、次のように覚えるとよいです。

    • ASCII
      英語の基本文字コード

    • ISO-8859-1
      西ヨーロッパ言語向け

    • Windows-1252
      Windows環境の西ヨーロッパ向け文字コード

    • EBCDIC
      IBMメインフレーム系

    • UTF-8
      現在の標準


    まとめ

    文字コードは、普段あまり意識しない技術かもしれません。

    しかし、文字化け、データ移行、CSV処理、メール、XML、Web API、古い業務システムとの連携など、実務のさまざまな場面で関係します。

    今回の内容をまとめると、次のようになります。

    • 文字コードは、文字と数値の対応ルールである

    • 文字化けは、保存時と読み込み時の文字コードの解釈違いで起きる

    • 日本語では、Shift-JIS、EUC-JP、ISO-2022-JP、UTF-8、UTF-16が重要

    • 英語では、ASCII、ISO-8859-1、Windows-1252、EBCDIC、UTF-8が重要

    • Unicodeは文字に番号を付ける標準であり、UTF-8やUTF-16はそれを保存する方式である

    • 現在の新しいシステムではUTF-8が使われることが多い

    • 古いシステムと連携するときは、Shift-JISやEUC-JPなどの知識も必要になる

    文字コードは地味ですが、システム連携やデータ移行では非常に重要な基礎知識です。

    特に古いシステムと新しいシステムをつなぐ場面では、文字コードの理解がトラブル回避に直結します。


    ハッシュタグ

    #文字コード
    #文字化け
    #UTF8
    #UTF16
    #Unicode
    #ShiftJIS
    #EUCJP
    #ISO2022JP
    #ASCII
    #IT基礎
    #情報処理試験
    #基本情報技術者
    #応用情報技術者
    #システム開発
    #データ移行
    #システム連携
    #CSV
    #XML
    #技術ブログ

     
     
    IT・学習・読書を中心に記事をまとめています

    あなたへのおすすめ