
#757 なぜ文字化けは起きるのか
日本語と英語の文字コードを整理してみた
情報処理系の学習をしていると、文字コードに関する問題が出てくることがあります。
例えば、XMLの宣言で省略できる文字コードはどれか、Shift-JIS、EUC-JP、ISO-2022-JP、UTF-8、UTF-16の違いは何か、といった内容です。
普段の業務では、文字コードを強く意識しないことも多いかもしれません。
しかし、文字コードは非常に重要です。
なぜなら、文字コードの理解がないと、次のような場面で原因が分かりにくくなるからです。
CSVファイルを開いたら文字化けした
古い業務システムから出力したファイルが正しく読めない
Web APIで日本語が崩れる
メール本文の日本語が文字化けする
XMLやJSONの読み込みでエラーになる
データ移行時に一部の文字が欠落する
Windows環境とLinux環境で文字の扱いが違う
今回は、文字コードについて、初心者にも分かるように整理してみます。
文字コードとは何か
文字コードとは、文字をコンピュータで扱うためのルールです。
人間にとっては「あ」「A」「1」「★」のように見える文字でも、コンピュータ内部では数値として扱われます。
例えば、人間が見ている文字は次のようなものです。
A
B
あ
い
山
川
しかし、コンピュータはこれらをそのまま理解しているわけではありません。
コンピュータは、文字を数値の並びとして保存し、必要なときにその数値を文字として表示します。
このとき、
「どの文字を、どの数値で表すか」
を決めるルールが文字コードです。
つまり、文字コードは、文字と数値の対応表のようなものです。
文字化けはなぜ起きるのか
文字化けは、文字コードの解釈がずれたときに発生します。
例えば、あるファイルがShift-JISで保存されていたとします。
しかし、そのファイルを開くアプリケーションが、UTF-8として読み込んでしまったとします。
すると、保存されたバイト列の意味を正しく解釈できません。
その結果、本来は日本語として表示されるはずの文字が、意味不明な文字列として表示されます。
これが文字化けです。
重要なのは、文字化けは必ずしも「文字そのものが壊れた」わけではないということです。
多くの場合、問題は次のようなズレです。
保存時の文字コード
読み込み時の文字コード
送信時の文字コード
受信時の文字コード
データベースに格納する文字コード
画面に表示する文字コード
これらが一致していないと、文字化けが発生しやすくなります。
日本語で代表的な文字コード
日本語では、過去に複数の文字コードが使われてきました。
英語と比べて日本語は文字数が多く、ひらがな、カタカナ、漢字、記号などを扱う必要があります。
そのため、日本語環境では文字コードの違いが問題になりやすいです。
代表的なものを整理します。
Shift-JIS
Shift-JISは、日本語Windows環境で長く使われてきた文字コードです。
特徴は次のとおりです。
日本語Windowsでよく使われた
古い業務システムやCSVファイルでよく見かける
1バイト文字と2バイト文字が混在する
Excelで扱うCSVとの関係で実務上よく登場する
Windows環境では、厳密なShift-JISではなく、CP932やWindows-31Jを指していることもある
試験対策としては、次のように覚えると分かりやすいです。
Shift-JIS
日本語Windows
古い業務システム
CSV
現在でも、既存システムとの連携ではShift-JISを意識する場面があります。
EUC-JP
EUC-JPは、UNIX系環境でよく使われてきた日本語文字コードです。
特徴は次のとおりです。
UNIXやLinux系の古い環境で使われた
古いサーバや日本語UNIX環境で登場することがある
現在はUTF-8に置き換わっていることが多い
試験対策としては、次のように覚えるとよいです。
EUC-JP
UNIX系
古いLinux・UNIX環境
現在のLinux環境ではUTF-8が一般的ですが、古いシステムを扱う場合にはEUC-JPが出てくることがあります。
ISO-2022-JP
ISO-2022-JPは、日本語メールでよく使われてきた文字コードです。
特徴は次のとおりです。
日本語電子メールで使われてきた
7ビットで表現できる
古いメールシステムとの互換性が高い
エスケープシーケンスで文字集合を切り替える
昔のメールシステムでは、8ビットのデータを安全に扱えない環境がありました。
そのため、7ビットで表現できるISO-2022-JPが日本語メールで利用されてきました。
試験対策としては、次のように覚えるとよいです。
ISO-2022-JP
日本語メール
7ビット
古いメール環境
UTF-8
UTF-8は、現在最も広く使われている文字コードの一つです。
特徴は次のとおりです。
Unicodeを表す方式の一つ
Web、JSON、XML、Linux、クラウド環境などで広く使われる
英数字はASCIIと互換性がある
日本語も英語も多言語も扱える
現在、新しくシステムを作る場合によく選ばれる
UTF-8の大きな特徴は、英数字についてASCIIと互換性があることです。
例えば、英字のAは、ASCIIでもUTF-8でも同じバイト列として扱えます。
そのため、英語圏でも移行しやすく、現在のWebやシステムではUTF-8が広く使われています。
試験対策としては、次のように覚えるとよいです。
UTF-8
現在の標準
Webでよく使う
Unicode系
多言語対応
UTF-16
UTF-16も、Unicodeを表す方式の一つです。
特徴は次のとおりです。
16ビット単位で文字を表す
Windows内部や一部のプログラミング環境で使われる
XMLではUTF-8と並んで重要
多くの日本語文字は2バイトで表現される
一部の文字は4バイトで表現される
UTF-16は、XMLの学習でもよく登場します。
XMLでは、UTF-8やUTF-16が標準的に扱われます。
試験対策としては、次のように覚えるとよいです。
UTF-16
Unicode系
16ビット単位
XMLで重要
Windows内部で関係することがある
英語にも文字コードはあるのか
日本語ほど複雑ではありませんが、英語にも代表的な文字コードがあります。
英語はアルファベット、数字、基本的な記号が中心なので、日本語よりも少ない文字数で表現できます。
そのため、古くからASCIIが基本として使われてきました。
ASCII
ASCIIは、英語圏で最も基本的な文字コードです。
特徴は次のとおりです。
英数字と基本的な記号を表す
7ビットで128種類の文字を扱う
コンピュータの基本的な文字コードとして重要
UTF-8と互換性がある
ASCIIで扱える主な文字は次のようなものです。
A〜Z
a〜z
0〜9
記号
改行などの制御文字
英語だけを扱うのであれば、ASCIIでかなりの範囲を表現できます。
ISO-8859-1
ISO-8859-1は、Latin-1とも呼ばれます。
特徴は次のとおりです。
西ヨーロッパ言語向けの文字コード
英語に加えて、フランス語やドイツ語などのアクセント付き文字を扱える
古いWebページや文書で見かけることがある
例えば、次のような文字を扱います。
é
ä
ñ
ö
ü
英語そのものにはアクセント付き文字はあまり出ませんが、人名、地名、外来語などでは必要になることがあります。
Windows-1252
Windows-1252は、Windows環境で使われてきた西ヨーロッパ向けの文字コードです。
特徴は次のとおりです。
Windows環境でよく使われた
ISO-8859-1に近いが完全には同じではない
引用符、ダッシュ、ユーロ記号などで違いが出る
古い英文文書やWebページで登場することがある
例えば、次のような記号が関係します。
“
”
’
–
—
€
実務では、古い英文文書を扱うときに、Windows-1252由来の文字が混じることがあります。
EBCDIC
EBCDICは、IBMメインフレーム系で使われてきた文字コードです。
特徴は次のとおりです。
IBMの大型汎用機で使われてきた
一般的なPCやWebではあまり使わない
金融系や基幹系の古いシステムで登場することがある
試験対策としては、次のように覚えるとよいです。
EBCDIC
IBMメインフレーム
古い大型汎用機
普段のWeb開発ではあまり意識しませんが、基幹系システムの歴史を理解するうえでは重要です。
UnicodeとUTF-8の違い
文字コードの話で特に混乱しやすいのが、UnicodeとUTF-8の関係です。
結論からいうと、UnicodeとUTF-8は同じ意味ではありません。
Unicodeは、世界中の文字に共通の番号を割り当てる仕組みです。
一方、UTF-8やUTF-16は、そのUnicodeの文字を、コンピュータ上のバイト列として表現する方式です。
イメージとしては、次のように考えると分かりやすいです。
Unicode
文字に番号を付ける標準UTF-8
Unicodeの文字をバイト列で表す方式UTF-16
Unicodeの文字を16ビット単位で表す方式
つまり、Unicodeは「文字の一覧と番号付けの考え方」、UTF-8やUTF-16は「その番号をどう保存するかの方式」です。
この違いを理解しておくと、文字コードの話がかなり整理しやすくなります。
XMLと文字コード
XMLでは、文書の先頭にXML宣言を書くことがあります。
例えば、次のようなものです。
<?xml version="1.0" encoding="UTF-8"?>
この中の、
encoding="UTF-8"
が符号化宣言です。
これは、
「このXML文書はUTF-8で書かれています」
という意味です。
XMLでは、UTF-8やUTF-16が標準的に扱われます。
一方で、Shift-JISなどを使う場合は、encoding指定が重要です。
例えば、Shift-JISで書かれたXMLをUTF-8として読み込むと、文字化けや解析エラーが起きる可能性があります。
XMLを扱うときは、次の点に注意が必要です。
文書の実際の文字コード
XML宣言のencoding指定
読み込むアプリケーション側の設定
送受信時のHTTPヘッダなどの指定
これらがずれると、XML文書を正しく読めなくなることがあります。
実務で注意したい文字コードの落とし穴
文字コードは、実務でも意外なところで問題になります。
特に注意したいのは、次のようなケースです。
CSVをExcelで開くと文字化けする
CSVファイルをExcelで開いたときに文字化けすることがあります。
これは、CSVファイルの文字コードと、Excelが想定している文字コードが違う場合に起こります。
例えば、UTF-8のCSVを古いExcelがShift-JISとして読み込むと、文字化けすることがあります。
古い業務システムがShift-JIS前提になっている
古い業務システムでは、Shift-JIS前提でデータを出力していることがあります。
一方、最近のWeb APIやクラウドサービスはUTF-8前提であることが多いです。
このようなシステム同士を連携するときには、文字コード変換が必要になる場合があります。
メールではISO-2022-JPが出てくることがある
現在はUTF-8のメールも増えていますが、古い日本語メールではISO-2022-JPが使われることがあります。
メールシステムとの連携では、文字コードやMIMEの扱いを確認する必要があります。
WindowsのShift-JISは厳密にはCP932の場合がある
実務で「Shift-JIS」と呼ばれているものが、実際にはWindows拡張のCP932を指していることがあります。
この違いによって、一部の記号や外字、機種依存文字で問題が起きることがあります。
外字や機種依存文字に注意する
古い業務システムでは、外字や機種依存文字が使われていることがあります。
例えば、人名、会社名、住所、製品名などで特殊な文字が使われることがあります。
システム移行やデータ連携では、これらの文字が正しく変換できるかを確認する必要があります。
ファイル、DB、APIで文字コードが違うことがある
実務では、次のように複数の場所で文字コードが関係します。
入力ファイル
データベース
アプリケーション
Web画面
API
メール
帳票出力
どこか一つでも文字コードの解釈がずれると、文字化けが起きることがあります。
そのため、システム連携では「どの文字コードで受け取り、どの文字コードで保存し、どの文字コードで出力するか」を確認することが重要です。
試験対策としての覚え方
文字コードは、試験では次のように整理しておくと分かりやすいです。
日本語の代表的な文字コードは、次のように覚えるとよいです。
Shift-JIS
日本語Windows、古い業務システム、CSVEUC-JP
UNIX系、古いLinux・UNIX環境ISO-2022-JP
日本語メール、7ビットUTF-8
現在の標準、Web、JSON、XML、多言語対応UTF-16
Unicode系、16ビット単位、XMLでも重要
英語の代表的な文字コードは、次のように覚えるとよいです。
ASCII
英語の基本文字コードISO-8859-1
西ヨーロッパ言語向けWindows-1252
Windows環境の西ヨーロッパ向け文字コードEBCDIC
IBMメインフレーム系UTF-8
現在の標準
まとめ
文字コードは、普段あまり意識しない技術かもしれません。
しかし、文字化け、データ移行、CSV処理、メール、XML、Web API、古い業務システムとの連携など、実務のさまざまな場面で関係します。
今回の内容をまとめると、次のようになります。
文字コードは、文字と数値の対応ルールである
文字化けは、保存時と読み込み時の文字コードの解釈違いで起きる
日本語では、Shift-JIS、EUC-JP、ISO-2022-JP、UTF-8、UTF-16が重要
英語では、ASCII、ISO-8859-1、Windows-1252、EBCDIC、UTF-8が重要
Unicodeは文字に番号を付ける標準であり、UTF-8やUTF-16はそれを保存する方式である
現在の新しいシステムではUTF-8が使われることが多い
古いシステムと連携するときは、Shift-JISやEUC-JPなどの知識も必要になる
文字コードは地味ですが、システム連携やデータ移行では非常に重要な基礎知識です。
特に古いシステムと新しいシステムをつなぐ場面では、文字コードの理解がトラブル回避に直結します。
ハッシュタグ
#文字コード
#文字化け
#UTF8
#UTF16
#Unicode
#ShiftJIS
#EUCJP
#ISO2022JP
#ASCII
#IT基礎
#情報処理試験
#基本情報技術者
#応用情報技術者
#システム開発
#データ移行
#システム連携
#CSV
#XML
#技術ブログ