
「あ」は、どうやって0と1になるの?
CSVファイルをExcelに取り込むときなどに、「UTF-8」という言葉を見かけることがあります。
文字化けしたときに、「UTF-8を選んでください」と言われた経験がある人もいるでしょう。
UTF-8とは何なのか。ITアレルギーの人でもわかるように、とことんかみ砕いて解説します。
【読了時間の目安:約15分】
現在使われているほとんどのコンピュータは、情報を最終的に0と1の二つの状態として扱います。
ここでは、二進法について、基本的な考え方は知っているものとして話を進めます。といっても、二進法は0と1の2種類だけを使って数を表すものと分かっていれば大丈夫です。
では、コンピュータは0と1だけで、「あ」や「A」のような文字をどうやって扱っているのか、見ていきましょう。
🔴まず、文字に番号を付ける
コンピュータで文字を扱うには、「この番号は、この文字」という共通の約束が必要です。現在、その基準になっているのがUnicode(ユニコード)と呼ばれるものです。
たとえばUnicodeでは、「あ」に一つの番号が割り当てられています。普段使っている十進法で書けば、12354です。
「あ」=12354という対応関係になります。
ただし、コンピュータの中に「1、2、3、5、4」という十進法の数字が、そのまま置かれているわけではありません。
12354というのは、私たちが理解しやすいように十進法で書いたものです。(十六進法ではU+3042)
※Unicodeの番号は、実際には十六進法で表記するのが一般的ですが、十六進法の話まで持ち込むと話がややこしくなりますので、ここでは普段使っている十進法で進めます。
では、十進法の12354をコンピュータが扱える二進法にすればよさそうです。
実際に書くと、12354 → 11000001000010となります。「これをそのまま保存すればいいじゃないか」と思いますが、問題があります。
🔴どこからどこまでが一文字なのか
「あ」一文字だけなら困りません。しかし文章には、たくさんの文字が並びます。それぞれの番号を二進法にして、11000001000010……と延々と並べていったら、どこからどこまでが一文字なのか判断がつかなくなります。
それなら、「文字と文字の間にスペースを入れればいいのでは?」と思うかもしれません。あるいは、「カンマで区切る」方法でもよさそうです。
ところが、スペースもカンマもコンピュータの中ではデータですので、それらも0と1で表さなければなりません。
区切りを入れる方式を作ることはできますが、今度は「どれが区切りなのか」を判断する別の約束が必要になります。
では、区切り記号を使わずに、どこからどこまでが一文字なのか分かるようにできないでしょうか。
一番分かりやすいのは、一文字の長さを最初から同じにしてしまうことです。
🔴全部32ビットに揃えればいいのでは?
一文字の長さを最初から同じにしてしまえば、話は簡単です。たとえば、「一文字は必ず32ビット」と決めます。
1ビットとは、0か1が一つ。 0と1が8個並べば8ビットで、これを1バイトと呼びます。たとえば「01000001」は0と1が8個なので、8ビット=1バイトです。 32個並ぶと、32ビット=4バイトになります。
一文字を必ず32ビットにすれば、
32ビット|32ビット|32ビット|32ビット……
と機械的に切っていけば読めます。
実際、UnicodeにはUTF-32という、この発想どおりの方式があります。固定長なので単純ですが、大きな欠点もあります。
英字の「A」のような文字にも毎回4バイト使います。少ない情報で表せる文字にも、同じ大きさの場所を用意することになってしまいます。
具体的に、英字の「A」をみてみます。 「A」に割り当てられた番号は、十進法で65です。 二進法で表すと、1000001です。 8ビットに揃えても、01000001。これだけで表せます。
ところが、一文字を必ず32ビットにすると決めたら、00000000 00000000 00000000 01000001
としなければなりません。
「A」を表すために必要な部分は最後の8ビットだけなのに、32ビット分の場所を使うことになります。
これでは、英字の多い文章ではデータ量が大きくなってしまいます。無駄に容量を使うため、かなりもったいない方法です。
そこで、少ない情報で済む文字は短く、大きな番号の文字は長くするという方法が考えられます。
UTF-8は、文字によって、一文字を1〜4バイトで表す方式です。
🔴長さを変えたら区切れなくならないか?
ここで元の問題に戻ります。 一文字の長さがバラバラなら、どこまでが一文字なのかが分からなくなりそうです。
そこで、UTF-8は、0と1の並びそのものに、「ここから何バイトで一文字ですよ」という情報を入れています。
UTF-8には、次のような型があります。
0xxxxxxx
→ 1バイト
110xxxxx 10xxxxxx
→ 2バイト
1110xxxx 10xxxxxx 10xxxxxx
→ 3バイト
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
→ 4バイト
xの部分に、文字の番号を表す情報を入れます。
ここには、面白い規則があります。2バイトなら「11」、3バイトなら「111」、4バイトなら「1111」と、先頭から並ぶ1の数を見ると、何バイトで一文字なのか分かるようになっています。
たとえば最初が、1110なら、「ここから3バイトで一文字」という意味です。
そして、その後に続くバイトは、10から始まります。
つまり、1110…… → 3バイト文字の始まり
10…… → その続き
10…… → その続きとなります。
カンマやスペースを挟まなくても、データ自身が文字の区切りを教えてくれるのです。

🔴「あ」で実際にやってみる
「あ」に対応するUnicodeの番号を十進法で書けば、12354でした。
一段ずつ見ていきます。
① 「あ」の番号を二進法にする
12354を二進法で書くと、11000001000010です。
0と1が14個あります。
② 16個の場所に合わせる
「あ」に使うUTF-8の型は、
1110xxxx 10xxxxxx 10xxxxxx です。
文字の番号を入れるxの場所は、4+6+6=16個あります。
「あ」の番号を二進法にすると14ビットなので、この16個の場所に入れられるよう、左側に0を二つ足します。これで16個になります。
0011000001000010
左側に0を付けても数の値は変わりません。 十進法でも、123=00123なのと同じです。
③ 4・6・6に分ける
UTF-8のxの場所に合わせて、
0011|000001|000010 と分けます。
④ UTF-8の目印を付ける
3バイト文字の型、
1110xxxx|10xxxxxx|10xxxxxx に入れます。
すると、
1110 0011|10 000001|10 000010 となります。
⑤ 完成
空白を詰めると、
11100011|10000001|10000010 です。
これがUTF-8で「あ」を表したときの3バイトです。
本質は、文字の情報に、どこからどこまでが一文字なのか分かる目印を付けているということです。
🔴「A」ならどうなる?
今度は英字の「A」を見てみましょう。
Unicodeで「A」に対応する番号を十進法で書けば65です。二進法では、01000001 です。
ちょうど8ビット、つまり1バイトです。UTF-8でも「A」は、01000001 のままです。
UTF-8が登場する以前から、英字や数字、基本的な記号を表すためにASCII(アスキー)という文字コードが広く使われていました。
ASCIIは American Standard Code for Information Interchange の略で、1960年代に標準化された文字コードです。ちなみに日本のIT出版社として知られたアスキーという社名も、この文字コードASCIIに由来します。
UTF-8は、このASCIIの範囲については、同じ0と1の並びをそのまま使えるように設計されています。
つまり、A → 01000001 1バイト
一方、
あ → 11100011|10000001|10000010 3バイト
英数字は短く、日本語などには必要に応じて多くのバイトを使う。 しかも昔から使われてきたASCIIとも相性がよい。UTF-8が広く使われるようになった大きな理由の一つです。
ちなみに、😊のような絵文字はUnicodeの番号がさらに大きくなり、UTF-8では4バイトになります。
だからUTF-8には、1〜4バイトの型が用意されているのです。
🔴UTF-8、UTF-16、UTF-32は何が違う?
ここで、少し身近な例で考えてみます。次の三つを見てください。
1,000,000円
1,000千円
100万円
書き方は違います。
しかし、どれも表している金額は百万円です。
UTF-8、UTF-16、UTF-32の関係も、少し似ています。
「あ」は、どの方式を使っても「あ」です。変わるのは、その「あ」を、どんな0と1の並びで表すかです。同じ意味を、違う形式で表しているわけです。
もちろん、百万円の例は人間が数字を書く方法の違い、UTF-8などはコンピュータが文字をデータとして表す方法の違いなので、同じではありません。
それでも、「表しているものは同じ。表し方が違う」と考えると、かなり近いでしょう。
🔴なぜ一種類にしなかったのか
ここまでUTF-8、UTF-16、UTF-32という三つの方式を見てきました。
同じUnicodeの文字を表すのなら、一種類に統一してしまえばよさそうにも思えます。
しかし、表し方が違えば、それぞれ得意なことも変わります。
UTF-32は基本的に4バイト単位なので、文字の区切りが分かりやすく、仕組みも単純です。ただし、どんな文字にも4バイトを使うため、データ量は増えやすくなります。
UTF-8は、文字によって1〜4バイトを使い分けます。英数字なら1バイトで済み、必要な文字だけ2バイト、3バイト、4バイトと長くしていくので、無駄を減らせます。しかも、先ほど見たようにASCIIとの互換性が高いという大きな利点もあります。
ただし、UTF-8がいつでも最もデータ量を小さくできるわけではありません。日本語では3バイトになる文字が多く、「あ」もUTF-8では3バイトですが、UTF-16なら2バイトです。
つまり、どの方式にも得意なところと不得意なところがあります。
ちなみに、いま読んでいるこの記事の文章だけでも、UTF-8で表せばおよそ15万ビットになります。つまり、この文章の裏側には、ざっくり15万個もの0と1が並んでいることになります。
では、なぜ特徴の違う三つの方式が使われるようになったのでしょうか。
実は、UTF-8、UTF-16、UTF-32は、最初から三つを並べて「どれが一番いいか」と考えて作られたわけではありません。
ここには、Unicodeが発展してきた歴史が関係しています。
Unicodeが作られ始めたころは、16ビット、つまり65,536通りあれば、世界で使われる主要な文字をかなり収められると考えられていました。そこで、16ビットを基本単位として文字を扱う考え方が広まりました。
ところが、Unicodeに収録する文字が増えていくと、65,536通りでは足りなくなります。
そこで、16ビット一つで表せない文字については、16ビットを二つ組み合わせて表せるようにしました。
そのためUTF-16は、名前から「全部16ビット=2バイト」と思いそうですが、必ず2バイトとは限りません。
一般的なひらがなやカタカナ、常用漢字は、UTF-16なら2バイトで表せます。一方、Unicodeの番号がさらに大きい一部の漢字や多くの絵文字などでは4バイトを使います。
こうして見ると、UTF-8、UTF-16、UTF-32が三つ存在しているのは、単に似たような方式を三つ作ったからではありません。
文字をコンピュータで扱う方法が発展してきた歴史の中で、それぞれ異なる特徴を持つ方式が生まれ、現在まで使われているのです。
🔴もし途中でデータが壊れたら?
UTF-8には、もう一つ面白い特徴があります。
たとえば一文字32ビットと固定して、
32ビット|32ビット|32ビット|32ビット……
と並べていたとします。
もし何らかの原因で途中のバイトが抜け落ちたり、データの途中から読み始めたりすれば、単純に32ビットずつ区切るだけでは、どこが文字の先頭なのか分からなくなることがあります。
実際のコンピュータではデータの誤りを検出する別の仕組みも使われていますが、文字コードそのものの性質として考えると、UTF-8には便利な特徴があります。
UTF-8では、文字の先頭には先頭だと分かる形があり、続きのバイトは10から始まるという決まりがあります。
そのため、途中からデータを読んでも、「これは文字の途中だ」「ここから次の文字が始まる」と判断しやすくなっています。これを自己同期性といいます。
UTF-8なら壊れた文字を元通りに復元できる、という意味ではありません。壊れた部分は読めなくなることがありますが、それでも「次の文字はここから始まる」という場所を見つけ直しやすい。
UTF-8の少し変わった0と1の並びには、こんな意味もあります。
🔴Unicodeより前の方式も残っている
日本ではUTF-8が広く使われる前から、Shift_JIS(シフトジス)やEUC-JPなどが使われていました。Unicodeが最初から存在していたわけではないからです。昔は、それぞれの国や環境で文字を扱うための方式が発達しました。
ここで一つ整理しておきます。Shift_JISやEUC-JPに、UTF-8やUTF-16があるわけではありません。UTF-8、UTF-16、UTF-32は、Unicodeの文字をコンピュータで扱うための方式です。Shift_JISとEUC-JPは、それとは別に作られた文字コードです。

その後、「世界中の文字を共通の仕組みで扱おう」というUnicodeが普及していきます。しかし、その時点ですでに大量の文書やソフトが、それまでの方式で作られていました。全部を簡単に置き換えることはできません。そのため、現在でも複数の方式が存在しています。
UTF-8は日本語専用の方式ではありません。世界中の文字を扱いながら、昔から使われてきた英数字とも相性よくデータをやり取りできる方式です。
🔴文字化けはなぜ起こる?
たとえばUTF-8で保存された「あ」は、
11100011 10000001 10000010 です。
ところが、それを読む側が、「これは別の文字コードで書かれている」と思って読んだらどうなるでしょう。
たとえば、UTF-8で保存されたデータを、読む側がShift_JISやUTF-16など別の文字コードだと思って読み込めば、同じ0と1でも解釈の仕方が変わります。
0と1自体は同じですが、その0と1に意味を与える約束が違うため、その結果、保存した人が意図した文字とは違う文字が表示されることがあります。これが文字化けの代表的な原因です。
つまり、同じ0と1でも、違う約束で読めば違うものに見える。文字コードを理解すると、文字化けが単なる「パソコンの謎の不具合」ではなくなってきます。
🔴Excelで「UTF-8」を選ぶ意味
これで、ExcelなどでUTF-8を指定する意味も見えてきます。
UTF-8で作られたCSVファイルなら、「このデータをUTF-8のルールで文字として読んでください」とExcelに伝えているわけです。
逆に、UTF-8のデータを別の文字コードだと思って読めば、文字化けすることがあります。
実際にはExcel側が文字コードを自動判定する場合もあり、ファイルの作り方や開き方によって、正しく表示されることもあれば、文字化けすることもあります。
だから文字化けしたときに、「文字コードを確認してください」と言われるのです。
Unicodeは、「どの番号が、どの文字なのか」を決める共通の基準。
UTF-8、UTF-16、UTF-32は、そのUnicodeの文字を、どんな0と1の並びで表すかを決める方法です。
🔴ただし、本物のコンピュータはもう少し複雑
ここまで、「あ」は、
→ Unicodeでは十進法で12354
→ 二進法で考える→ UTF-8の形にする、という順番で説明してきました。
これはUTF-8の仕組みを理解するための説明です。
実際のスマホやパソコンが、「まず十進法の12354を作り、それを二進法に変換して……」と順番に処理しているわけではありません。
12354は、Unicode上の「あ」の番号を、私たちに馴染みのある十進法で書いたものにすぎません。
さらに、アプリが動いている最中の文字の表し方も一種類ではありません。
つまり「あ」は、コンピュータの中で最初から最後まで同じ0と1の姿をしているとは限りません。
では、スマホで「あ」と入力した瞬間には何が起きているのか。保存するときには何が変わるのか。最後には、どうやって画面に「あ」という形が現れるのか。
ここから先は、一文字の「あ」の旅を追ったほうが分かりやすくなります。
続きは後編で「あ」はスマホの中をどう旅するのかを見ていきます。