メインコンテンツへスキップ
見出し画像

WebエンジニアがJIS文字コードの規格とその経緯を理解する

    フォントに含まれる文字の確認をしているところで、JIS文字コードの仕組みについて知りたくなったので、まとめてみます。

    JIS X 0208 と JIS X 0213

    まずは、文字コードにまつわる規格として、まず最初に挙げられるJIS X 0208とJIS X 0213について挙げておきます。JIS X 0208は、1978年に制定された日本における「漢字コードの基本」の規格です。現在のほとんどの日本語環境の基礎となっています。

    JIS X 0208

    JIS X 0208は規格として、以下の文字が収録されています。

    • 第1水準漢字(2,965字):日常生活で頻繁に使われる漢字の一覧。

    • 第2水準漢字(3,390字):人名や専門用語などで使われる漢字の一覧。

    • その他:平仮名、片仮名、記号、英数字などが含まれます。

    JIS X 0213

    JIS X 0208だけでは現代の表記に不足が生じたため、2000年に策定された規格です。JIS X 0208のすべての文字を含み、そこに新しい文字を追加した「上位互換」の関係にあります。

    • 第3水準漢字:第2水準まででは表現できなかった、人名、地名、学術用語、古文書などで使われる漢字を追加。

    • 第4水準漢字:より希少な文字を含み、人名や地名の正確な表記、歴史的な文献のデジタル化に対応。

    これらの規格には、共通して、以下のような方式となっています。

    • 構成:「区点コード」という方式で、94区 × 94点 の合計8,836個の枠の中に文字を配置しています。

    区点コード

    この「区点コード」という独特の考え方があるのが気になりますね。実際に文字を表現する時に、区・点を使って番地のように文字を表現します。

    例えば、「水」は、「31区の69点」と呼ばれます。

    JIS漢字コードは、94行(区)× 94列(点)のマス目で構成される文字のグループ(表)で表現されます。

    画像

    この「区点コード」という考え方は、コンピュータが普及し始めた初期(1970年代)の制限に強く影響されています。莫大な数の漢字を効率よく管理するために、「94行×94列の表(マトリクス)」を作るのが最も計算効率が良い方法ということでした。また、印刷業界の「組版(活字を並べる作業)」の思想をそのまま用い、当時の活字棚が94×94の升目に分類されていたため、それをそのままデジタル化したという経緯となっています。

    また、これらの区点の表は、以下の「面」で管理されます。

    • 第1面:日常的によく使う「JIS第1水準・第2水準」の漢字や、ひらがな、カタカナ、記号などが収録された最も基本となる表です。

    • 第2面:より専門的な漢字「JIS第3水準・第4水準など」を追加するために、後から拡張された表を指します。

    この中で、第1面に相当するのがJIS X 0208となり、第1面・第2面に相当するのがJIS X 0213 となります。

    「面・区・点」のコード構造

    JIS X 0208を例に、コンピュータが内部でどう扱っているかを見てみます。
    「区・点」はそれぞれ94個の要素を持ち、01〜94で表現されます。

    • 区(Section):01〜94

    • 点(Position):01〜94

    通常、コンピュータ上で扱う際は、この座標に一定の数値を足して「バイト値」に変換します。

    バイト値=座標+0x20\text{バイト値} = \text{座標} + 0x20

    これを「区点コード」と呼びますが、そのままでは制御コード(半角アルファベットなど)と衝突してしまうため、「0x20(32)」を足して、ASCII文字の領域を避けて配置しています。

    • 1バイト目:区番号 + 0x20

    • 2バイト目:点番号 + 0x20

    これにより、漢字などの日本語文字は「0x21〜0x7E」の範囲を2つ並べたような形式(2バイト文字)として表現されます。

    Shift_JISとUTF-8について

    Shift_JISとは

    ここで、Shift_JISに触れたいと思います。Shift_JISは、かつて日本のコンピュータで最も広く使われていた「日本語文字符号化方式」の一つです。現在でも根強く使われており、昔のコードやhtmlを保守していて、Shift_JISに当たったことがある人は少なくないと思います。Shift_JISは、コンピュータにとっての「日本語の配送ルール」を指し、JIS X 0208の「区点コード」を、MS-DOSやWindowsなどに対して、PCのメモリ上で効率的に使うために、「シフト(ずらして)」変換したことからその名がつきました。
    JISコードでは「0x21」から「0x7E」の範囲を使っていたのに対して、Shift_JISはJISの区点コードの「区」と「点」の値を参照しながら、以下のような「別の数値」に変換し直しています。

    • ASCII文字(0x20〜0x7E)と被らないように領域を確保する。

    • 「区」と「点」の値をシフトして、漢字用の領域にギュッと詰め込む。

    上記について、区が奇数か偶数かでシフト処理を変えるなど、非常に複雑な形式になっているそうです。「ギュッと」が非常にむず痒いのですが、そこまでは追わないことにしました。

    画像
    Geminiに「感のいい子は嫌いだよ」された

    ちなみに、Shift_JISは、1バイト目のコードが「0x81〜0x9F」または「0xE0〜0xFC」であれば、「これは漢字(2バイト文字)の開始だ」と判断し、次のバイトと合わせて1文字として読み込み、それ以外は1バイト(半角)として扱います。この仕組みによって、2バイト目が、偶然「半角文字」のコードと重なってしまうことがあります。そのため、プログラムが「どこまでが1文字か」を見失い、そこから先がすべて文字化けする現象がよく起きます。
    また、NECやIBMなどのメーカーが独自に拡張した文字があり、異なる環境で開くと「●」や「?」に化ける問題が多発しました(いわゆる「文字化け」の典型例)。
    さらに決定的な理由として、JIS X 0208を前提に設計されており、空き領域が非常に少なかったため、そのままでは第3・第4水準を収容できませんでした。

    そんなShift_JISの限界、UTF-8への移行

    上記の通り、Shift_JISでは限界がありました。そのため、以下のような対策が行われました。

    • Shift_JIS-2004:第3・第4水準を扱えるようにShift_JISを拡張したもの。

    • UTF-8への移行:世界標準であるUnicode(UTF-8)を使うことで、水準の壁を無視して文字を扱えるようにした。

    Shift_JIS-2004はちょっと廃課金勢のような匂いがするので置いておきまして、ここで、やっとUTF-8が出てきます。
    UTF-8の特徴として、Shift_JISなどの古い方式と異なりUTF-8は「1文字を1バイト〜4バイトの可変長」で表現します。

    • 英数字(ASCII範囲):1バイトで表現(従来のASCIIコードと完全互換)

    • 多くの欧文文字:2バイトで表現

    • 日本語(漢字・ひらがななど):3バイトで表現

    • 絵文字や希少文字:4バイトで表現

    この「必要な分だけバイト数を使う」という柔軟性が、UTF-8が世界標準になった最大の理由です。

    UTF-8の賢さ

    UTF-8には、文字化けを劇的に減らすためのルールがあります。

    • 先頭バイトを見れば長さがわかる:0xxxxxxx なら「これは1バイト文字(半角英数)」、110xxxxx なら「これは2バイト文字の始まり」、1110xxxx なら「これは3バイト文字(日本語漢字)の始まり」、のように、先頭バイトで可変長の定義がされています。

    • 後続バイトは必ず 10xxxxxx で始まる:これにより、万が一途中でデータが切れても、「これは文字の途中である」と即座に判別できます。

    上記の厳格なルールのおかげで、もし一部のデータが壊れても、「そこから先の文章がすべて文字化けして崩壊する」というShift_JIS特有の現象がほとんど発生しなくなりました。Shift_JIS南無三。

    同じくして、JIS X 0213:2004

    2004年には、JIS X 0213の改訂版として、JIS X 0213:2004(JIS2004と言われることもありますが、ここでは明確にJIS X 0213:2004とします。また、ここから、従来のJIS X 0213はJIS X 0213:2000と表現します。ちなみに、JIS X 0208のことを、JIS2004と比較して、JIS90と呼ぶこともあるそうです)が誕生し、大きな影響を与えています。この規格は、従来の定義を「置き換える」というよりも、「現代の活字に近い、より正確な字形を定義する」というアップデートとしての性格が強いものです。

    JIS X 0208は長らくPC環境の標準でしたが、出版業界で使われる「正しい字形」との乖離が問題視されていました。JIS X 0213:2004は、この乖離を埋めるために、約168文字の字形を「より伝統的で正しいもの」へ修正しました。具体的には、

    画像
    • 「辻」のしんにょう:1点(JIS X 0208)から2点(JIS X 0213:2004)

    • 「葛」のつくり:一部が分かれた形(JIS X 0208)から、一本につながった形(JIS X 0213:2004)へ

    のような字形の変更が行われています。
    このような変更により、名前などの正確な自体を扱う業界では、旧システムで作った文書を新OSで開くと、勝手に文字の見た目が変わり、「入力ミスをしたのか?」「文字化けしたのか?」とユーザーがパニックになる現象が多発したそうです。

    font-feature-settingsでの切り替え

    これらの字形の違いについて、Noto Sans JPなどのモダンなフォントは、内部に複数の字形パターンを持っていて、CSSの指定により、「どちらの字形にするか」を制御できます。これは「異体字(IVS/OpenType Features)」と呼ばれる技術です。font-feature-settingsはそれ以外にも各言語のさまざまな字形を吸収するプロパティを持っています。

    /* JIS X 0208(JIS90)字形にする */
    .jis90 {
      font-feature-settings: "jp90";
    }
    
    /* JIS X 0213:2004(JIS2004)字形にする(これが現在の規定値に近い) */
    .jis2004 {
      font-feature-settings: "jp04";
    }
    画像
    font-feature-settingsの変更例

    フォントの「N」マーク

    ちなみに「ヒラギノPr6 N」、「リュウミン R-KL N」や「新ゴ R N」でみられるフォント名の「N」は、この2004版の変更に対応しているか、していないかが由来となっています。正確に字形を扱う現場では、これらのフォントを明確に切り分ける必要があります。

    まとめ

    ということで、JIS規格から少し話が逸れてUTF-8の話にShift_JISして(なって)しまいましたが、元々は組版の時代から、さらにMS-DOSなどの経緯も含めて現在の文字コードや、規格が成立しているんだなと改めて感じました。文字には敏感でありたいものです。

    あなたへのおすすめ