メインコンテンツへスキップ
見出し画像

PowerShellで Windowsテキストファイルの 文字コードShift-JIS→UTF-8/BOM無し、改行コードCR+LF→LF 変換

    Gitリポジトリ化(Git運用)で、意外に時間を取られたのが、Windowsテキストファイルの文字コードと改行コードの問題でした。

    Windows日本語環境で、テキストファイル(.txt .md .csv .html .php 等)は、

    • 文字コード:Shift-JIS

    • 改行コード:CR+LF

    が使われていることが多く、さらに文字コード UTF-8 にも、

    • 改行コード:UTF-8(BOMあり)

    • 改行コード:UTF-8(BOM無し)

    の2種類があります。

    これらは、Windowsパソコンや、Webサイトで使用している分には(エディタやブラウザ等が自動で対応しているので)意識しなくて良いのですが、Gitリポジトリは、

    • 文字コード:UTF-8(BOM無し)

    • 改行コード:LF

    を標準としていますので、Shift-JIS の文字列は文字化けして表示されてしまます。

    また、CR+LF は、GitOperatingRules.md で「Git管理上の改行をLFに統一」するよう設定しましたので、

    warning: in the working copy of '*****.md', CRLF will be replaced by LF the next time Git touches it

     (改行コードをLFに正規化して保存します)といったメッセージが表示されてしまいます。

    さらに、BOM(Byte Order Mark)があると、Gitリポジトリには ゴミ として保存されるようです。

    【註】
    UTF-8 の BOM(Byte Order Mark)は、Unicodeのテキストファイルの先頭に付く「このファイルはUTF-8です」という3バイト(0xEF 0xBB 0xBF)の目印データのことです。

    【補足】
    Mac は、文字コード:UTF-8(BOM無し)、改行コード:LF、ですので、この問題が起こることはありません。

    Codexワークスペース内の全テキストファイルを「UTF-8 BOM無し」&「LF」に変換

    文字コード「Shift-JIS」や、改行コード「CR+LF」のままでは、あとあと問題になりそうですので、Codexワークスペース/プロジェクト・ルート(C:\Knowledge)内の全てのテキストファイルを、下記の手順で、「UTF-8 BOM無し」&「LF」に変換しました。

    1. PowerShell 7 インストール

    Wondows11標準の Windows PowerShell 5.1 は、「utf8NoBOM」変換(UTF-8 BOM無しへの変換処理)ができないようですので、 PowerShell 7 をインストールしました。
    以降は、PowerShell 7 の操作です。

    【補足】
    おそらく、Codexでも同様の処理できると思われますが、今回は PowerShell 7 で行いました。

    2. 現在の文字コードを調査

    PowerShell 7 利用して、変換対象候補を調べ

    .gitattributes 1
    .gitignore 1
    .json 4
    .md 140

    CP937(Windows日本語 Shift-JIS)、UTF-8(BOMあり)、UTF-8(BOM無し)のファイル数を調べ、

    CP932, .md 78
    UTF-8 BOM, .gitattributes 1
    UTF-8 BOM, .gitignore 1
    UTF-8 BOM, .md 1
    UTF-8, .json 4
    UTF-8, .md 61

    各ファイル名一覧を出力し、確認しました。

    3. 変換

    どのファイルをどのように変換するかが明確になりましたので、

    CP932      → CP932として読み込み
    UTF-8      → UTF-8として読み込み
    UTF-8 BOM  → BOMを除いてUTF-8として読み込み

    したうえで、すべて

    UTF-8
    BOMなし
    LF

    として出力しました。
    これで、対象ファイルが変換されたことになります。

    4. 検証

    改めて全ファイルの文字コードと改行コードをチェックして、「UTF-8 BOM無し」&「LF」であることを確認し、
    さらに、
    ファイルの内容が壊れていないかを、Git差分と新旧ファイル内の文字列を比較して確認しました。

    新規テキストファイルは自動で「UTF-8 BOM無し」&「LF」に

    テキストエディタで、Codexワークスペース(C:\Knowledge)内に新たにファイルを作成する際、自動的に「UTF-8 BOM無し」&「LF」にするため、

    .editorconfig(エンコードの種類を記述するファイル:下記) を C:\Knowledge 直下に置き

    root = true
    
    [*]
    charset = utf-8
    end_of_line = lf

    テキストエディタで、.editorconfig を検出し、その内容に従うよう設定しました。

    他のフォルダからコピー(or移動)するテキストファイルについて

    これで現在、Codexワークスペース(C:\Knowledge)内にある全てのテキストファイルは「UTF-8 BOM無し」&「LF」になり、新たに作成するテキストファイルも自動で「UTF-8 BOM無し」&「LF」になりますが、Codexワークスペース外から、コピーor移動してきたテキストファイルは、「UTF-8 BOM無し」&「LF」とは限りません。

    これについては、将来的には、Codexにやってもらう予定で、実現できたら、このnoteでお伝えします。


    ここまで読んでくださり、ありがとうございました。(⁎˃ᴗ˂⁎)

    「スキ」やシェアは執筆の励みになります。
    このnoteが、ほんの少しでも気に入った方や、参考になると思われた方は、ページ上下の♡マークのクリック(タップ)や、SNSでの感想シェアをしていただけると嬉しいです。

    また、次の記事も読んでみたいと思われた方は、気軽に「フォロー」していただけるとありがたいです。
    note公式から新作情報メールが届き、見逃しを防げますので、ぜひ。(⁎ᴗˬᴗ⁎)

     
     
    AIエージェントとナレッジを、自分の分身・第二の脳、アシスタント・秘書・パートナーに育てていく(調査・検討・試行錯誤・実装・実践していく)過程を、赤裸々に公開。Let's Leapfrog!プロフィールアイコンは、パーマン(藤子・F・不二雄 作)のコピーロボットのオマージュです。

    あなたへのおすすめ