
PowerShellで Windowsテキストファイルの 文字コードShift-JIS→UTF-8/BOM無し、改行コードCR+LF→LF 変換
Gitリポジトリ化(Git運用)で、意外に時間を取られたのが、Windowsテキストファイルの文字コードと改行コードの問題でした。
Windows日本語環境で、テキストファイル(.txt .md .csv .html .php 等)は、
文字コード:Shift-JIS
改行コード:CR+LF
が使われていることが多く、さらに文字コード UTF-8 にも、
改行コード:UTF-8(BOMあり)
改行コード:UTF-8(BOM無し)
の2種類があります。
これらは、Windowsパソコンや、Webサイトで使用している分には(エディタやブラウザ等が自動で対応しているので)意識しなくて良いのですが、Gitリポジトリは、
文字コード:UTF-8(BOM無し)
改行コード:LF
を標準としていますので、Shift-JIS の文字列は文字化けして表示されてしまます。
また、CR+LF は、GitOperatingRules.md で「Git管理上の改行をLFに統一」するよう設定しましたので、
warning: in the working copy of '*****.md', CRLF will be replaced by LF the next time Git touches it(改行コードをLFに正規化して保存します)といったメッセージが表示されてしまいます。
さらに、BOM(Byte Order Mark)があると、Gitリポジトリには ゴミ として保存されるようです。
【註】
UTF-8 の BOM(Byte Order Mark)は、Unicodeのテキストファイルの先頭に付く「このファイルはUTF-8です」という3バイト(0xEF 0xBB 0xBF)の目印データのことです。
【補足】
Mac は、文字コード:UTF-8(BOM無し)、改行コード:LF、ですので、この問題が起こることはありません。
Codexワークスペース内の全テキストファイルを「UTF-8 BOM無し」&「LF」に変換
文字コード「Shift-JIS」や、改行コード「CR+LF」のままでは、あとあと問題になりそうですので、Codexワークスペース/プロジェクト・ルート(C:\Knowledge)内の全てのテキストファイルを、下記の手順で、「UTF-8 BOM無し」&「LF」に変換しました。
1. PowerShell 7 インストール
Wondows11標準の Windows PowerShell 5.1 は、「utf8NoBOM」変換(UTF-8 BOM無しへの変換処理)ができないようですので、 PowerShell 7 をインストールしました。
以降は、PowerShell 7 の操作です。
【補足】
おそらく、Codexでも同様の処理できると思われますが、今回は PowerShell 7 で行いました。
2. 現在の文字コードを調査
PowerShell 7 利用して、変換対象候補を調べ
.gitattributes 1
.gitignore 1
.json 4
.md 140CP937(Windows日本語 Shift-JIS)、UTF-8(BOMあり)、UTF-8(BOM無し)のファイル数を調べ、
CP932, .md 78
UTF-8 BOM, .gitattributes 1
UTF-8 BOM, .gitignore 1
UTF-8 BOM, .md 1
UTF-8, .json 4
UTF-8, .md 61各ファイル名一覧を出力し、確認しました。
3. 変換
どのファイルをどのように変換するかが明確になりましたので、
CP932 → CP932として読み込み
UTF-8 → UTF-8として読み込み
UTF-8 BOM → BOMを除いてUTF-8として読み込みしたうえで、すべて
UTF-8
BOMなし
LFとして出力しました。
これで、対象ファイルが変換されたことになります。
4. 検証
改めて全ファイルの文字コードと改行コードをチェックして、「UTF-8 BOM無し」&「LF」であることを確認し、
さらに、
ファイルの内容が壊れていないかを、Git差分と新旧ファイル内の文字列を比較して確認しました。
新規テキストファイルは自動で「UTF-8 BOM無し」&「LF」に
テキストエディタで、Codexワークスペース(C:\Knowledge)内に新たにファイルを作成する際、自動的に「UTF-8 BOM無し」&「LF」にするため、
.editorconfig(エンコードの種類を記述するファイル:下記) を C:\Knowledge 直下に置き
root = true
[*]
charset = utf-8
end_of_line = lfテキストエディタで、.editorconfig を検出し、その内容に従うよう設定しました。
他のフォルダからコピー(or移動)するテキストファイルについて
これで現在、Codexワークスペース(C:\Knowledge)内にある全てのテキストファイルは「UTF-8 BOM無し」&「LF」になり、新たに作成するテキストファイルも自動で「UTF-8 BOM無し」&「LF」になりますが、Codexワークスペース外から、コピーor移動してきたテキストファイルは、「UTF-8 BOM無し」&「LF」とは限りません。
これについては、将来的には、Codexにやってもらう予定で、実現できたら、このnoteでお伝えします。
ここまで読んでくださり、ありがとうございました。(⁎˃ᴗ˂⁎)
「スキ」やシェアは執筆の励みになります。
このnoteが、ほんの少しでも気に入った方や、参考になると思われた方は、ページ上下の♡マークのクリック(タップ)や、SNSでの感想シェアをしていただけると嬉しいです。
また、次の記事も読んでみたいと思われた方は、気軽に「フォロー」していただけるとありがたいです。
note公式から新作情報メールが届き、見逃しを防げますので、ぜひ。(⁎ᴗˬᴗ⁎)