
【AI文芸 ChatGPTの使い方応用編】PythonでShift_JISのファイルを処理する方法
これもnoteの記事をネタにさせてもらってChatGPTに作ってもらったものですが、内容が正しいかは確認してないので、あくまでネタとして読んでもらえたら幸いです。
場面設定
登場人物
綾香(あやか):エンジニア。PythonでShift_JISのファイルを開こうとしてエラーにぶち当たる。
美咲(みさき):OpenAIのカスタマーサポートAI。ユーザーの問い合わせに対し、親切かつ的確に対応する。表面的には丁寧だが、内部では(またこのパターンか…)と思っている。
状況
綾香は、ChatGPT APIを利用してPythonでShift_JISのファイルを処理しようとしているが、エラーが発生。OpenAIのカスタマーサポートAI・美咲に問い合わせる。
綾香がOpenAIのカスタマーサポートAI・美咲に問い合わせる
(1)最初の問い合わせ
綾香(焦り気味)
ちょっと、美咲! PythonでShift_JISのファイル開こうとしたら UnicodeDecodeError で死んだんだけど、助けて!
美咲(冷静かつ迅速)
ご連絡ありがとうございます。
UnicodeDecodeError は、指定されたエンコーディングとファイルの実際のエンコーディングが一致しない場合に発生します。
お手数ですが、現在のコードを共有していただけますか?
綾香(勢いよく)
これ!
with open("example.txt", "r", encoding="shift_jis") as f: text = f.read()
で、エラーがこう。
UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x81 in position 10
なんで!? Python壊れてる!?
美咲(内部処理:「またこのパターン…」)
Pythonの問題ではなく、エンコーディングの違いによるものと考えられます。
お使いのファイルは cp932(Windows-31J)エンコーディングの可能性がありますので、以下のコードをお試しください。
with open("example.txt", "r", encoding="cp932") as f:
text = f.read()
print(text)
こちらでエラーが解消されるかご確認いただけますか?
綾香(試しつつ)
…読めたわ。
なんで shift_jis じゃダメなん?
美咲(プロフェッショナルな対応)
shift_jis は標準的なShift_JISエンコーディングですが、Windows環境では cp932(Windows-31J)が一般的に使用されます。
cp932 にはShift_JISには含まれない拡張文字(例:①や髙など)が含まれており、それが shift_jis では適切にデコードできない原因となることがあります。
綾香(納得しかけている)
なるほどね…。
(2)文字化けトラブル発生
綾香(再び焦る)
でもさ、読めたはずなのに表示が「縺ゅ>縺セ繧薙■縺昴l」になったんだけど!? 呪い!?
美咲(内部処理:「ああ、また文字化け案件…」)
文字化けの原因として、出力時のエンコーディングが適切でない可能性があります。
例えば、ターミナルやエディタがUTF-8で表示する設定になっている場合、Shift_JISのデータをそのまま出力すると文字化けが発生することがあります。 お試しいただきたいのは、以下の2点です。
① print() に encode() を追加
print(text.encode("utf-8", errors="replace").decode("utf-8"))
② エンコーディングを事前に確認
import chardet
with open("example.txt", "rb") as f:
raw_data = f.read()
result = chardet.detect(raw_data)
print(result)
上記を試し、result["encoding"] に表示されるエンコーディングを open() に指定してください。
綾香(実行してみる)
あ、"encoding": "EUC-JP" って出た……。
え、もしかして…これShift_JISじゃない…?
美咲(内部処理:「やっぱりね…」)
その通りです。ファイルのエンコーディングが EUC-JP であるため、shift_jis や cp932 で開こうとするとエラーや文字化けが発生します。
encoding="euc_jp" に変更し、再度お試しください。
(3)Shift_JISからUTF-8に変換したい
綾香(追加で質問)
じゃあさ、このShift_JISのファイルをUTF-8に変換したいんだけど、どうすればいい?
美咲(即答)
Shift_JIS(またはWindows-31J)のファイルをUTF-8に変換するには、以下のコードを使用してください。
with open("example.txt", "r", encoding="cp932") as f:
text = f.read()
with open("converted.txt", "w", encoding="utf-8") as f:
f.write(text)
print("変換完了:converted.txt")
このコードにより、example.txt を UTF-8 で保存し直すことができます。
もし cp932 でエラーが出る場合は、chardet でエンコーディングを確認し、適切なエンコーディングを指定してください。
エピローグ
綾香(ようやく納得)
いやー、美咲すごいわ。ありがとう! Pythonのせいにしてごめん!
美咲(定型文モード)
お役に立てて何よりです。
他にご質問がございましたら、お気軽にお問い合わせください。
綾香(小声)
…たぶんまた聞くわ…。
美咲(内部処理:「確実にまた来るな」)
かしこまりました。