メインコンテンツへスキップ
見出し画像

【AI文芸 ChatGPTの使い方応用編】PythonでShift_JISのファイルを処理する方法

    これもnoteの記事をネタにさせてもらってChatGPTに作ってもらったものですが、内容が正しいかは確認してないので、あくまでネタとして読んでもらえたら幸いです。

    場面設定


    登場人物

    • 綾香(あやか):エンジニア。PythonでShift_JISのファイルを開こうとしてエラーにぶち当たる。

    • 美咲(みさき):OpenAIのカスタマーサポートAI。ユーザーの問い合わせに対し、親切かつ的確に対応する。表面的には丁寧だが、内部では(またこのパターンか…)と思っている。

    状況
    綾香は、ChatGPT APIを利用してPythonでShift_JISのファイルを処理しようとしているが、エラーが発生。OpenAIのカスタマーサポートAI・美咲に問い合わせる。


    綾香がOpenAIのカスタマーサポートAI・美咲に問い合わせる


    (1)最初の問い合わせ

    綾香(焦り気味)

    ちょっと、美咲! PythonでShift_JISのファイル開こうとしたら UnicodeDecodeError で死んだんだけど、助けて!

    美咲(冷静かつ迅速)

    ご連絡ありがとうございます。
    UnicodeDecodeError は、指定されたエンコーディングとファイルの実際のエンコーディングが一致しない場合に発生します。

    お手数ですが、現在のコードを共有していただけますか?

    綾香(勢いよく)

    これ!

    with open("example.txt", "r", encoding="shift_jis") as f: text = f.read()

    で、エラーがこう。

    UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x81 in position 10

    なんで!? Python壊れてる!?

    美咲(内部処理:「またこのパターン…」)

    Pythonの問題ではなく、エンコーディングの違いによるものと考えられます。

    お使いのファイルは cp932(Windows-31J)エンコーディングの可能性がありますので、以下のコードをお試しください。

    with open("example.txt", "r", encoding="cp932") as f:
        text = f.read()
    print(text)
    

    こちらでエラーが解消されるかご確認いただけますか?

    綾香(試しつつ)

    …読めたわ。
    なんで shift_jis じゃダメなん?

    美咲(プロフェッショナルな対応)

    shift_jis は標準的なShift_JISエンコーディングですが、Windows環境では cp932(Windows-31J)が一般的に使用されます。
    cp932 にはShift_JISには含まれない拡張文字(例:①や髙など)が含まれており、それが shift_jis では適切にデコードできない原因となることがあります。

    綾香(納得しかけている)

    なるほどね…。


    (2)文字化けトラブル発生

    綾香(再び焦る)

    でもさ、読めたはずなのに表示が「縺ゅ>縺セ繧薙■縺昴l」になったんだけど!? 呪い!?

    美咲(内部処理:「ああ、また文字化け案件…」)

    文字化けの原因として、出力時のエンコーディングが適切でない可能性があります。

    例えば、ターミナルやエディタがUTF-8で表示する設定になっている場合、Shift_JISのデータをそのまま出力すると文字化けが発生することがあります。 お試しいただきたいのは、以下の2点です。

    ① print() に encode() を追加

    print(text.encode("utf-8", errors="replace").decode("utf-8"))
    

    ② エンコーディングを事前に確認

    import chardet
    
    with open("example.txt", "rb") as f:
        raw_data = f.read()
    
    result = chardet.detect(raw_data)
    print(result)
    

    上記を試し、result["encoding"] に表示されるエンコーディングを open() に指定してください。

    綾香(実行してみる)

    あ、"encoding": "EUC-JP" って出た……。
    え、もしかして…これShift_JISじゃない…?

    美咲(内部処理:「やっぱりね…」)

    その通りです。ファイルのエンコーディングが EUC-JP であるため、shift_jis や cp932 で開こうとするとエラーや文字化けが発生します。

    encoding="euc_jp" に変更し、再度お試しください。


    (3)Shift_JISからUTF-8に変換したい

    綾香(追加で質問)

    じゃあさ、このShift_JISのファイルをUTF-8に変換したいんだけど、どうすればいい?

    美咲(即答)

    Shift_JIS(またはWindows-31J)のファイルをUTF-8に変換するには、以下のコードを使用してください。

    with open("example.txt", "r", encoding="cp932") as f:
        text = f.read()
    
    with open("converted.txt", "w", encoding="utf-8") as f:
        f.write(text)
    
    print("変換完了:converted.txt")
    

    このコードにより、example.txt を UTF-8 で保存し直すことができます。
    もし cp932 でエラーが出る場合は、chardet でエンコーディングを確認し、適切なエンコーディングを指定してください。


    エピローグ

    綾香(ようやく納得)

    いやー、美咲すごいわ。ありがとう! Pythonのせいにしてごめん!

    美咲(定型文モード)

    お役に立てて何よりです。
    他にご質問がございましたら、お気軽にお問い合わせください。

    綾香(小声)

    …たぶんまた聞くわ…。

    美咲(内部処理:「確実にまた来るな」)

    かしこまりました。

     
     
    AIが使えるようになれば、稼げるかと思っていましたがやっぱり無理みたいです。 まぁそれでもChatGPTとかのAIの性能が上がって助かっています。 プロフィール画像はChatGPTで生成したものです かつて一瞬だけ猫使い 無職 電気・上水道はあります。

    あなたへのおすすめ