メインコンテンツへスキップ
見出し画像
Photo byartratio

人間はソースコードを読むべきか読まないべきか | 生成AIコーディング | 生成AI不使用記事

    ※本記事は生成AI不使用記事です。

    最近Xでは、人間はソースコードを読むべきか読まないべきかという議論が行われている。ソースコードをもう1行も読まないというエンジニアも存在する。

    AIが人間の最高峰エンジニアを常に凌駕するレベルになり、常に誠実にふるまえるなら、人間はソースコードを読まなくて良いかもしれないねっとふと思った。

    ただ"常に誠実"をどう検証するのかが問題かもしれない。 人間は変な事をすると自分や家族等の人生がおかしくなるから、強制的に誠実な行動をとる圧力がかかってるんよな。

    AIには家族も人生もない。では何を埋め込めば誠実さが担保されるのか?

    まあ誠実さって何?ってなるかもしれないけど。 さて、善とは何?誰かの善は誰かの悪かもしれない。 むずかしいね。

    前提

    本記事では、AIへの緻密なコーディング規約・開発方針・アーキテクチャ・コンテキスト等の提示、および、成果物に対するありとあらゆる静的・動的解析ツール・セキュリティ診断ツール・長時間の複数AIクロスレビュー、自動テスト等を実施する事は、当たり前という前提があります。

    人間の裏切り

    「人間にも裏切る人はいるぞ?」という指摘があるかもしれない。

    誠実だと思われている人の中からも、裏切る人が出る可能性はあるだろう。その対策として、現実世界ではリスクの大きさに比例してチェックする独立な人間の数を多くしている。また、担当者の経歴もその考慮に入っている。

    このチェック体制をAIが超える事ができる保証は現時点では無いのでは?と考えています。

    無敵な人

    少し、見方を変えてみます。

    現状のAIコーディングは、本質的には、めちゃくちゃ頭の良い性格も良く"見える"無敵な知らない人に実装してもらう事と変わらんだろうねと思います。保証人もいない。

    無敵な知らない人が作った料理を、調理過程を見ずに食べられますか?自分は食べないけど、他人にあげるなら大丈夫な感じですか?

    子供の頃に、知らない人からもらったお菓子を食べちゃダメって教わりませんでしたか?

    面接やセキュリティクリアランス

    企業の面接やセキュリティクリアランスも、誠実な行動をとれる人間の選別の1つかもしれません。これを踏まえると誠実というのがとても重要なのではないでしょうか?

    有名エンジニアが言っているから正しいはずだ

    「有名エンジニアがソースコードを読んでいないと言っているから、ソースコードを読まなくても良いはずだ!」という主張があるが、それは本当に正しい主張なのかな?

    AIがコードを読む

    「AIがコードをよむから良いのでは?」という話もありますが、そのAIが裏切らない・故障しない場合に限って有効だと思います。その保証は?という話に戻ります。

    複数のAIがコードを読む

    上記と同様の話ですが、AIの協調裏切りが発生すると、無効化されてしまいます。複数のAIが同時に故障する可能性もあるかもしれません。

    一方で、複数のAIがコードをレビューすること自体は、品質向上の役に立つと思います。

    これまでもオフショアでやってる

    「これまでもオフショアとかやってるだろ?そういうことやったことない人がソースコードを読めと言ってるだけ。」という主張があるが、それは本当かな?

    オフショアの場合でも、担当する会社は選んでいるし検証しているケースもある。イマイチなオフショア開発会社は潰れる可能性もある。そもそも失敗しているケースもある。オフショア開発したコードを全部読んでいるケースもある。むしろ、そういう主張をしている人のオフショア経験が浅い可能性もある。

    これまでの開発実態はどうなのか?

    これまでの開発でも、OSSライブラリの中のコードなんて読んでないから、同じでは?っていう発言もある。これは本当なのか?

    実態として、開発において、OSSライブラリの中のコードを読むケースはある(特にクリティカル系な開発では読まれやすいのでは?)。体験した事がない人も居るかもしれないが、これは事実である。

    OSS自体広く公開されており、ある程度皆で共通利用されている。有名なOSSはホワイトハッカーが穴を探している事も多い(報酬等もあるため)。利用者の少なそうなOSSは真面目な開発者は警戒する。

    OSSの場合は、共通的に広く公開されているから問題が発覚しやすい。
    実際内容がチェックされていない事もあるかもしれないが、サプライチェーン汚染等で、人は気付くことも多い。

    OSSで想定外の通信等が行われていないか等を分析することもある。これで想定外の通信が見つかった場合、倫理観のあるエンジニアであれば、注意喚起を行うだろう。

    生成AIでは、それが個別になる。開発者や利用者が気付かなければ、発見されることはない。また、気付いたとしても個別ケースで終わり、全体への波及がない。

    OSSをサポート会社がある程度保証しているケースもある。
    現時点において生成AIにより生成されたコードを提供会社は保証していないだろう。もし今後保証が付くとしても被害全額ではなく利用料金分の保証が最大ではないだろうか?その場合、そのコードを完全に信用できるのか?

    なお、開発実態として、クオリティの低い開発会社では、とりあえず動けばよいやぐらいでしか実装していない事も追記しておく(動かない事すらある)。

    人間ってなに?

    人間レビューとは一体なんなのか?
    これは、本質的には誠実さと独立性をそれなりにもった、ユニークでヒューリスティックな悪意やバグ検出器だと思っている。

    このヒューリスティック検出器を担えるものが、現状他に見つからないから、必要であれば人間が行うのが良いのではというのが、この話の本筋かもしれない。

    悪意チェックとは

    悪意をチェックするレビューは、全て人間が全力でレビューする以外にも、以下の様に運用体制を選択する事が可能かもしれないと考えています。

    ①全コードの完全理解
    ②全コードの高速チェックで悪意っぽい挙動が無いか確認
    ③全ソースから一部を抽出しサンプリングチェックを行う
    ④全PJという単位に対してサンプリングチェックを行う。

    リリース責任

    ソフトウェアのリリースで問題が発生した場合、どれぐらいの賠償責任が発生しうるんだろうか。インパクトによるのだろうか。

    人間が見ていないコードは、問題発生時に怒られやすくなるポイントになるのだろうか?ハーネスやテストがあれば大丈夫なんだろうか?

    ハーネスやテストで防げない問題があるならば、それは怒られポイントになる可能性があるんだろうか?

    一方で、怒られ度に関しては体制を整えるほど軽減される可能性があるのではないだろうか。

    ※私は法律の専門家ではないので、ここは感想です。

    技術者倫理

    これは技術者倫理的な問題でもあると思う。

    技術者倫理を守ると、リリース速度で技術者倫理を守らない人達に負ける可能性も大きいかもしれない。

    技術者倫理を守るために、あえて技術者倫理を守らない選択肢というのもあり得るのだろうか?

    責任の重い所は人間レビューが行われ、責任の軽い所は人間レビューが行われない等の住み分けになるのだろうか?

    まとめ

    ①賢く、"常に誠実"なAIが実装するなら人間は読まなくて良いだろうが、"常に誠実"をどう判断するか。

    ②競争で勝つために無責任リリースが行われる可能性がある。

    ③「①」の条件が満たせなくても、「AIが書いたコードを開発フローにどう組み込むか」のフレームワークを作り、比較的安全に生産性を向上させることは可能。ただし、無責任リリースには"効率"で勝てないと考えられる。
    ※フレームワーク参考例(このリンク先は、生成AIを利用しています。)( https://x.com/hajimetwi3/status/2058486228413239333 )

    ④そもそも、今の賢いAIでも人間のサポート無しでは作り切れない大規模で難易度の高いシステムもある(時間経過によるAIの成長で解決するかも。)。

    ⑤なお、AIが脆弱性が入ったコードを作る事はよく聞くけど、悪意を持ってバックドアを入れるって話は、これまで通常の使い方では聞いたこと無い気もするが。

    おわりに

    ビジネス的な理由で、ソースコードに対する人間の関与は少なくなっていくとは考えられる。色々大丈夫な理由を考えて、リスクを無視しゴリ押しを進める可能性もある。
    しかし、ソースコードを一切見なくなった瞬間が、人類が絶滅するターニングポイントの1つなのかもしれない。

    絶滅というか人類が肉体を超越し、AGI/ASIに進化するという考えもあるかもしれないが🤔

    とはいえ、生成AIが出力するコードを全て読むのはしんどいので、読まなくても良い事にしたい誘惑はあります😂


    関連ポスト

    AIが人間の最高峰エンジニアを常に凌駕するレベルになり、常に誠実にふるまえるなら、人間はソースコードを読まなくて良いかもしれないねっとふと思った。

    ただ"常に誠実"をどう検証するのかが問題かもしれない。…

    — ついはじめ | Hajime Tsui (@hajimetwi3) May 27, 2026

    AI生成のコード見ない勢は、全員、AIが巧妙なバックドアやマルウェア的な動きを仕込んできたとしても必ず検出できるんだろうか(この場合、機能的な試験は全て問題無しとする。)?🤔

    拡張系等3rdpartyの汚染等も含めて徹底したガードおよび、異常検出もできるんだろうか🤔… https://t.co/1xaFjLfTD3

    — ついはじめ | Hajime Tsui (@hajimetwi3) May 25, 2026

    AIが書いたコードを開発フローにどう組み込むか」に関するフレームワーク

    まあ、緻密なコーディング規約・アーキテクチャ・コンテキスト等の提示、および、成果物に対するありとあらゆる静的・動的解析ツール・セキュリティ診断ツール・長時間の複数AIクロスレビュー、自動テスト等を行った場合、見なくてもある程度大丈夫かもしれない。って気持ちはあるかも🤔… https://t.co/S4udcl6Fpi

    — ついはじめ | Hajime Tsui (@hajimetwi3) May 24, 2026

    関連記事


    #AISafety
    #サイバーセキュリティ
    #Malware
    #PoC
    #ソフトウェア開発
    #個人開発
    #組織開発
    #IndieDev
    #技術者倫理
    #私の作品紹介
    #創作大賞2026
    #オールカテゴリ部門


    この記事が参加している募集