メインコンテンツへスキップ
見出し画像
Photo byfair_llama3800

Jevの呼び出し前後を泥臭く作り込んだら、AI判定の「当てにならなさ」が綺麗に消えた話

    社内レビュー用に試作したスクリプトのログを見つめながら、小さくため息をついていました。判断特化モデルのJevを使ってコードの二値判定を試みていたのですが、たまにすり抜ける誤判定の原因がモデル側ではなく、自分の「呼び出し前の渡し方」にあったからです。そんな折、Jevの実装リポジトリを100件以上分析した知見を読み、求めていたパズルの最後のピースが綺麗にハマりました。

    先日、文章を書かせずに判断だけを返してもらうAIの使い方について触れました。手元のコードレビュー補助スクリプトに組み込み、同僚からも「こういうシンプルなので十分だね」と声をかけられて手応えを感じていたところです。しかし実務で運用しようとすると、すぐに別の壁にぶつかりました。「どの程度の確信度なら人間の目視をスキップしていいのか」という安全マージンの線引きが定まらず、結局すべての判定結果を自分の目で二重チェックしていたのです。これでは自動化の意味が半分薄れてしまいます。

    そんなときに読んだのが、Jevを活用している100以上のリポジトリを徹底調査した記事でした。そこで語られていた核心は、モデルのチューニングでもプロンプトの工夫でもなく、真に真似すべきは呼び出しの前後の処理だという点です。

    これを読んで、自分がAIに甘えていた部分がはっきりと見えました。

    それまでの私のスクリプトは、Gitの差分全体をそのままコンテキストに放り込み、Jevに「セキュリティ上の懸念があるか(true/false)」と尋ねていました。これでは差分が数百行に及んだ際、モデルの注意が散漫になり、肝心なリスクを見落とす確率が上がってしまいます。

    そこで、記事の知見を参考に、モデルを呼ぶ「前」と「後」に泥臭いルールベースの処理を挟み込みました。

    具体的には、呼び出しの前処理として、まずGoのAST(抽象構文木)解析やシンプルな正規表現を走らせます。外部通信や生SQLの発行、権限チェックのバイパスといった「そもそも警戒すべき変更箇所」とその前後数行だけを機械的に切り出し、極小の断片だけをJevに渡すように変えました。入力のノイズを人間の手で極限まで削ぎ落としたわけです。

    さらに呼び出しの後処理でも、AIの出力をそのまま信じるのをやめました。AIが「false(危険なし)」と返してきたとしても、変更行数が50行を超えている場合や、認証周りのコアパッケージに触れている場合は、強制的に「human_review_required」というステータスに倒すガードレールを設けたのです。

    この入力の極小化と出力のフォールバックを挟んだ瞬間、ツールの挙動が劇的に安定しました。AIが迷いそうな曖昧な文脈は手前のプログラムで切り捨て、万が一のすり抜けは後ろの安全装置で拾う。AIに丸ごと判断を委ねるのではなく、前後の文脈を人間側の泥臭いロジックで挟み込むことで、ようやく手元のスクリプトが「信頼できる相棒」になった感覚があります。

    AIの精度を上げようとすると、私たちはつい巨大な最新モデルを選び直したり、プロンプトの文言を何時間もこねくり回したりしがちです。けれど、システム全体の信頼性を底上げしてくれるのは、いつの時代もエンジニアが書く泥臭い前処理とエラーハンドリングなのだと改めて実感しました。手元で小さく動く道具の手触りが、また少し心地よくなっています。

    みなさんはAIを開発フローに組み込むとき、モデルの賢さに頼る以外で「ここだけは手動のコードで死守している」という前後のガードレールはありますか?

    参考

    #ぎんじのテック日記
    #エンジニア
    #AI
    #個人開発
    #テクノロジー
    #プログラミング
    #LLM

     
     
    システムエンジニア(30代)。仕事ではAIを駆使して効率を極めつつ、プライベートはスプラトゥーンやゴルフに全力投球。最新のテクノロジーが私たちの日常をどう変えるのか?——「世の中のバグ」を直すような視点で、毎日の気になるニュースに独自のツッコミを入れつつゆるくまとめています。

    あなたへのおすすめ