
Jevの呼び出し前後を泥臭く作り込んだら、AI判定の「当てにならなさ」が綺麗に消えた話
社内レビュー用に試作したスクリプトのログを見つめながら、小さくため息をついていました。判断特化モデルのJevを使ってコードの二値判定を試みていたのですが、たまにすり抜ける誤判定の原因がモデル側ではなく、自分の「呼び出し前の渡し方」にあったからです。そんな折、Jevの実装リポジトリを100件以上分析した知見を読み、求めていたパズルの最後のピースが綺麗にハマりました。
先日、文章を書かせずに判断だけを返してもらうAIの使い方について触れました。手元のコードレビュー補助スクリプトに組み込み、同僚からも「こういうシンプルなので十分だね」と声をかけられて手応えを感じていたところです。しかし実務で運用しようとすると、すぐに別の壁にぶつかりました。「どの程度の確信度なら人間の目視をスキップしていいのか」という安全マージンの線引きが定まらず、結局すべての判定結果を自分の目で二重チェックしていたのです。これでは自動化の意味が半分薄れてしまいます。
そんなときに読んだのが、Jevを活用している100以上のリポジトリを徹底調査した記事でした。そこで語られていた核心は、モデルのチューニングでもプロンプトの工夫でもなく、真に真似すべきは呼び出しの前後の処理だという点です。
これを読んで、自分がAIに甘えていた部分がはっきりと見えました。
それまでの私のスクリプトは、Gitの差分全体をそのままコンテキストに放り込み、Jevに「セキュリティ上の懸念があるか(true/false)」と尋ねていました。これでは差分が数百行に及んだ際、モデルの注意が散漫になり、肝心なリスクを見落とす確率が上がってしまいます。
そこで、記事の知見を参考に、モデルを呼ぶ「前」と「後」に泥臭いルールベースの処理を挟み込みました。
具体的には、呼び出しの前処理として、まずGoのAST(抽象構文木)解析やシンプルな正規表現を走らせます。外部通信や生SQLの発行、権限チェックのバイパスといった「そもそも警戒すべき変更箇所」とその前後数行だけを機械的に切り出し、極小の断片だけをJevに渡すように変えました。入力のノイズを人間の手で極限まで削ぎ落としたわけです。
さらに呼び出しの後処理でも、AIの出力をそのまま信じるのをやめました。AIが「false(危険なし)」と返してきたとしても、変更行数が50行を超えている場合や、認証周りのコアパッケージに触れている場合は、強制的に「human_review_required」というステータスに倒すガードレールを設けたのです。
この入力の極小化と出力のフォールバックを挟んだ瞬間、ツールの挙動が劇的に安定しました。AIが迷いそうな曖昧な文脈は手前のプログラムで切り捨て、万が一のすり抜けは後ろの安全装置で拾う。AIに丸ごと判断を委ねるのではなく、前後の文脈を人間側の泥臭いロジックで挟み込むことで、ようやく手元のスクリプトが「信頼できる相棒」になった感覚があります。
AIの精度を上げようとすると、私たちはつい巨大な最新モデルを選び直したり、プロンプトの文言を何時間もこねくり回したりしがちです。けれど、システム全体の信頼性を底上げしてくれるのは、いつの時代もエンジニアが書く泥臭い前処理とエラーハンドリングなのだと改めて実感しました。手元で小さく動く道具の手触りが、また少し心地よくなっています。
みなさんはAIを開発フローに組み込むとき、モデルの賢さに頼る以外で「ここだけは手動のコードで死守している」という前後のガードレールはありますか?
参考
JEV リポジトリを 100+ 件読んで分かったこと:真似すべきはモデル呼び出しの前後だった(Qiita)
https://qiita.com/beatapi/items/ada45ecb0dbdc721273c?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items