確かにLLM Opsという視点も必要か

その昔にML Opsについて整理した。とはいえ、これは生成AI以前の、統計解析や機械学習を業務プロセスやITシステムに組み込んだ際の運用について。

AI工学特論: MLOps・継続的評価のp60以降で「LLM Ops」と言われてみて、確かに必要だな、と。LLM Opsという言葉は一般的ではないというか定まってない。けれど、それでも調べてみると、サーベイ論文が書けるくらいには、既にAIOps×LLM研究は数多くあるようで。

現状と課題をデータ・タスク・手法・評価の4つの観点で整理していて、設計書やインシデント報告など人間生成データも活用するところからパイプライン設計などなど。全体感を整理・把握するには一度は読んでおいた方が良さそう。
あとは生成AIを活用したシステム開発という捉え方だと、以下のレポートが良さげ。

MLopsの記事でも挙げていたQA4AIも生成AIに対応した章が追記されている。他のガイドライン類と併せていかにリストアップ。
AI事業者ガイドライン（METI/経済産業省）

実際にLLM Opsをする際に品質のモニタリングに必要となるObservability toolについても。機械学習エンジニアには必須だな。

あとはLLM Ops的に観点になりそうなトピック（他のページで掲載し損ねていただけという話もあるww）と、

但しリスクを気にするよりは、こんな問題が話題になるくらいAIが導入されつくされる方が日本では先だと個人的には強く思っている。そうでないと日本国内で問題が起きる前に、生産性を高めた諸外国に負けてしまうから。前者は国内で何とかできるけど、後者が顕在化した時には日本として手遅れなので。