Claudeの透かしの中身が公表された

8月14日、Anthropicが技術FAQを出した。11日のサポートページが「何をするか」を書いたのに対し、こちらは「どう動き、どこで壊れ、何を証明しないか」を書いている。

前稿で外部資料から推定した内容の大半が、提供者の言葉で確認された。訂正すべき箇所も一つ出た。そして外部の実測値は、提供者の説明よりかなり厳しい。

方式はSynthID-Text

Google DeepMindが2024年にNature誌で公表した手法の一種だという。2022年のScott Aaronsonの提案に遡る系統で、設計原理は「語の選択に使う乱数の出所だけを変える」こと。前稿で立てた三系統の分類でいえば、分布保存型にあたる。

Anthropicの説明はこうだ。「今日の天気は寒く、そして」の次に来る語は「どんより」でも「灰色」でもよく、読者にとって差はない。この低リスクの選択を鍵で決める。文字を足すわけでも、隠し文字を入れるわけでもない。

比喩としてモノポリーが出てくる。サイコロの代わりに円周率の桁を使って駒を進める。プレイヤーには何も変わらないが、後から全手を並べて円周率と照合すれば、円周率を使ったゲームだと判定できる。透かしの入ったテキストも同じだ、と。

方式が査読済みであることは、選択として意味がある。Nature掲載の手法をそのまま採用したのだから、堅牢性も限界も先行研究として公開されている。8月11日から14日までの3日間、方式を伏せていたことのほうが不思議になる。

品質への影響について、初めて数字が出た。SynthID-Text論文で、Gemini実トラフィックの一部に透かし版を出し、高評価と低評価の比率を比較している。統計的な有意差はなかった。統制下の人間評価でも差は出ていない。

答え合わせ

エントロピー依存。FAQいわく、事実を述べる箇所では正確さを損なわずに選べる選択肢が少ないため、透かしは薄くなる。挙げられている例が『プリンキピア』の次に来る語で、正解が一つしかないから透かしが作用する余地がない。コードも同じ理由で薄く、ただしコメント部分には乗る。

前稿で「引用、数値、固有名詞、条文の文言」と書いた部分と、指しているものが一致する。

除去。軽い編集では完全には消えない。すべての語を置き換える完全な書き直しなら消える。

証明の限界。ここは提供者のほうが踏み込んで書いている。鍵で分かるのは「Claudeが部分的に書いた可能性はどれくらいか」だけ。人間が書いたかは確認できず、別のAIが書いたかも分からない。そして「Claudeが書いた」と「Claudeが大幅に編集した」を区別できない。

識別情報。含まれない。個人にも組織にも、チャットにも遡れない。透かしとその鍵から利用者に関する情報を復元する経路はない、と明記されている。前稿で触れた「AIに作業者IDが付いた」という読みは、これで成立しなくなった。