メインコンテンツへスキップ
見出し画像

「私の物差しで測ったら、私が正しかった」は証明になるのか――その93.66%は何を証明したのか

    先ほど、kjさんから回答記事をいただいた。


    今回は、その回答を受けて、私が最初の記事で何を聞いていたのかをもう一度整理したい。

    先に結論を書いておく。

    今回の回答によって、

    kjさんの分類が外部から批判可能であること

    については、かなり明確になったと思う。

    実際、私は公開された評価表から一件の誤判定を指摘できた。

    kjさんはそれを確認し、誤りを認め、修正した。

    ここについて異論はない。

    しかし、私が最初から聞いていたのは、それだけではない。

    手続きが精密であること。

    判定が第三者から批判可能であること。

    そして、

    その評価基準自体が、測ろうとしているものを測るために妥当であること。

    さらに、

    その評価結果から、「自分の事前判断は正しかった」と結論できること。

    これは、それぞれ別の問題ではないだろうか。

    私が最初から気になっていたのは、そこなのである。



    発端――「ぼくの直感の方がかなり近かった」


    発端となったのは、kjさんの次の記事だった。




    記事では、pdfractal氏による30本のニーチェ記事の調査について、

    「まとも判定、多すぎないか。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    と疑問を呈している。

    そして、自身がnoteでニーチェ関連記事を読んできた感触について、

    「むしろ9割以上は、何らかの意味でお話にならない。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    と書く。

    そこで、再現可能な方法で3,501件の記事を取得し、そのうちニーチェについて実質的に何らかの意味内容を主張している2,918件を、S/A/B/Cへ分類した。

    結果は、

    S 20件
    A 165件
    B 2,102件
    C 631件

    だった。

    A以上は185件、6.34%。

    B/Cは2,733件、93.66%。

    そしてkjさんは、この結果を受けて、

    「ぼくの直感の方がかなり近かった。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    と書く。

    さらに、

    「ぼくが『9割以上はまともなニーチェ論ではない』と感じていたのは、少なくともnoteの検索・タグ導線から取得できる記事群については、かなり正しかったことになる。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    と結論している。

    ここが、私が最初から引っかかっていたところである。




    この93.66%は、何を証明しているのだろう


    今回の分類は、

    「私が設定した評価基準を2,918件へ適用すると、93.66%がB/Cになった」

    という集計としてだけ提示されているわけではない。

    その結果が、

    「9割以上はまともなニーチェ論ではない」

    というkjさん自身の事前判断を支持するものとして使われている。


    だからこそ、その93.66%を生み出した物差しが何なのかが重要になる。

    もしそれが、

    「評価者自身が設定した一つの評価尺度」

    なのであれば、93.66%はまず、

    「その尺度を適用した結果」

    である。

    しかし、それを、

    「だから、私が以前から感じていた『9割以上はまともではない』という判断はかなり正しかった」

    という結論の根拠として使うのであれば、その評価尺度自体が「まともなニーチェ論かどうか」を測る物差しとして妥当であることが必要になる。

    私は最初の記事から、そこを聞いていた。



    私は最初から「物差しそのもの」を聞いていた


    前回、私は次の記事を書いた。

    出典:太郎丸二郎
    「『哲学を名乗るなら、リングに立て』――その言葉を、あなた自身にも適用できますか?」

    そこで私は、kjさんが何の基準も示さず、感覚だけで2,918件を分類したとは書いていない。

    むしろ逆である。

    S/A/B/Cの定義が公開されていること。

    具体的な境界事例が示されていること。

    評価表が公開されていること。

    AIによるキャリブレーションと再監査が行われていること。

    それらをかなり長く確認した。

    そのうえで私は、

    「SEP等に記述された研究状況から、今回の分類に使われる『標準理解』の許容範囲へ、どのように接続したのか。」

    出典:太郎丸二郎
    「『哲学を名乗るなら、リングに立て』――その言葉を、あなた自身にも適用できますか?」


    と書いた。

    さらに、

    「個々の記事をS/A/B/Cへ振り分ける前に、その判定の基準点となる『標準理解』は、どのように構成されたのか。」

    出典:太郎丸二郎
    「『哲学を名乗るなら、リングに立て』――その言葉を、あなた自身にも適用できますか?」


    と問うた。

    つまり私が知りたかったのは、

    SEP等に記述された研究状況
    ↓
    今回の分類で「標準理解」として許容する範囲
    ↓
    S/A/B/Cへの個別判定

    という構造のうち、最初の矢印だった。



    AIについても、最初から同じことを書いている


    これは今回の回答を受けて、新しく追加した論点ではない。

    前回の記事で私は、AIによるキャリブレーションについても、

    「AIが同じ物差しを一貫して適用できることと、その物差し自体がニーチェ研究上妥当であることは、別の命題だからである。」

    出典:太郎丸二郎
    「『哲学を名乗るなら、リングに立て』――その言葉を、あなた自身にも適用できますか?」


    と書いている。

    そして、

    「私が問いたいのは、AIによる分類の精度そのものではない。」

    「AIに渡される前の物差しそのものを、第三者がどう検証できるのか。」

    出典:太郎丸二郎
    「『哲学を名乗るなら、リングに立て』――その言葉を、あなた自身にも適用できますか?」

    と明記した。

    したがって、

    分類手続きを安定させること

    と、

    その分類に使われる物差し自体を正当化すること

    を、私は最初から区別している。

    今回、回答を受けて別の論点へ移動したわけではない。

    むしろ回答によって前者についてかなり理解できた結果、最初から聞いていた後者だけが、よりはっきり残った。



    kjさんの回答――「必要なのは、第三者が検査できること」


    そして今回、kjさんから回答記事をいただいた。

    まず、私が指摘した「旧ビュー」の記事について、kjさんは、

    「これは間違いである。」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答」


    と認め、

    「今回の基準なら『除外』である。」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答」


    として修正した。

    これによって評価対象は2,918件から2,917件になった。

    ここについて、これ以上言うことはない。

    私の指摘が正しかった。

    kjさんが確認した。

    修正された。

    終わりである。

    そして、この一件は別の意味でも重要だった。

    評価表が公開されている。

    私が確認する。

    誤判定を見つける。

    根拠を示す。

    評価者が確認する。

    修正する。

    たしかに、外部から批判可能である。

    この点については、kjさんの回答を受けて、私はほとんど異論がない。



    「第三者が同じ判定をすること」を私は要求しているのか


    kjさんは回答記事で、

    「必要なのは、第三者が必ず同じボタンを押すことではない。」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答」


    としたうえで、

    「なぜその判定になったかを、第三者が検査できることである。」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答」


    と書いている。

    これにも同意できる。

    質的評価なのだから、境界事例について評価が割れることはあるだろう。

    BとCの境界を数学的に決定し、

    「条件Xが0.7以上ならC」

    というような機械的規則を作らなければならないとは、私は考えていない。

    人間の判断が入ることも当然だと思う。

    したがって、

    第三者が必ず同じS/A/B/Cを返さなければならない

    という要求はしない。

    しかし、それは私が最初から聞いていた問いとは少し違う。

    私は、

    「同じ物差しを誰でも同じように使えるのか」

    だけを聞いていたのではない。

    「なぜ、その物差しを使うことによって、『まともなニーチェ論かどうか』を判定できるのか」

    を聞いていた。



    手続きが精密であることは、結論の論証根拠にはならない


    ここを今回、明確に区別しておきたい。

    今回の分類手続きがかなり精密であること自体を、私は否定しない。

    SEP等を参照する。

    S/A/B/Cの基準を定義する。

    参照例を設定する。

    AIをキャリブレーションする。

    再監査する。

    評価表を公開する。

    異論を受け付ける。

    誤判定が見つかれば修正する。

    かなり多くの工程を踏んでいる。

    そして、第三者から批判することもできる。

    実際に今回、一件修正された。

    したがって、

    手続きが精密であること。

    そして、

    第三者から批判可能であること。

    この二点について争う必要はない。

    しかし、この二つは、それだけでは結論の論証根拠にはならない。

    どれほど精密な手続きを組んでも、最初に置かれた評価基準が測定対象に対して妥当でなければ、

    その評価基準を精密に適用した

    というところまでしか言えない。

    また、どれほど第三者から批判可能であっても、

    批判可能であるという性質そのもの

    によって、その評価基準の妥当性が保証されるわけではない。

    つまり、

    手続きの精密性。

    判定の批判可能性。

    評価基準そのものの妥当性。

    その評価結果から結論を導く論証の妥当性。


    これは、それぞれ別の問題である。

    精密な手続きは、手続きの精密さを示す。

    批判可能な公開方法は、批判可能性を示す。

    しかし、それだけでは、

    「だから、この物差しは『まともなニーチェ論』を測る物差しとして妥当である」

    とはならない。

    まして、

    「だから、この物差しによって得られた93.66%は、私の事前判断が正しかったことを示している」

    とも自動的にはならない。

    そこには、別の橋が必要である。


    興味深いことに、kjさん自身も二つを区別している

    興味深いことに、kjさんの回答でも

    「分類器を安定させる手続き」

    と

    「ニーチェ解釈の妥当性を根拠づける手続き」

    は別のものとして記述されている。

    もっとも、kjさん自身は、私が「一度区別した後、また混ぜている」と批判している。

    そして、AIについて、

    「AIが同じ判定を返したら真理になる、などという話ではない。」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答


    とも書いている。

    私はここに同意する。

    まさにその通りだと思う。

    AIをキャリブレーションした。

    同じ基準を大量の記事へ適用できた。

    だから、その基準が正しい。

    とはならない。

    ならば同様に、

    評価表を公開した。

    第三者が判定理由を確認できる。

    実際に誤判定を修正できた。

    だから、その評価基準が「まともなニーチェ論」を測る物差しとして妥当である。

    とも、それだけではならないはずである。

    これは、同じ階層の区別ではないだろうか。



    では、その物差しは何によって拘束されているのか


    kjさんは回答記事の最後で、

    「哲学史の読解を人間が評価しているのだから、人間の判断が入る。」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答


    と明記している。

    そして問題は、

    「その判断が何によって拘束され、批判可能になっているか」

    出典:kj aka ルサンチMAN
    「18ラウンド空振りして、当たったのはジャブ一発だった――太郎丸二郎『哲学を名乗るなら、リングに立て』への回答


    だとする。

    そのうえで、

    一次文献。

    研究史。

    SEPその他の公開資料。

    明示した基準。

    記事別の理由。

    公開した全評価表。

    具体的な反論の受付。

    今回の修正。

    を挙げている。

    ここも理解できる。

    少なくとも、

    何の根拠もなく評価者が好き勝手にS/A/B/Cを付けている

    という話ではない。

    ただし、ここでも二種類のものが含まれているように思う。

    一次文献、研究史、SEP等は、

    評価内容を拘束する参照根拠

    である。

    一方、

    基準の公開、記事別理由、評価表、反論受付、修正可能性は、

    評価を外部から批判可能にする手続き

    である。

    どちらも重要だと思う。

    しかし、それらを示したことと、

    今回設定したA/B/Cの境界が、「まともなニーチェ論かどうか」を測る物差しとして妥当であること

    は、やはり同じではない。



    私の記事はBだった


    ここで、自分の記事を使って考えてみたい。

    「なぜ恐怖は連鎖し、愛は同期しづらいのだろうか――反応から宗教を見る」

    という私の記事は、今回B判定だった。

    私は、このB判定を撤回してほしいわけではない。

    この記事はニーチェ研究として書いたものではない。

    宗教や反応について考える中で、ニーチェを参照している。

    だから、

    標準的なニーチェ研究から一定の距離がある

    という意味でBになるのであれば、それはそれで構わない。

    むしろ、今回の基準でBなのであれば、

    「kjさんの基準ではBだった」

    というだけのことである。

    しかし、ここで重要なのはBの定義である。

    発端の記事でBは、

    「標準理解との一定程度の乖離があるが、概念を別物にするところまでは行っていない。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    と定義されている。

    さらに、

    「文脈不足や公開範囲不足などで、理解度を安全に判定できない。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    場合もBになる。

    つまりBは、

    「ニーチェ概念を別物へ置換した」

    というCとは明確に異なる。

    それでも集計では、

    B 2,102件
    C 631件

    を合わせ、

    B/C=93.66%

    としている。

    そして、その数字が、

    「9割以上はまともなニーチェ論ではない」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    という事前判断が、

    「かなり正しかった」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    ことの根拠として提示されている。

    ここには、もう一本の接続が必要ではないだろうか。



    「B/Cだった」と「まともではない」は同じなのか


    今回の調査から直接分かるのは、

    kjさんが設定したS/A/B/Cという基準を、kjさんが構成・監査した方法で評価対象へ適用すると、93%以上がB/Cになった。

    ということである。

    これは調査結果として存在する。

    しかし、

    B/Cである

    ということと、

    「まともなニーチェ論ではない」

    ということを同一視するには、その対応関係自体が妥当である必要がある。

    特にBには、

    「一定程度の乖離はあるが、概念を別物にするところまでは行っていない」

    記事だけでなく、

    「理解度を安全に判定できない」

    記事まで含まれている。

    ならば、

    B/C=93.66%

    という数字を、

    「9割以上はまともではない」

    という命題の確認として使うためには、

    なぜBまで「まともではない」側へ一括できるのか。

    その接続を別途示す必要があるのではないだろうか。



    そして、自分自身は1位だった


    発端の記事では、著者単位のランキングも作られている。

    S=+2
    A=+1
    B=-1
    C=-2

    という点数で集計され、

    「1位はぼくである。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    と書かれている。

    そして、

    「評価者もぼくである。」

    出典:kj aka ルサンチMAN
    「noteに登場するニーチェ論はデタラメなものばかりなのか――30件じゃなく3000件調査してみた」


    とも明記されている。

    私は、これ自体を問題だとは思わない。

    自分がニーチェを正確に読んでいるのであれば、自分の記事が高評価になることは当然あり得る。

    また、本人が評価者であることも公開している。

    問題はそこではない。

    問題は、

    その評価結果が何を意味するのか

    である。

    今回の調査によって直接示されたのは、

    kjさんが設定した評価基準では、kjさん自身が1位になった。

    ということである。

    しかし、そこから、

    だからkjさんのニーチェ理解が客観的に最も正しい

    とはならない。

    同じように、

    kjさんが設定した評価基準では、93%以上がB/Cになった。

    ということから、

    だから「9割以上はまともなニーチェ論ではない」というkjさんの事前判断は正しかった

    とも、そのままではならない。



    「私の判断基準で採点したら、私が1位でした」まで射程を狭めればいい


    だから私は、今回の調査そのものを否定したいわけではない。

    むしろ、射程を一段狭めればいいのではないかと思っている。

    たとえば、

    「私が今回設定した『標準理解』とS/A/B/Cの基準を、取得できた記事群へ適用したところ、93%以上がB/Cだった。」

    これはそのまま調査結果である。

    あるいは、

    「私が『標準理解を押さえている』と定義したA以上に届いた記事は約6%だった。」

    これもそのままである。

    著者ランキングについても、

    「私が設定した評価基準で採点した結果、私が1位だった。」

    これは事実である。

    私は、そこにはほとんど異論がない。

    しかし、

    「だから、ぼくの直感の方がかなり近かった。」

    あるいは、

    「『9割以上はまともなニーチェ論ではない』という私の判断はかなり正しかった。」

    まで進むのであれば、

    その評価基準自体が「まともなニーチェ論」を測る物差しとして妥当であること

    を、分類結果とは別に示す必要があるのではないだろうか。

    そうでなければ、

    「私の判断基準で採点したら、私の事前判断と整合する結果が出た。」

    というところを越えない。

    感想なら感想として書けば良い。

    しかし、それは論証とは呼ばない。



    猫については、もう終わった


    なお、「旧ビュー」の記事については、もう終わった話である。

    kjさんは誤りを認め、除外へ修正した。

    そして、この一件によって、

    今回の評価体系が外部から批判可能であること

    も実際に確認できた。

    そこは今回の回答によって、むしろ明確になったと思う。

    猫はリングから降りた。

    よかった。


    だから、残る問いはかなり狭い


    今回の回答によって、私の問いはむしろ単純になった。

    私は、

    第三者が必ず同じラベルを付けろ、

    とは言わない。

    人間の判断を排除しろ、

    とも言わない。

    評価理由が公開されていない、

    とも言わない。

    批判不能だ、

    とも言わない。

    手続きが雑だ、

    とも言わない。

    むしろ、その多くは今回の回答によって確認できた。

    そのうえで、最初から残っている問いはこれだけである。

    手続きが精密であること。

    第三者から批判可能であること。

    評価基準自体が妥当であること。

    その評価結果から「自分の事前判断は正しかった」と結論できること。

    これは同じではない。


    そして、この区別は今回新しく持ち出したものでもない。

    私は最初の記事ですでに、

    「AIが同じ物差しを一貫して適用できることと、その物差し自体がニーチェ研究上妥当であることは、別の命題だからである。」

    出典:太郎丸二郎
    「『哲学を名乗るなら、リングに立て』――その言葉を、あなた自身にも適用できますか?」


    と書いている。

    だから、今回の回答によって私の問いが別の場所へ移動したわけではない。

    回答によって、

    手続きの精密性と批判可能性

    についてはかなり理解できた。

    その結果、

    評価基準そのものの妥当性

    と、

    そこから『私の直感は正しかった』へ進む論証

    だけが残った。

    私が最初から聞きたかったのは、そこなのである。

     
     
    有限統合主義|理論は書籍・論文に。ここでは日常エッセイ、思考ログ、思想が混ざります。有限な認知から世界を捉え直している途中です。

    あなたへのおすすめ