メインコンテンツへスキップ
見出し画像

(オープン)データ分析はどこまでやるの? - 欽ちゃんが「お笑いBIG3」ではなくなった理由をDBpediaで調べてみた

    1980年代の日本のテレビ界における大きな転換点の一つとして、萩本欽一氏からタモリ氏・ビートたけし氏・明石家さんま氏ら「BIG3」への中心的なポジションの移行が挙げられます。

    1980年代前半、萩本欽一氏は一週間のゴールデンタイムに『欽ドン!良い子悪い子普通の子』『欽ちゃんのどこまでやるの!』『週刊欽曜日』などの冠番組を複数抱え、それらの合計視聴率が100%を超えることから「視聴率100%男」とも呼ばれました。綿密に計算された間合いや素人の起用など、独自のフォーマットで高い支持を集めていたことは周知の通りです。

    しかし、1980年代後半にかけて、その番組数は徐々に減少していきます。代わって台頭したのが、密室的なトーク、パロディや毒舌、圧倒的な瞬発力といった、従来とは異なるアプローチを持つビートたけし、タモリ、明石家さんまらの「BIG3」の番組群でした。

    なぜ、この転換は起きたのでしょうか。テレビ史における一般的な定説としては、「1985年に萩本欽一氏が休養宣言を行い、レギュラー番組を降板したこと」が主要な契機として語られています。

    本稿では、この定説に対して、一つの仮説を立ててみたいと思います。 「番組減少の主因は休養宣言という個人的な出来事だけではなく、彼が育成した『パジャマ党』等の構成作家陣が他局の番組に進出したことで、独自の番組制作メソッドがテレビ界全体に流出(知識のスピルオーバー)し、本家の相対的な希少価値が低下してコモディティ化したからではないか」という仮説です。

    この記事では、Wikipediaの構造化データ(DBpedia)から抽出したテレビ番組の放送年データに対し、計量経済学における時系列分析手法を適用し、この「メソッド流出仮説」を定量的に検証するプロセスをご紹介します。

    1. DBpediaによるデータ収集と分析対象の定義

    本分析のデータソースとしてDBpedia(DBpedia Japanese)を活用しました。 DBpediaとは、Wikipediaの情報をコンピューターが処理・解析しやすい形(RDF形式などの構造化データ)に変換して公開しているデータベースプロジェクトです。SPARQL(スパークル)というクエリ言語を用いることで、「特定の人物が出演(または構成)しているテレビ番組の放送開始年・終了年」といった情報を、Web上から一括で抽出することが可能です。

    このDBpediaを用いて、以下のグループの番組データを1970年〜2000年の範囲で年次パネルデータとして集計しました。

    • 萩本欽一出演番組 萩本欽一こと「欽ちゃん」が出演・司会を務めた番組。萩本氏は「素人のポテンシャルを引き出し面白く見せる」「カメラに映らないディレクターなどの裏方を演者として巻き込む」「あえてハプニングを放送に組み込む」といった、現代のバラエティ番組の基礎となる独自の制作メソッドを体系化したイノベーターです。

    • 座付き作家陣の担当番組(外部番組) 萩本氏の番組制作の地盤を強固にするために育成された、大岩賞介氏、君塚良一氏、鶴間政行氏、詩村博史氏ら、構成作家集団「パジャマ党」および「欽塾」を中心とするメンバーが担当し、かつ萩本氏が出演していない番組。彼らは「テレビ的な笑いの作り方」を叩き込まれた帝国の頭脳とも言える存在です。

    • 秋元康氏の担当番組 AKB48や坂道シリーズのプロデューサーとして知られる秋元康氏は、後に『夕やけニャンニャン』等で「素人起用」や「身内ノリ」といった萩本メソッドのコア部分を抽出し、より過激で独自の解釈へと拡張させたプロデューサーです。本分析では、彼の影響を特異なケースとして切り分けて扱います。

    • BIG3出演番組 比較対象として抽出した、以下の3名の出演番組です。

      • タモリ:中洲産業大学出身。密室芸やシュールで知的な笑いを武器に『笑っていいとも!』等で平日昼の顔となりました。

      • ビートたけし:1980年代初頭の漫才ブームを牽引し、既存の権威や予定調和を徹底的に破壊するパロディと毒舌で『オレたちひょうきん族』等を大ヒットさせました。

      • 明石家さんま:落語家出身(と、いうことになっているけれど)。圧倒的なおしゃべりの瞬発力と場の制圧力、特徴的な引き笑いを持ち、『ひょうきん族』での活躍や『男女7人夏物語』等の俳優業でも一時代を築きました。

    まずは、これらの基礎的な推移を可視化したグラフを確認してみます。

    画像
    省略していますが、おそらくBIG3の出演数は(笑っていいとも!が終了する)2010年代中盤ころまで似たような数字で推移しているのが恐ろしい。

    外見上のグラフでは、1985年を境に萩本氏の番組数(青色の実線)と作家陣の外部番組数(赤色・黄色の点線)がX字を描くように交差しています。同時に、BIG3の番組数(紫色の実線)も右肩上がりで増加しています。 視覚的には「作家陣が外部で活躍し始めた時期と、本家の番組が減少した時期が一致している」ように見えます。しかし、データ分析において、このようなトレンドを持つ折れ線グラフの交差を直ちに「因果関係」と見なすことは避ける必要があります。

    だけど、グラフを可視化すること「だけ」をデータサイエンスとか言うときも、あるよね!!!(シソンヌじろうの言い方で)

    2. 時系列分析の注意点:「見せかけの回帰」とADF検定

    互いに独立したトレンドを持つ時系列データ(一方が単調減少、他方が単調増加など)をそのまま回帰分析にかけると、因果関係が存在しなくても高い決定係数や有意なp値が算出されてしまうことがあります。これが「見せかけの回帰(Spurious Regression)」です。

    これを回避するため、まずは各変数が時間とともに平均や分散が一定であるか(定常性)を確認する「拡張ディッキー・フラー検定(ADF検定)」を実施しました。

    [萩本欽一 出演番組(原系列)] ADF検定 p値: 0.3835 -> 非定常過程
    [パジャマ党 外部(原系列)]   ADF検定 p値: 0.9830 -> 非定常過程

    結果として、両データは共に「非定常過程(トレンドを持つデータ)」であることが確認されました。生のデータ(原系列)を用いた単純な相関分析や回帰分析は不適切であると判断できます。

    3. 共和分(Cointegration)検定による長期的関係の検証

    非定常なデータ同士でも、両者の間に「見せかけ」ではない真の長期的均衡関係が存在するかを検証するため、「共和分(Cointegration)検定」を適用しました。もし有意となれば、「番組数の減少と作家陣の外部進出には、長期的に連動する関係があった」と見なすことができます。

     [パターンA: 秋元康氏含む] 共和分検定 p値: 0.1516 -> 関係なし
     [パターンB: 純血メンバーのみ]   共和分検定 p値: 0.2166 -> 関係なし

    結果として、いずれも有意水準(p<0.10)を満たさず、共和分関係は棄却されました。 すなわち、萩本氏の番組減少と作家陣の外部進出の間には統計的な「真の長期的均衡関係」は確認できず、グラフ上で見られた交差は、独立した異なるトレンドが偶然同じ時期に重なっただけの可能性が高いことが示唆されました。

    4. 差分モデルの推計と、係数から読み取れる示唆

    長期的関係が確認できなかったため、データを一階差分(前年からの増減)に変換して定常化し、テレビ番組の企画・制作から放送までのサイクルを考慮した1〜2年の時間差(ラグ)を設けた重回帰分析(OLS)を行いました。今回は、より厳密な評価ができるよう標準誤差や95%信頼区間を含めた回帰表を出力しています。

    画像

    【萩本チームメンバーのみ】重回帰分析表 (OLS)

                        coef    std err          t      P>|t|      [0.025      0.975]
    ---------------------------------------------------------------------------------
    const            -0.0437      0.234     -0.187      0.853      -0.526       0.439
    Δ作家陣_pure_1年前    -0.0700      0.186     -0.376      0.710      -0.453       0.313
    Δ作家陣_pure_2年前    -0.0571      0.193     -0.296      0.770      -0.455       0.341

    【秋元康氏含む】重回帰分析表 (OLS)

                       coef    std err          t      P>|t|      [0.025      0.975]
    --------------------------------------------------------------------------------
    const            0.0091      0.237      0.038      0.970      -0.480       0.498
    Δ作家陣_all_1年前    -0.0896      0.196     -0.456      0.652      -0.494       0.315
    Δ作家陣_all_2年前    -0.2069      0.205     -1.011      0.322      -0.628       0.215
    

    結果として、いずれのモデルにおいてもP値(P>|t|)が高く、ゼロを含む広い95%信頼区間([0.025, 0.975])となっているため、統計的に有意な因果関係は検出されませんでした。「作家陣が外部で活躍したことが原因で、本家の番組が減少した」という仮説は、データからは支持されなかったことになります。

    ただし、係数(coef)に着目すると興味深い傾向が観察できます。萩本氏の番組減少に与える「2年前の活動の影響」が、純血メンバーのみのデータでは -0.0571 であるのに対し、秋元康氏のデータを加えると -0.2069 へとマイナス方向へ約4倍大きく変動しています。 純血のメンバーが他局で番組を作る際と、秋元氏が独自の解釈でメソッドを過激に拡張して番組を作った際とで、本家のフォーマットに与えた「陳腐化のインパクト」に質的な違いがあったのではないか、という想像を掻き立てられる数値の変化です。

    5. 新旧BIG3交代仮説の検証:明石家さんま氏は欽ちゃんのシェアを「直接」奪ったのか?

    裏方である作家陣のメソッド流出仮説が棄却されたところで、もう一つの興味深い仮説を検証してみます。それは、BIG3という概念に関する「明石家さんま氏との交代仮説」です。

    当時のテレビ界において、従来の「BIG3」といえばタモリ氏、ビートたけし氏、萩本欽一氏を指していましたが、いつの間にか萩本氏の枠に明石家さんま氏が入り込み、現在のBIG3が形成されたという見方があります。「明石家さんま氏の台頭が、直接的に萩本氏の番組枠(パイ)を奪ったのではないか?」という直接対決モデルを検証するため、さんま氏単独の番組数データを抽出し、同様の因果推論を行いました。

    画像

    グラフを見ると、萩本氏の減少とクロスするようにさんま氏の番組数が急増しています。しかし、重回帰分析にかけると以下の結果となりました。

    【さんま単独モデル】重回帰分析表 (OLS)

                     coef    std err          t      P>|t|      [0.025      0.975]
    ------------------------------------------------------------------------------
    const         -0.0782      0.233     -0.335      0.740      -0.559       0.403
    Δさんま_1年前       0.0410      0.147      0.279      0.783      -0.262       0.344
    Δさんま_2年前      -0.0255      0.150     -0.170      0.867      -0.335       0.284
    

    ここでもP値は軒並み高く、すべての統計的有意性が棄却されました(グレンジャー因果性検定においても棄却)。 データが示しているのは、「明石家さんま氏が萩本氏の番組枠を直接奪ったわけでもなく、逆に萩本氏が辞めて空いた枠にさんま氏が座ったわけでもない」という事実です。一見するとパイの奪い合いに見えた現象も、統計学的にはそれぞれが全く独立したトレンドで動いていたに過ぎないことが明らかになりました。

    6. 非連続回帰デザイン(RDD)による「1985年の休養宣言」の再評価

    メソッド流出仮説も、交代仮説も統計的には支持されませんでした。そこで視点を変えて、定説である「欽ちゃんによる1985年の休養宣言」の影響を厳密に測定してみます。 ここでは、政策評価などで用いられる非連続回帰デザイン(RDD: Regression Discontinuity Design)を適用します。

    RDDは、ある特定の閾値(カットオフ)を境に介入が行われた際、その前後での結果変数の「ジャンプ(断絶)」を測定することで因果効果を推定する手法です。1985年をカットオフ(Year_Centered = 0)として、休養宣言の前後で「切片のジャンプ」と「傾き(トレンド)の変化」が起きたかを検証します。

    非連続回帰デザイン (RDD) 推計結果

                        coef    std err          t      P>|t|      [0.025      0.975]
    ---------------------------------------------------------------------------------
    const             5.4952      0.546     10.068      0.000       4.375       6.615
    Year_Centered     0.3036      0.060      5.057      0.000       0.180       0.427
    Post_1985        -2.6644      0.727     -3.667      0.001      -4.155      -1.174
    Interaction      -0.5227      0.081     -6.448      0.000      -0.689      -0.356

    このモデルは、決定係数(R-squared)が0.718という高い当てはまりの良さを示し、各変数のP値も0.001以下と非常に明確な統計的有意性が確認されました。

    画像

    推計結果から、以下の点が読み取れます。

    • 1985年以前のトレンド (Year_Centered): 0.3036 (p=0.000) 休養宣言に至る前まで、番組数は「毎年約0.3番組ずつ有意に増加する」という明確な成長トレンド(赤線の実線)にありました。この時点では、メソッドの陳腐化や他者の台頭による減少傾向は全く見られません。

    • 1985年の断絶・ジャンプ (Post_1985): -2.6644 (p=0.001) 1985年を境に、約2.6番組が不連続に減少するという統計的に有意な「断層(ジャンプ)」が発生しています。95%信頼区間も [-4.155, -1.174] とマイナス領域で安定しており、自然な増減トレンドの範囲を超えた明確なショックの大きさを示しています。

    • 1985年以降のトレンド変化 (Interaction): -0.5227 (p=0.000) 休養後、かつての増加トレンドは失われ、それ以降は「毎年-0.5番組のペースで減少する」という負のトレンド(緑色の実線)へと統計的に有意に転換しています。

    7. おわりに:オープンデータ分析の面白さ

    本稿では、DBpediaオープンデータを活用し、「パジャマ党によるメソッドの流出」や「明石家さんま氏とのパイの奪い合い」といった仮説について、時系列分析を用いて検証を行いました。

    結果として、これらの独自の仮説はデータからは支持されませんでした。一方で、最後に適用した非連続回帰デザイン(RDD)によって、「1985年の休養宣言が、それまでの成長トレンドを明確に断ち切り、減少トレンドへと構造を変化させる決定的な分岐点であった」ことが、再確認されました。

    「休養が転換点だった」という誰もが知る歴史の定説を、わざわざ複雑な計量経済学の手法を使って「やっぱりその通りでした」と確認する結果となったわけですが、個人的にはここにデータ分析の面白さがあると感じています。

    一見もっともらしい「知識のスピルオーバー」や「新旧BIG3の直接対決」といった仮説であっても、客観的なデータに照らし合わせると容易に棄却されること。そして、漠然とした「時代が変わった」という感覚が、RDDという手法を用いることで「どれだけの断絶とトレンドの変化をもたらしたのか」を定量的に可視化できること。

    身近なエンターテインメントの歴史であっても、オープンデータとPython等のツールを使えば、多角的な視点からファクトを検証することが可能です。こうした分析のプロセス自体を楽しみながら、データハンドリングや因果推論の手法に触れてみるのも良いのではないでしょうか。

    ….でも、まあ、なんというか、時間の無駄だったというか…(引用: くりぃむしちゅーのオールナイトニッポン)

    あなたへのおすすめ