自然実験とは?「くじ引きできない問い」を偶然で確かめる方法をゼロから解説

自然実験 用語解説

「ヒューマン&エコノに学ぶ、研究用語・統計用語」は、論文解説記事を読んでいて「ん?」となった用語を、掛け合い形式で解きほぐすシリーズです。統計の授業を受けたことがない方を想定しています。この記事は掛け合いが主役です。

今回のお題は自然実験。RCTの記事の補足で、エコノが「偶然がくじ引きの代わりをしてくれた場面を探す『自然実験』や」とサラッと言って終わったアレです。ダイアモンドの新刊の書評で「州境がくじの代わりに割り振りの役を果たす」と書いたアレ。同じ書評で「CEOが亡くなったら、会社の利益はどうなるか」を紹介したアレ。前回エコノが言うてたアレ、今回やります。

サマリとこの記事でわかること

自然実験とは、研究者がくじ引きで割り振る代わりに、法律の変更や思いがけない出来事のように「偶然が割り振ってくれた」状況を見つけ、それを実験の代わりに使って原因と結果を確かめる方法です。

この記事でわかること

  • くじ引き(RCT)ができない問いを、どうやって確かめるのか──偶然に割り振りを任せる発想
  • 「州境」がくじ引きの代わりになる理由──「前後」と「内外」を両方比べるしくみ
  • 「結果を見てから選ぶ」と台無しになる理由──CEOの死の研究と『ビジョナリー・カンパニー』の違い
  • 自然実験の限界──本当に偶然か、1本で決着しない理由、何を測っているのか

第1幕:国をくじ引きで分けるわけにはいかへん

ヒューマン
ヒューマン

最低賃金を上げたら雇用が減る、って聞いたことあるわ。店が人件費を払いきれんようになるから、って。あれ、ほんまなん?

エコノ
エコノ

経済学の教科書は、そう予想する。ほな確かめてみよか。RCTの記事でやった方法やと、どう確かめる?

ヒューマン
ヒューマン

くじ引きやろ。介入群と対照群。国をくじで2つに分けて、片方だけ最低賃金を上げる。で、比べる。

エコノ
エコノ

完璧や。で、誰がそれをやらしてくれるん?

ヒューマン
ヒューマン

……総理大臣でも無理やな。「あんたの県はくじで外れたんで、時給据え置きね」って言うたら暴動起きるわ。

エコノ
エコノ

せやろ。国の制度、会社のトップ、景気、災害──世の中の大事な問いほど、くじ引きができへんのや。かといって「最低賃金を上げた国」と「上げてへん国」をそのまま比べたらどうなる?

ヒューマン
ヒューマン

あ、交絡の記事の「裏の第三者」が出てくるな。景気のええ国ほど最低賃金を上げやすい、とか。それやと、雇用が増えたんが景気のおかげか最低賃金のおかげか分からん。

エコノ
エコノ

ようできました。そこで発想を変える。研究者がくじを引けへんのやったら、偶然がくじを引いてくれた場面を探せばええ。

ヒューマン
ヒューマン

偶然がくじを引く? どういうこと?

エコノ
エコノ

たとえば、法律がたまたま州境の片側だけで変わった。社長が、会社の業績とは関係なく亡くなった。研究者は何ひとつ手を出してへんのに、「変わった組」と「変わらへんかった組」が、世の中に勝手にできてるやろ。

ヒューマン
ヒューマン

なるほど。くじ引きの役を、世の中の出来事が肩代わりしてくれたってことか。

エコノ
エコノ

そういうこっちゃ。この「偶然の割り振りを、実験の代わりに使う」方法を自然実験って呼ぶ。英語やと natural experiment。論文でよう出てくるで。

ヒューマン
ヒューマン

「自然」って言うから、理科の観察の話かと思たわ。

エコノ
エコノ

「研究者がやらんでも、自然に起きてしもた実験」くらいの意味や。

📝 ここまでのおさらい

  • 国の制度や会社のトップが相手の問いほど、くじ引き(RCT)はできない
  • かといって、そのまま比べると交絡が入り込む
  • 研究者の代わりに、偶然が割り振ってくれた場面を探して比べる
  • これが自然実験

偶然が割り振ってくれた場面を見つける、という発想はわかりました。では、具体的に何と何を比べればいいのか。最低賃金の実際の研究で見ていきます。

第2幕:州境がくじ引きの代わりになる

エコノ
エコノ

有名な研究がある。1990年代のはじめ、アメリカのニュージャージー州が最低賃金を上げた。隣のペンシルベニア州は据え置きや。経済学者のカードとクルーガーは、両州のファストフード店に、引き上げの前と後で「何人雇ってるか」を聞いて回った。

ヒューマン
ヒューマン

ほな話は早いやん。ニュージャージーの店で、雇用が減ったかどうか見たらええんやろ。

エコノ
エコノ

まずはそれでやってみよか。ニュージャージーの店は、引き上げの後、従業員がちょっとだけ増えてた。

ヒューマン
ヒューマン

増えとるやん。最低賃金を上げても減らんかった。はい終わり。

エコノ
エコノ

待て待て。2月と11月のあいだに、景気や季節が変わってたかもしれへんやろ。ファストフードは時期によって忙しさがちゃうで。

ヒューマン
ヒューマン

あー……。「前後」だけ比べたら、そのあいだに起きた別のことと区別がつかんのか。RCTの記事の「風邪は放っといても治る」と同じ話やな。

エコノ
エコノ

そういうこと。そこで州境の向こう側を見る。最低賃金が変わらへんかったペンシルベニアの店は、同じ期間に、むしろ従業員が減ってた。

ヒューマン
ヒューマン

え、上げてへんほうが減っとるんか。

エコノ
エコノ

景気や季節の変化は、州境の両側に同じようにかかるはずや。ペンシルベニアで減ってるってことは、最低賃金を上げてへんかったら、ニュージャージーも同じくらい減ってたかもしれへん、ってことになる。

ヒューマン
ヒューマン

ほな、ニュージャージーは「本来やったら減るはずが、逆にちょっと増えた」ってことか。隣と比べたら、けっこう差がついとるやん。

エコノ
エコノ

そういうこっちゃ。比べる相手がおらんかったら「ちょっと増えた」で終わってた話が、隣と並べたとたんに見え方が変わる。

ヒューマン
ヒューマン

「前後」を比べて、さらに「内と外」を比べる。2回比べることで、季節とか景気みたいな「両側に共通の変化」を消してるんか。

エコノ
エコノ

そのとおり。前後と内外を両方比べるこのやり方には、ちゃんと名前があるんやけど、それはまた別の記事でじっくりやろう。ここで大事なんは、なんで州境が「くじ引きの代わり」になるのか、や。

ヒューマン
ヒューマン

うーん……。どっちの州に店があるかは、最低賃金の議論が始まるずっと前から決まってた、ってことか? 店のほうが「最低賃金が上がりそうやから、ペンシルベニアに引っ越そ」とかしてへんかぎり。

エコノ
エコノ

冴えてるやん。割り振りが、調べたい結果とは関係なく決まってる。これが自然実験の生命線や。

ヒューマン
ヒューマン

で、結局、最低賃金を上げても雇用は減らんかったん?

エコノ
エコノ

この研究では、教科書の予想に反して、減ってへんかった。ただ、これ1本で決着がついたわけやない。そこは補足で話そう。

📝 ここまでのおさらい

  • 「前後」だけ比べると、そのあいだの季節や景気の変化と区別がつかない
  • 変化がなかった側(境界の向こう)と比べると、両側に共通の変化を消せる
  • どちらの側にいるかが結果と関係なく決まっていれば、境界がくじ引きの代わりになる

割り振りが、結果と関係なく決まっていること。ここが自然実験の生命線です。逆にここを外すと、どれだけたくさんの事例を集めても台無しになります。

第3幕:結果を見てから選んだら台無し

ヒューマン
ヒューマン

よっしゃ、ほな今度は俺が自然実験やってみるわ。社長って、ほんまに会社を左右すんのか。調べたろ。

エコノ
エコノ

ほう。どうやって?

ヒューマン
ヒューマン

大成功した会社をぎょうさん集めて、そこの社長の共通点を探すねん。みんな早起きで、でっかいビジョンを語ってた! とか出てきそうやろ。

エコノ
エコノ

それ、まさに『ビジョナリー・カンパニー』って本のやり方や。読み物としてはめちゃくちゃ面白い本やで。

ヒューマン
ヒューマン

なんか褒められてる気がせえへんな。

エコノ
エコノ

選び方を見てみ。お前は「成功した」っていう結果を見てから会社を選んで、それから理由を探してる。

ヒューマン
ヒューマン

それの何があかんの?

エコノ
エコノ

早起きでビジョンを語る社長、潰れた会社にもぎょうさんおったかもしれへんやろ。結果で選んだら、潰れた会社は最初から視界に入らへん。しかも理由は、後からいくらでもこじつけられる。

ヒューマン
ヒューマン

うっ……。ほな、どうすんねん。

エコノ
エコノ

逆向きに選ぶんや。結果やなくて、原因の側で組を分ける。デンマークの研究者たちは、国の記録から、社長(CEO)が亡くなった会社をたくさん拾い出した。

ヒューマン
ヒューマン

縁起でもない研究やな……。でも、そうか。社長が亡くなるかどうかは、会社が儲かってるかどうかとは、ふつう関係ないもんな。

エコノ
エコノ

そう。州境と同じ役割や。で、その後の利益を見ると、社長が亡くなった会社では、利益がはっきり落ちてた。

ヒューマン
ヒューマン

やっぱり社長は大事やったんか。

エコノ
エコノ

ここで研究者は、もう二押し確かめてる。まず、亡くなる前の時期には、その会社の業績は業界の平均と変わらんかった。

ヒューマン
ヒューマン

あ、「業績が悪かったから、社長が心労で……」っていう逆向きの話を潰してるんか。

エコノ
エコノ

せや。で、二つめがうまい。社長やなくて、取締役が亡くなった会社も同じように調べた。同じように人が亡くなってるのに、こっちは利益がはっきりとは落ちへんかった。

ヒューマン
ヒューマン

おお。「会社の偉い人が亡くなったら、みんなショックで業績が落ちる」だけの話やったら、取締役でも落ちるはずやもんな。落ちたんは社長のときだけ……ほな、効いてるのは「社長」そのものってことか。

エコノ
エコノ

そういうこっちゃ。偶然の割り振りが本当に「ほぼくじ引き」とみなせるかを、手を変え品を変えて確かめる。ここが自然実験の腕の見せどころや。この「ほぼくじ引き」を英語で as-if random って言うたりするけど、名前は忘れてくれてええ。

ヒューマン
ヒューマン

さっきの俺のやり方と、選ぶ順番がまるっきり逆やな。

エコノ
エコノ

せや。結果を見てから選ぶか、結果と関係なく起きた出来事で選ぶか。そこで、物語とエビデンスが分かれるんや。

📝 ここまでのおさらい

  • 結果(成功)を見てから例を選ぶと、反対の例が視界から消え、理由を後付けできてしまう
  • 自然実験は、結果と関係なく起きた出来事で組を分け、その後を比べる
  • 「事前には差がなかったか」「似た出来事の比較対象(取締役の死)で差が出ないか」で、割り振りがくじ引きに近いかを確かめる

補足:自然実験でも気をつけること

自然実験は、くじ引きができない問いに挑める強力な道具ですが、RCTと同じように万能ではありません。論文を読むときに知っておくと役立つ限界を、3つだけ紹介しておきます。

ヒューマン
ヒューマン

自然実験、RCTと同じくらい強いやん。これで何でも確かめられるな。

エコノ
エコノ

そうもいかん。弱点は大きく3つある。1つめは「その偶然、ほんまに偶然か」や。CEOの研究でも、著者たち自身が「予期されていた死と、予期されていなかった死を区別できない」って書いてる。長い闘病の末やったら、会社は前から備えてたかもしれへんし、業績も前から揺れてたかもしれへん。

ヒューマン
ヒューマン

でも、亡くなる前の業績は変わらんかった、って確かめてたやん。

エコノ
エコノ

せや、だからある程度は安心できる。けど、完全には消されへん。RCTのくじは研究者が自分で引くから「偶然や」と保証できる。自然実験は、起きてしもたことを後から振り返って「これは偶然やったはずや」と論証するしかないんや。

ヒューマン
ヒューマン

なるほどな。2つめは?

エコノ
エコノ

1本では決着せえへんこと。最低賃金の研究には、その後、反論と再分析が続いた。データの取り方や比べ方を変えると、結果の見え方が変わる、っていう議論や。

ヒューマン
ヒューマン

え、ほな「減らんかった」はウソやったん?

エコノ
エコノ

ウソやない。ただ、1つの自然実験は、1つの場所、1つの時期に起きた、1回きりの偶然や。似た状況で何度も確かめて、ようやく話が固まっていく。

ヒューマン
ヒューマン

その顔は、3つめもあるな。

エコノ
エコノ

よう分かったな。3つめは「何を測ったか」。CEOの研究で分かったんは「社長が急にいなくなったら、会社はどれだけ困るか」や。「この社長に年俸何億円払う価値があるか」とは、ぴったり同じ問いやない。

ヒューマン
ヒューマン

偶然が割り振ってくれたもんしか測られへん、ってことか。

エコノ
エコノ

そういうこっちゃ。偶然に頼る以上、問いの形も偶然に合わせるしかない。

この用語に関連する記事

用語解説シリーズ(交絡への対処という同じ文脈)

書評(自然実験で「リーダーは効くか」を確かめた本)

確証バイアスシリーズ(「結果から選ぶ」クセの正体)

この記事のまとめ

  • 自然実験=研究者の代わりに偶然が割り振ってくれた状況を、実験の代わりに使う方法
  • 国の制度や会社のトップなど、くじ引き(RCT)ができない問いで使われる
  • 「前後」だけ比べると季節や景気の変化と区別がつかない。変化がなかった側と比べて、共通の変化を消す(最低賃金の州境)
  • 割り振りが結果と関係なく決まっていることが生命線
  • 結果を見てから例を選ぶ(『ビジョナリー・カンパニー』型)と、反対の例が消え、理由を後付けできてしまう
  • 「事前に差がなかったか」「似た出来事の比較対象で差が出ないか」で、割り振りがくじ引きに近いかを確かめる(CEOと取締役の死)
  • 限界:偶然かどうかは後から論証するしかない/1本では決着しない/偶然が割り振ったものしか測れない

執筆後記

自然実験の記事を書きながら、少し前に書いた確証バイアスシリーズの第4回、Klayman & Ha (1987) のことを考えてました。

あの論文は、私たちの確かめ方を2つに分けていました。自分で例を選んで「当てはまるか」を試すやり方(Htest)と、答えがわかっている例を選んで「条件がそろっていたか」をさかのぼるやり方(Ttest)です。2-4-6課題の被験者は、好きな3つの数を出して試すことができました。実験室では、試す例を自分で選べるのです。

ところが「社長は会社を左右するか」という問いの前では、その道が閉じています。社長を入れ替えたり、いなくしたりして試すことはできません。試せない問いを前にしたとき、手元に残るのは、もう起きてしまったことだけです。そして私たちは、ほとんど自動的に、うまくいった会社を集めて、その社長の共通点を探しはじめます。成功という答えがわかっている例を集めて、条件をさかのぼる。いわゆる+Ttest です。『ビジョナリー・カンパニー』がすっと面白く読めてしまうのは、この流れに逆らわない本だからなのだと思います。

1987年の論文は、+Ttest そのものを悪者にはしていませんでした。条件によっては理にかなった探し方になる、というのが論文の立場です。ただ、この探し方で確かめられるのは「成功した会社には、その条件がそろっていたか」までです。その条件があれば成功するのか、その条件を持っていた会社がほかにどうなったのかは、成功例をいくら集めても見えてきません。

自然実験は、そこで踏みとどまる方法でした。結果の側からではなく、条件の側から例を集める。社長が亡くなった会社を業績と関係なく拾い出し、取締役が亡くなった会社と並べて、その後を見る。操作はできなくても、偶然に割り振りを任せることで、「条件を見て選び、結果を確かめる」という Htest の形を取り戻しているわけです。試せない問いの前で人が流れやすい道に、統制をとって、きちんと逆らう。自然実験は、そういう工夫なのだと思います。

「〜のおかげで」という話を聞いたら、いったん立ち止まって、その例は結果を見てから選ばれたのか、それとも結果と関係なく決まった割り振りで選ばれたのかを問う。試せない問いの前でこそ、この一つの問いが効いてくるのだと思います。

参考文献

  • Card, D., & Krueger, A. B. (1994). Minimum wages and employment: A case study of the fast-food industry in New Jersey and Pennsylvania. American Economic Review, 84(4), 772–793.──第2幕で紹介した研究
  • Bennedsen, M., Pérez-González, F., & Wolfenzon, D. (2007). Do CEOs matter? (SSRN Working Paper No. 970575). https://doi.org/10.2139/ssrn.970575──第3幕と補足で紹介した研究

コメント

タイトルとURLをコピーしました