「ヒューマン&エコノに学ぶ、研究用語・統計用語」は、論文解説記事を読んでいて「ん?」となった用語を、掛け合い形式で解きほぐすシリーズです。統計の授業を受けたことがない方を想定しています。この記事は掛け合いが主役です。
今回のお題は自然実験。RCTの記事の補足で、エコノが「偶然がくじ引きの代わりをしてくれた場面を探す『自然実験』や」とサラッと言って終わったアレです。ダイアモンドの新刊の書評で「州境がくじの代わりに割り振りの役を果たす」と書いたアレ。同じ書評で「CEOが亡くなったら、会社の利益はどうなるか」を紹介したアレ。前回エコノが言うてたアレ、今回やります。
サマリとこの記事でわかること
自然実験とは、研究者がくじ引きで割り振る代わりに、法律の変更や思いがけない出来事のように「偶然が割り振ってくれた」状況を見つけ、それを実験の代わりに使って原因と結果を確かめる方法です。
- くじ引き(RCT)ができない問いを、どうやって確かめるのか──偶然に割り振りを任せる発想
- 「州境」がくじ引きの代わりになる理由──「前後」と「内外」を両方比べるしくみ
- 「結果を見てから選ぶ」と台無しになる理由──CEOの死の研究と『ビジョナリー・カンパニー』の違い
- 自然実験の限界──本当に偶然か、1本で決着しない理由、何を測っているのか
第1幕:国をくじ引きで分けるわけにはいかへん
最低賃金を上げたら雇用が減る、って聞いたことあるわ。店が人件費を払いきれんようになるから、って。あれ、ほんまなん?
経済学の教科書は、そう予想する。ほな確かめてみよか。RCTの記事でやった方法やと、どう確かめる?
くじ引きやろ。介入群と対照群。国をくじで2つに分けて、片方だけ最低賃金を上げる。で、比べる。
完璧や。で、誰がそれをやらしてくれるん?
……総理大臣でも無理やな。「あんたの県はくじで外れたんで、時給据え置きね」って言うたら暴動起きるわ。
せやろ。国の制度、会社のトップ、景気、災害──世の中の大事な問いほど、くじ引きができへんのや。かといって「最低賃金を上げた国」と「上げてへん国」をそのまま比べたらどうなる?
あ、交絡の記事の「裏の第三者」が出てくるな。景気のええ国ほど最低賃金を上げやすい、とか。それやと、雇用が増えたんが景気のおかげか最低賃金のおかげか分からん。
ようできました。そこで発想を変える。研究者がくじを引けへんのやったら、偶然がくじを引いてくれた場面を探せばええ。
偶然がくじを引く? どういうこと?
たとえば、法律がたまたま州境の片側だけで変わった。社長が、会社の業績とは関係なく亡くなった。研究者は何ひとつ手を出してへんのに、「変わった組」と「変わらへんかった組」が、世の中に勝手にできてるやろ。
なるほど。くじ引きの役を、世の中の出来事が肩代わりしてくれたってことか。
そういうこっちゃ。この「偶然の割り振りを、実験の代わりに使う」方法を自然実験って呼ぶ。英語やと natural experiment。論文でよう出てくるで。
「自然」って言うから、理科の観察の話かと思たわ。
「研究者がやらんでも、自然に起きてしもた実験」くらいの意味や。
📝 ここまでのおさらい
- 国の制度や会社のトップが相手の問いほど、くじ引き(RCT)はできない
- かといって、そのまま比べると交絡が入り込む
- 研究者の代わりに、偶然が割り振ってくれた場面を探して比べる
- これが自然実験
偶然が割り振ってくれた場面を見つける、という発想はわかりました。では、具体的に何と何を比べればいいのか。最低賃金の実際の研究で見ていきます。
第2幕:州境がくじ引きの代わりになる
有名な研究がある。1990年代のはじめ、アメリカのニュージャージー州が最低賃金を上げた。隣のペンシルベニア州は据え置きや。経済学者のカードとクルーガーは、両州のファストフード店に、引き上げの前と後で「何人雇ってるか」を聞いて回った。
ほな話は早いやん。ニュージャージーの店で、雇用が減ったかどうか見たらええんやろ。
まずはそれでやってみよか。ニュージャージーの店は、引き上げの後、従業員がちょっとだけ増えてた。
増えとるやん。最低賃金を上げても減らんかった。はい終わり。
待て待て。2月と11月のあいだに、景気や季節が変わってたかもしれへんやろ。ファストフードは時期によって忙しさがちゃうで。
あー……。「前後」だけ比べたら、そのあいだに起きた別のことと区別がつかんのか。RCTの記事の「風邪は放っといても治る」と同じ話やな。
そういうこと。そこで州境の向こう側を見る。最低賃金が変わらへんかったペンシルベニアの店は、同じ期間に、むしろ従業員が減ってた。
え、上げてへんほうが減っとるんか。
景気や季節の変化は、州境の両側に同じようにかかるはずや。ペンシルベニアで減ってるってことは、最低賃金を上げてへんかったら、ニュージャージーも同じくらい減ってたかもしれへん、ってことになる。
ほな、ニュージャージーは「本来やったら減るはずが、逆にちょっと増えた」ってことか。隣と比べたら、けっこう差がついとるやん。
そういうこっちゃ。比べる相手がおらんかったら「ちょっと増えた」で終わってた話が、隣と並べたとたんに見え方が変わる。
「前後」を比べて、さらに「内と外」を比べる。2回比べることで、季節とか景気みたいな「両側に共通の変化」を消してるんか。
そのとおり。前後と内外を両方比べるこのやり方には、ちゃんと名前があるんやけど、それはまた別の記事でじっくりやろう。ここで大事なんは、なんで州境が「くじ引きの代わり」になるのか、や。
うーん……。どっちの州に店があるかは、最低賃金の議論が始まるずっと前から決まってた、ってことか? 店のほうが「最低賃金が上がりそうやから、ペンシルベニアに引っ越そ」とかしてへんかぎり。
冴えてるやん。割り振りが、調べたい結果とは関係なく決まってる。これが自然実験の生命線や。
で、結局、最低賃金を上げても雇用は減らんかったん?
この研究では、教科書の予想に反して、減ってへんかった。ただ、これ1本で決着がついたわけやない。そこは補足で話そう。
📝 ここまでのおさらい
- 「前後」だけ比べると、そのあいだの季節や景気の変化と区別がつかない
- 変化がなかった側(境界の向こう)と比べると、両側に共通の変化を消せる
- どちらの側にいるかが結果と関係なく決まっていれば、境界がくじ引きの代わりになる
割り振りが、結果と関係なく決まっていること。ここが自然実験の生命線です。逆にここを外すと、どれだけたくさんの事例を集めても台無しになります。
第3幕:結果を見てから選んだら台無し
よっしゃ、ほな今度は俺が自然実験やってみるわ。社長って、ほんまに会社を左右すんのか。調べたろ。
ほう。どうやって?
大成功した会社をぎょうさん集めて、そこの社長の共通点を探すねん。みんな早起きで、でっかいビジョンを語ってた! とか出てきそうやろ。
それ、まさに『ビジョナリー・カンパニー』って本のやり方や。読み物としてはめちゃくちゃ面白い本やで。
なんか褒められてる気がせえへんな。
選び方を見てみ。お前は「成功した」っていう結果を見てから会社を選んで、それから理由を探してる。
それの何があかんの?
早起きでビジョンを語る社長、潰れた会社にもぎょうさんおったかもしれへんやろ。結果で選んだら、潰れた会社は最初から視界に入らへん。しかも理由は、後からいくらでもこじつけられる。
うっ……。ほな、どうすんねん。
逆向きに選ぶんや。結果やなくて、原因の側で組を分ける。デンマークの研究者たちは、国の記録から、社長(CEO)が亡くなった会社をたくさん拾い出した。
縁起でもない研究やな……。でも、そうか。社長が亡くなるかどうかは、会社が儲かってるかどうかとは、ふつう関係ないもんな。
そう。州境と同じ役割や。で、その後の利益を見ると、社長が亡くなった会社では、利益がはっきり落ちてた。
やっぱり社長は大事やったんか。
ここで研究者は、もう二押し確かめてる。まず、亡くなる前の時期には、その会社の業績は業界の平均と変わらんかった。
あ、「業績が悪かったから、社長が心労で……」っていう逆向きの話を潰してるんか。
せや。で、二つめがうまい。社長やなくて、取締役が亡くなった会社も同じように調べた。同じように人が亡くなってるのに、こっちは利益がはっきりとは落ちへんかった。
おお。「会社の偉い人が亡くなったら、みんなショックで業績が落ちる」だけの話やったら、取締役でも落ちるはずやもんな。落ちたんは社長のときだけ……ほな、効いてるのは「社長」そのものってことか。
そういうこっちゃ。偶然の割り振りが本当に「ほぼくじ引き」とみなせるかを、手を変え品を変えて確かめる。ここが自然実験の腕の見せどころや。この「ほぼくじ引き」を英語で as-if random って言うたりするけど、名前は忘れてくれてええ。
さっきの俺のやり方と、選ぶ順番がまるっきり逆やな。
せや。結果を見てから選ぶか、結果と関係なく起きた出来事で選ぶか。そこで、物語とエビデンスが分かれるんや。
📝 ここまでのおさらい
- 結果(成功)を見てから例を選ぶと、反対の例が視界から消え、理由を後付けできてしまう
- 自然実験は、結果と関係なく起きた出来事で組を分け、その後を比べる
- 「事前には差がなかったか」「似た出来事の比較対象(取締役の死)で差が出ないか」で、割り振りがくじ引きに近いかを確かめる
補足:自然実験でも気をつけること
自然実験は、くじ引きができない問いに挑める強力な道具ですが、RCTと同じように万能ではありません。論文を読むときに知っておくと役立つ限界を、3つだけ紹介しておきます。
自然実験、RCTと同じくらい強いやん。これで何でも確かめられるな。
そうもいかん。弱点は大きく3つある。1つめは「その偶然、ほんまに偶然か」や。CEOの研究でも、著者たち自身が「予期されていた死と、予期されていなかった死を区別できない」って書いてる。長い闘病の末やったら、会社は前から備えてたかもしれへんし、業績も前から揺れてたかもしれへん。
でも、亡くなる前の業績は変わらんかった、って確かめてたやん。
せや、だからある程度は安心できる。けど、完全には消されへん。RCTのくじは研究者が自分で引くから「偶然や」と保証できる。自然実験は、起きてしもたことを後から振り返って「これは偶然やったはずや」と論証するしかないんや。
なるほどな。2つめは?
1本では決着せえへんこと。最低賃金の研究には、その後、反論と再分析が続いた。データの取り方や比べ方を変えると、結果の見え方が変わる、っていう議論や。
え、ほな「減らんかった」はウソやったん?
ウソやない。ただ、1つの自然実験は、1つの場所、1つの時期に起きた、1回きりの偶然や。似た状況で何度も確かめて、ようやく話が固まっていく。
その顔は、3つめもあるな。
よう分かったな。3つめは「何を測ったか」。CEOの研究で分かったんは「社長が急にいなくなったら、会社はどれだけ困るか」や。「この社長に年俸何億円払う価値があるか」とは、ぴったり同じ問いやない。
偶然が割り振ってくれたもんしか測られへん、ってことか。
そういうこっちゃ。偶然に頼る以上、問いの形も偶然に合わせるしかない。
この用語に関連する記事
用語解説シリーズ(交絡への対処という同じ文脈)
- RCT(ランダム化比較試験)とは?「効いた」を証明する最強の方法をゼロから解説──補足で自然実験が初めて顔を出した記事。研究者が自分でくじを引くRCTと、偶然にくじを引いてもらう自然実験は、対になっている
- 相関関係と因果関係の違いは?「裏の第三者(交絡)」の正体をゼロから解説──そのまま比べると入り込む「裏の第三者」の正体。自然実験は、これを偶然の割り振りで封じる工夫
- 回帰分析とは?「共変量を入れたら効果が消えた」を理解するための基礎知識──思いついた交絡を差し引く、もう一つの対処法。自然実験とは攻め方が違う
書評(自然実験で「リーダーは効くか」を確かめた本)
- 『商人・預言者・指導者・王』書評・レビュー|伝記で惹きつけ、データで冷ます本(ジャレド・ダイアモンド)──最低賃金の州境とCEOの死の研究を、伝記と対比しながら紹介した書評。本記事の第2幕・第3幕の出発点
確証バイアスシリーズ(「結果から選ぶ」クセの正体)
- 確証バイアスは本当にバイアスか?|Klayman & Ha (1987)を読む──答えがわかっている例からさかのぼる「+Ttest」が出てくる回。第3幕の『ビジョナリー・カンパニー』型の選び方と同じ構造
- 確証バイアスを原典から解説|全4回シリーズ+Q&A9選──シリーズ全体の地図
- 自然実験=研究者の代わりに偶然が割り振ってくれた状況を、実験の代わりに使う方法
- 国の制度や会社のトップなど、くじ引き(RCT)ができない問いで使われる
- 「前後」だけ比べると季節や景気の変化と区別がつかない。変化がなかった側と比べて、共通の変化を消す(最低賃金の州境)
- 割り振りが結果と関係なく決まっていることが生命線
- 結果を見てから例を選ぶ(『ビジョナリー・カンパニー』型)と、反対の例が消え、理由を後付けできてしまう
- 「事前に差がなかったか」「似た出来事の比較対象で差が出ないか」で、割り振りがくじ引きに近いかを確かめる(CEOと取締役の死)
- 限界:偶然かどうかは後から論証するしかない/1本では決着しない/偶然が割り振ったものしか測れない
執筆後記
自然実験の記事を書きながら、少し前に書いた確証バイアスシリーズの第4回、Klayman & Ha (1987) のことを考えてました。
あの論文は、私たちの確かめ方を2つに分けていました。自分で例を選んで「当てはまるか」を試すやり方(Htest)と、答えがわかっている例を選んで「条件がそろっていたか」をさかのぼるやり方(Ttest)です。2-4-6課題の被験者は、好きな3つの数を出して試すことができました。実験室では、試す例を自分で選べるのです。
ところが「社長は会社を左右するか」という問いの前では、その道が閉じています。社長を入れ替えたり、いなくしたりして試すことはできません。試せない問いを前にしたとき、手元に残るのは、もう起きてしまったことだけです。そして私たちは、ほとんど自動的に、うまくいった会社を集めて、その社長の共通点を探しはじめます。成功という答えがわかっている例を集めて、条件をさかのぼる。いわゆる+Ttest です。『ビジョナリー・カンパニー』がすっと面白く読めてしまうのは、この流れに逆らわない本だからなのだと思います。
1987年の論文は、+Ttest そのものを悪者にはしていませんでした。条件によっては理にかなった探し方になる、というのが論文の立場です。ただ、この探し方で確かめられるのは「成功した会社には、その条件がそろっていたか」までです。その条件があれば成功するのか、その条件を持っていた会社がほかにどうなったのかは、成功例をいくら集めても見えてきません。
自然実験は、そこで踏みとどまる方法でした。結果の側からではなく、条件の側から例を集める。社長が亡くなった会社を業績と関係なく拾い出し、取締役が亡くなった会社と並べて、その後を見る。操作はできなくても、偶然に割り振りを任せることで、「条件を見て選び、結果を確かめる」という Htest の形を取り戻しているわけです。試せない問いの前で人が流れやすい道に、統制をとって、きちんと逆らう。自然実験は、そういう工夫なのだと思います。
「〜のおかげで」という話を聞いたら、いったん立ち止まって、その例は結果を見てから選ばれたのか、それとも結果と関係なく決まった割り振りで選ばれたのかを問う。試せない問いの前でこそ、この一つの問いが効いてくるのだと思います。
参考文献
- Card, D., & Krueger, A. B. (1994). Minimum wages and employment: A case study of the fast-food industry in New Jersey and Pennsylvania. American Economic Review, 84(4), 772–793.──第2幕で紹介した研究
- Bennedsen, M., Pérez-González, F., & Wolfenzon, D. (2007). Do CEOs matter? (SSRN Working Paper No. 970575). https://doi.org/10.2139/ssrn.970575──第3幕と補足で紹介した研究

コメント