A 2016 -os választási előrejelzések értékelése

A hónap elején a BuzzFeed News -on bejelentettük, hogy minősítjük az idei választási előrejelzéseket . Hétfőn délután végre a michigani vászontanács igazolta Trump győzelmét . Most, hogy végre minden államot felhívtak - ezt feltételezve Jill Stein újragondolási törekvése nem változtat a dolgokon - megvan az eredmény.



Igen, a a közvélemény -kutatások tévedtek . De néhány előrejelző, akik jellemzően a közvélemény -kutatásokra támaszkodnak, és gyakran más adatokkal kombinálják őket, hogy esélyt adjanak arra, ki nyer, kevésbé tévedtek, mint mások. Ennek meghatározásához nem kell divatos matematika Nate Silver FiveThirtyEight előrejelzései , bár jobb esélyeket adtak Hillary Clintonnak, mint Trumpnak, a legkevésbé tévedtek. Nemcsak Trumpnak adott több mint 1 az 4-ben esélyt a választások megnyerésére, hanem ő is többször védekezett az előrejelzései ” bullishness Trumpon , későbbi okok miatt bizonyított előrelátó . Más nagy horderejű előrejelzések kicsi-eltűnő esélyeket adtak Trumpnak.

Összefoglalva, íme az általunk megvizsgált előrejelzések, amelyek fel vannak sorolva annak valószínűsége alapján, hogy Trump megverné vagy megkötözné Clintont a Választási Főiskolán:



Ezek az előrejelzések azon alapulnak, hogy az 50 állam és a Columbia körzet mindegyikének hogyan kellett szavaznia. Jobban - bár még mindig tökéletlenül - megérthetjük az előrejelzők megítélését, ha megnézzük, hogyan jósolták az egyes állami versenyeket.

Az alapok erre vezethetők vissza: Mely előrejelzők kapták a legtöbb hívást? Melyik állt legközelebb Clinton és Trump végső határához? Melyek az előrejelzők legjobban kiegyensúlyozott magabiztosságát és helyességét? (Például: 99% vagy 80% esélyt adtak Clintonnak Michigan megnyerésére? És igazuk volt?)

A bonyolult előrejelzések megítélésének egyszerű módja

A legegyszerűbb megközelítés csupán az egyes előrejelzők által helyesen meghívott állapotok számának számítása. De ez elmulasztja a kritikus árnyalatokat. Például nem veszi figyelembe az 51% és a 99% odds közötti különbséget. Ennek ellenére könnyű kezdeni.

A Princetoni Választási Konzorcium Sam Wang több államot tippelt helyesen, mint bárki más, akit megvizsgáltunk: 46 plusz a District of Columbia. Ezüst FiveThirtyEight, és szinte minden más előrejelzés 45 -et helytálló. (Wang, a többi előrejelzővel ellentétben, azt hitte, Trump megnyeri Észak -Karolinát.)

Ez rávilágít egy paradoxonra: annak ellenére, hogy helytelenül hisz abban, hogy Clinton elfoglalja a Fehér Házat - 99% -os esélyt adva neki -, Wang több államot sejtett igazat, mint bárki más.

Akkor miért gondolta, hogy Trumpnak ilyen kicsi esélye van a győzelemre? Nem csak az állami közvélemény -kutatások kudarcot vallanak , de a legtöbben ugyanúgy kudarcot vallottak: alábecsülték Trumpot. Ezt korrelált hibának hívják. Minden előrejelző rájön, hogy a közvélemény -kutatások nem tökéletesek; néha rossz embereket kérdeznek meg ill helytelenül mérlegeljék a válaszaikat . De az előrejelző munkájának része az, hogy megbecsülje, mennyire valószínű - és mennyire kiterjedt - a korrelációs hiba. Sok előrejelző valószínűtlennek tartotta ezt a kilátást , de Nate Silver nem .

Ebben a választások után az én hibám , Wang ezt a hibát jelölte meg előrejelzése Achilles -sarkának. Nem becsültem meg helyesen a korrelációs hiba nagyságát - ötszörösére - írta. A szavazások sikertelenek, és ezt a kudarcot megerősítettem.

Árnyaltabb megközelítés

Készen állsz egy kicsit több matekra? Egy metrika az úgynevezett Brier pontszám széles körben használják az előrejelzők pontosságának számszerűsítésére - választásokon és azon túl. (Ez a fő mutató mondtuk, hogy osztályozásra használjuk . Közzétettük a adatokat és kódot a számítások mögött a GitHubon .)

A Brier -pontszámok csak két dolgot vesznek figyelembe: Mennyire valószínű, hogy az előrejelző azt gondolta, hogy valami történni fog, és meg is tette? A Brier pontszámok a bizalmat jutalmazzák, ha igazad van, de büntetnek a bizalomért, ha tévedsz.

A kisebb pontszámok jobbak. A nulla a lehető legjobb pontszám - ez azt jelenti, hogy 100% -ban biztos volt a jóslataiban, és minden rendben volt. A lehető legrosszabb pontszám az 1 - 100% -ban biztos volt a jóslataiban, és mindegyik tévedett.

Az alábbiakban kétféle Brier -pontszám található az egyes előrejelzésekhez. Az elsőt az egyes államok választói szavazatai súlyozzák, így Pennsylvania (20 szavazat) ötször annyit számít, mint New Hampshire (4 szavazat). A második minden államot egyformán számít:

Mint látható, a FiveThirtyEight előrejelzései érték a legjobban. Az New York Times és a PollSavvy - amely Trump elnökségének a következő legjobb esélyeket adta a FiveThirtyEight után - állami szinten is viszonylag jó eredményeket ért el. A legrosszabbul teljesítő előrejelzések a Huffington Post és Napi Kos Mindkettő közel bizonyos esélyeket adott arra, hogy Clinton megnyerje Pennsylvaniát, Wisconsint és Michigant. (Nem sokkal a választások után az Huffington Post Szavazásszerkesztője írt egy cikket, amelyben elmagyarázta hogyan fújtuk le, és mit teszünk annak megakadályozása érdekében, hogy megismétlődjön .)

A fenti diagramon észreveheti, hogy az összes előrejelzés rosszabb lett a súlyozott oszlopban, mint a súlyozatlan. Ez lényegében azt mondja: Összességében az előrejelzők rosszabbul jósolták az eredményt a népesebb államokban, mint a kisebbekben. (Mellékjegyzés: Még a legpontosabb előrejelzések is rosszabbul teljesítettek a Brier -pontszámnál, mint bármely nagy horderejű előrejelzés 2012-ben , a választás sokkal kevesebb meglepetéssel jár.)

Egy másik gyakori mutató, a logaritmikus pontozási szabály - ami még nagyobb büntetést von maga után a helytelen magabiztosságnál - hasonló rangsorokat eredményez felül és alul, néhány eltolással a csomag közepén, és büntet Napi Kos extra érte szélsőséges bullishness Clintonon Michiganben :



Megjegyzés: A kerekítés érdekében a fenti naplózási pontszámok minden 0% -os esélyt 0,01% (vagy 10 000 -ből 1) esélynek tartanak.

Ha megnézzük az előrejelzők előrejelzéseit, láthatjuk, hogy a FiveThirtyEight előrejelzése elkülönül a csomag többi részétől november elején:



A szavazás előrejelzése

Nyilvánvaló, hogy a közvélemény -kutatások alulreprezentálták Trump támogatását. De melyik előrejelzés jósolta a legpontosabban az állami szintű szavazati arányokat? Ez egy kicsit nehezebben megválaszolható kérdés, mert az előrejelzők kissé eltérő módon képviselték Trump várható győzelmi árrését. Az előrejelzéseket két típusba sorolhatjuk, némi átfedéssel:

  • Előrejelzések, amelyek lehetővé teszik Trump várható számítását százalékpontos győzelem Clinton felett, az összes szavazat között. Ez a csoport a FiveThirtyEight, a PollSavvy, a New York Times , a Princeton Választási Konzorcium és a Huffington Post .

  • Előrejelzések, amelyek lehetővé teszik Trump várható számítását részesedése a kétpárti szavazásból (azaz Johnson, Stein és McMullin kivételével). Ez a csoport a FiveThirtyEight, PollSavvy, Napi Kos , Kremp / Pala , valamint Desart és Holbrook. (A PredictWise nem tett előre szavazatmegosztási előrejelzéseket.)

Minden egyes elnöki állam előrejelzése - kivéve a DC -t (amelyet egyes előrejelzések nem becsültek meg) és Utah -t (ahol az előrejelzők különböző megközelítéseket alkalmaztak McMullin jelöltségére) - kiszámítottuk gyök-közép-négyzet hiba az előrejelzők előrejelzett árréséből és a tényleges eredményekből. (Egyes államok még nem jelentették be teljes mértékben szavazataikat, de úgy tűnik, hogy az egyes futamok jelenlegi árrése stabil. Frissítjük a bejegyzést, amikor a végső döntő lesz.)

Az első csoport közül a FiveThirtyEight ért el legjobb eredményt (a kisebb számok jobbak):



A második közül a FiveThirtyEight rosszabbul teljesített, részben azért, mert nagyobb mértékben alábecsülte Trump támogatását a republikánus fellegvárokban, például Nyugat -Virginiában és Dél -Dakotában, mint például Napi Kos tette:



A szenátus versenyei

Az előrejelzők közül sokan jóslatokat tettek közzé az idei szenátusi futamokra is. Az alábbi táblázat azt mutatja, hogyan szereztek gólt az általunk osztályozott 32 versenyen. (Nem minősítettük a kaliforniai szenátusi versenyt, amely két demokratát állított szembe egymással, vagy a louisianaiét, amely technikailag elsődleges volt.)



Itt a FiveThirtyEight és a New York Times vezette a csomagot, bár a pontos rangsor attól függ, hogyan szerez pontszámot. A Brier-pontszámok szerint a FiveThirtyEight közvélemény-kutatás-plusz modellje szegélyezte a Times . De a logaritmikus pontozási szabály éppen elegendő többletbüntetést szabott ki a közvélemény-kutatások ellen-plusz-mivel túlzottan bízik Russ Feingold wisconsini esélyeiben-, hogy Times az első helyet.

Ennyi erre az évre.