[SCRÂȘIT] [FOȘTIT] [CLIC] ESTHER DUFLO: Deci, unde am lăsat ultima oară, am găsit o justificare teoretică a motivului pentru care oamenii ar putea să vă spună cine sunt oamenii influenți dintr-o rețea, chiar dacă nu au idee într-adevăr de forma rețelei. Pur și simplu pentru că se întâmplă că există o legătură naturală între de câte ori auzim despre cineva și capacitatea din orice mesaj care provine de la acea persoană de a ajunge la o mulțime de oameni. Deci, deși nu este același obiect, ele sunt legate și potenţial destul de strâns legate dacă sunt -- odată ce începem să ne uităm la procesele care continuă mult timp. Deci, cu cât mai repede, acum, să punem asta într-un context de gândire la imunizare. Deci asta a fost de fapt doar a doua oară când am testat-o. Am testat această idee de imunizare într- un proiect la scară largă întreprins în colaborare cu guvernul din Haryana din India. Și obiectivul a fost creșterea imunizării într-un context în care rata de imunizare a fost scăzută și cererea destul de bună. Aprovizionarea a fost destul de bună. Au investit într-o mulțime de infrastructură pentru a face totul mai ușor. Revenind la punctul pe care l-ați spus despre Chile, pentru a le ușura oamenilor să plece. Și totuși, s-a blocat la rata de imunizare completă în anii 40, conform raportului părinților, care probabil sunt oricum supraestimați. Deci, ceea ce aveam în mâinile noastre a fost acest lucru pe care poate bârfele ar funcționa, precum și experimentul anterior pe care v-am arătat deja despre impactul micilor stimulente asupra imunizării. Și așa am decis că putem pune cele două lucruri împreună, precum și o a treia intervenție, care este foarte frecventă. Și, probabil, chiar și pentru propria ta sănătate, primești mementouri de a merge la medic. Dacă ați fost o dată la oftalmolog, veți primi un memento o dată pe an că este timpul să mergeți la oftalmolog. Așa că mementourile prin SMS au devenit, de asemenea, destul de populare. Așa că am vrut să încercăm cele trei lucruri. Și pentru a face asta, mai întâi a trebuit să înființăm un MIS. Nu aveau o modalitate de a colecta imunizarea într-un mod sigur. S-a făcut în registre, registre pe hârtie care nu au fost colectate. Așa că primul lucru pe care l-am făcut a fost să lucrăm cu un grup aici la MIT pentru a crea o platformă mică de mHealth. Spun mic în sensul că era foarte barebones. Era doar pentru imunizare. De altfel, m-am gândit că va fi foarte ușor. Și din orice motiv, nu este. Le-a luat mult timp. Și nu a funcționat repede. Și așa a fost nevoie de luni de zile pentru a dezvolta acel lucru, care este cu adevărat de bază. Este ca un formular Android. Există un aspect de înregistrare. Și apoi... pentru un copil nou. Și apoi, urmărirea pe măsură ce apar copiii. Indiferent de motiv, este mai greu decât ai crede. Inca nu inteleg de ce. Dar merită să ții cont de asta. Dacă vrei să intri în ceva de genul ăsta care implică software, este întotdeauna mai greu decât crezi. Poate, de asemenea, am vrut să lucrăm la scară. Așa că am lucrat în șapte raioane, puțin peste 2.000 de sate. În total, am avut 300.000 de copii unici în sistemul nostru și aproape 500.000 de vaccinuri. Ceea ce o să vă prezint astăzi, totul se bazează pe datele administrative din acel sistem pe care l-am deținut. Deci, o problemă este dacă acel sistem, acele date sunt de încredere sau dacă oamenii mint, de exemplu, dacă copiii care nu au fost niciodată vaccinați sunt înregistrați ca fiind imunizați. Acest lucru este deosebit de relevant pentru stimulent. Dar pentru că ți-ai putea imagina o asistentă care decide că va imuniza o mulțime de copii, dându-și numărul de telefon, sau numărul de telefon al vărului lor, sau tuturor, numărul de telefon al prietenului său și, în acest fel, colectează micile stimulente, care erau de aer. timp la telefon. Așa că ceea ce am făcut acolo a fost că am trimis oameni pe teren să colecteze... să contactăm toate familiile care aveau... nu pe toate. Câteva mostre aleatorii ale familiilor care au fost înregistrate în sistem. Găsiți-i, verificați că există și apoi dacă există, dacă și-au amintit că au mers în tabără și tipul de vaccinări pe care le-au primit. Și vestea bună este că am putea găsi pe toată lumea. Spre deosebire de exerciții similare care s-au efectuat din programul MNREGA sau programul de bunăstare unde te duci în sat să cauți beneficiarii programului de bunăstare și găsești jumătate dintre aceștia. Așa că le găsim pe toate. Și apoi, când îi găsim, ei măcar își amintesc că au mers în tabără. Deși, uneori, nu-și amintesc ce împușcătură au primit. Dar apoi, nu este clar cine greșește în acest moment. Deci, concluzia noastră este, în general, că datele sunt... datele administrative sunt suficient de fiabile. Și asta vom folosi ca măsură. Da? PUBLIC: Întrebare. Când desfășurați un experiment cu mai multe operațiuni de tratament, cum vă gândiți la câte operațiuni trebuie să aveți și... ESTHER DUFLO: Este o întrebare excelentă. Și îți mulțumesc foarte mult că mi-ai cerut-o. Și practic despre asta voi vorbi în cinci minute. De fapt, sper că vei citi ziarul într-o zi. Aceasta este hârtia. Ar fi trebuit să pun programa pe care să o citești acum. Se pune exact acea întrebare. În schimb am pus hârtia „Bârfă” , care e bine și. Și apoi, este... dar care evidențiază doar o parte din asta. Și nu această întrebare despre... există multe tratamente acolo. Dar permiteți-mi să revin la asta într-un minut, doar închideți partea „Bârfă” că am terminat cu asta. Așadar, în partea „Bârfă”-- deci în primul nostru experiment de bârfă, pe care în ziarul pe care îl citiți ocupă locul al doilea. Dar cronologic a fost primul. Tocmai ne-am pus întrebarea: dacă vreau să văd oameni la echitabil, pe cine ar trebui să mă duc să văd? Deci ideea a fost să captezi ceva, care nu este încărcat și este totul despre difuzarea informațiilor. Și apoi, în acel prim experiment, experimentul a fost puțin artificial. Încercam să transferăm informații despre o tombolă pentru telefonul mobil. Dar aici, când ne aflăm acum într-un cadru real și în special într-un cadru de sănătate, s-ar putea să existe... există această problemă de încredere, care este oamenii în care ai putea avea încredere să-ți spună când are loc următoarea aventură sau când următoarea. Tombola pentru telefonul mobil s-ar putea să nu fie cea cu care vei vorbi despre sănătate. Și, deși avem o teorie care spune că oamenii ar putea fi buni să știe cine este bun la răspândirea informațiilor, nu avem o teorie similară care să ne spună dacă oamenii sunt buni să răspândească informații în care oamenii vor crede, în care oamenii au încredere. Deci, ceea ce am decis să facem este să-l testăm. Așa că am întrebat. Oamenii fie au fost la întâmplare la semințe aleatorii. Cineva a întrebat, apropo, în ziar ar fi trebuit să fi avut semințe aleatorii? Deci am avut semințe aleatorii. Sau semințe în care am provocat bârfe, unde am enumerat oamenii de încredere sau bârfele de încredere . Așadar, cum atragem vreunul dintre acești oameni? Mergem și aflăm. Vorbește cu 15 persoane și îi întrebăm. Deci, pentru bârfă, asta e întrebarea. Dacă împărtășesc informații despre festivalul de muzică, jocul de stradă, târgul, mulți oameni ar afla despre asta. Asta pentru că... și apoi avem teoria despre cum, de ce. Ai putea numi acești oameni? Atunci, pentru oamenii de încredere, cine sunt oamenii din acest sat în care tu și mulți săteni ai încredere în acest cartier și în afara acestuia? Asta înseamnă că atunci când dau sfaturi despre ceva, mulți oameni cred că este corect. Și tind să-l urmeze. Deci, desigur, alegerea îngrășământului potrivit pentru cultură și menținerea copilului sănătos. Așa că am adăugat în mod specific exemplul de sănătate pentru că urma să transmitem informații despre sănătate. Și apoi, în sfârșit, bârfe de încredere. Este o gură. Dar mulți oameni ajung să cunoască despre o informație. Și dintre acești oameni, în cine este de încredere? Așa că trebuie să fii mai întâi un bârf, apoi să ai și încredere. Și apoi, intervenția a fost odată ce acești oameni au fost numiți, așa că am găsit acest rezultat că foarte puțini oameni sunt numiți. Și există o mulțime de consens cu privire la cine ar putea fi. Alegem cei cinci -- topul comun al celor 15 din toată dominația de la cei 15 oameni la întâmplare pe care i-am intervievat. Și mergem pentru asta. Așa că cineva a întrebat și dacă este destul de scump să vizitezi 15 persoane. Dar nu este chiar scump să mergem să vizitezi 15 persoane, mai ales dacă nu ne pasă cine sunt ei. Pentru că nu suntem... conform acestei teorii, oricine ar fi bine. Nu trebuie să fie aleatoriu, aleatoriu. Ar putea fi oricine. Deci merge destul de repede să vizitezi 15 persoane. Acestea fiind spuse, acum suntem interesați de extinderea acestui program, pe care îl scurtez, dar care s-a dovedit a fi eficient și rentabil. Și acum, de fapt, am dat peste această problemă, care pentru noi este destul de ușor să mergem să vedem 15 oameni și să înregistrăm răspunsul și să ne terminăm în bârfele noastre. Dar pentru guvern, dacă vrei să faci asta pentru fiecare sat, devine un lucru. Deci cine o va face? Și cum o vor face? Și vor... dacă îi cerem lucrătorului sanitar din prima linie să facă cenușa, vor inventa doar numele? Și, practic, este o piatră de poticnire uriașă. Deci, de fapt, când ți-am citit întrebarea, mi-am spus că nu este atât de scump. Dar apoi spun, ei bine, de fapt, este un coșmar din punct de vedere logistic. Și așa că ceea ce încercăm să facem în extinderea acestui lucru este că nu mai facem asta. Îi întrebăm pe părinți când ei-- deoarece acum au o intervenție mHealth puțin mai bună , le cerem părinților să ne spună. Deci asta speram să facem este să folosim... să adăugăm un modul la tabăra lor de înregistrare când oamenii vin să spună, hei, apropo, cunoști pe cineva care este bârfa? Și așa ne-am gândit că ar fi foarte inteligent. Dar asta nu... deci asta a fost ideea. Că va fi foarte ieftin. De fapt, ar fi foarte ieftin, dar presupune modificarea software-ului, ceea ce se dovedește a fi un coșmar imens. Și a face asistenta să folosească software-ul și să folosească acea versiune modificată. Așa că și noi suntem blocați de o lună. Deci, versiunea actuală-- deci aceasta a fost versiunea 2. Deci versiunea actuală este că avem o bază de date mare de numere de telefon, deoarece există programe uriașe de asigurări de sănătate în care mulți oameni au nevoie și au numere de telefon. Și acești oameni de asigurări de sănătate au un call center. Ei îi cheamă pentru părtinire. Oamenii îi sună pentru a cere chestii de asigurări și îi cheamă pe rând pe oameni. Și acești oameni din call center pot face un sondaj, pot face un scurt sondaj la câțiva oameni din fiecare sat la telefon. Deci acolo ne aflăm acum. Asta pare fezabil. Stați pe fază, vă spun pentru că încă nu am încercat și, prin urmare, nu am reușit. Dar asta ar putea fi o problemă. Oricum pare simplu. Dar nu este atât de simplu. Dar odată ce îi găsim, atunci intrăm și îi vizităm, încercăm să-i înscriem în program și le spunem că le vom trimite aceste mesaje. Deci avem sate stimulative și non-stimulative. Am văzut că satele de stimulente erau bine-- ar fi bine plasate să menționeze că există un program de stimulare. Aceasta este o informație concretă pe care probabil că oamenii nu o știu, deoarece publicitatea programului de stimulare nu este uriașă. Și apoi, în satele fără stimulente, doar o imunizare generală este bună pentru tine, continuă și fă-o. Deci iată rezultatele de bază. Vă voi spune despre mai multe rezultate când voi ajunge la întrebările Kaylei în mai multe detalii. Dar rezultatul de bază este că, dacă ne uităm la rujeolă, acestea vor fi principalele mele rezultate, deoarece aceasta este ultima vaccinare din secvență. Acesta este numărul jurnal de oameni care primesc vaccinul împotriva rujeolei în orice tabără lunară dintr-un sat. Deci aici, este în jurnale. Mai târziu, vă voi arăta rezultatele în niveluri. Dar din anumite motive, la acești oameni, le arătăm în jurnale. Și este cu 18% mai mare în locurile dintr- un sat care au bârfe. Acestea două, bârfele de încredere și cele de încredere nu sunt... niciuna dintre ele nu este de fapt semnificativă. De asemenea, nu sunt semnificativ diferite. Deci nu pot spune că merită. Dar ceea ce este relevant este că nu este mai bine. Și în special, ați putea crede că bârfa de încredere ar fi evident mai bună pentru că este atât o bârfă, cât și este de încredere, dar, desigur, când încerci să găsești o bârfă de încredere, pierzi ceva din dimensiunea bârfei. Deci, dacă, de fapt, se dovedește că nu primești cele mai bârfe potențial, deoarece nu sunt neapărat cele mai de încredere. Deci, dacă, de fapt, dimensiunea încrederii nu este atât de importantă în comparație cu repetarea, atunci s-ar putea să pierzi ceva. Deci putem spune că arată... toate arată destul de asemănătoare. Și apoi, acestea sunt rezultatele stimulentelor. Dar voi ajunge la asta într-o secundă. Deci, punând totul împreună. Și asta e cealaltă lucrare scrisă pe același experiment. Deci primul a fost într-adevăr mai mult pentru utilizarea acestui experiment doar pentru aspectul bârfei. Dar atunci, exact avem... Kyla a pus această întrebare... dacă există o mulțime de tratament aici. Și de ce sunt multe tratamente? Sunt multe tratamente pentru că nu suntem, în acest caz, nu am mers la acest proiect pentru a testa o anumită teorie. Uneori, mergi mai departe și ai ceva foarte simplu în minte, foarte clar în minte. Doriți să testați o anumită teorie sau doriți să testați dacă intervenția A funcționează. Dar mandatul nostru aici cu pistolul a fost puțin diferit, și anume că poți veni cu cea mai bună intervenție posibilă pentru noi în ceea ce privește creșterea ratelor de imunizare bazată doar pe intervenția bărbaților? Măcar ei se ocupă de aprovizionare. Așa că am rezolvat proviziile. Dar, pe baza a ceea ce știți din literatură, care este cel mai bun lucru pe care îl putem face atât pentru creșterea imunizării în general, cât și în ceea ce privește eficiența costurilor și costul pe dolar? Și când am început să facem brainstorming cu ei, lucrul nepăsător de pe rețelele sociale... brățara nu era încă acolo. Deci nu aveam acea parte a ei. Dar ceea ce am avut a fost ideea unui stimulent în numerar, pe care am descoperit-o a fi eficientă în [INAUDIBLE] Memento-urile, pe care toată lumea le folosește, care a fost aprobată de Academia Indiană de Pediatrie și această nouă idee de bârfă. Și apoi, există dovezi din restul literaturii că fiecare dintre aceste strategii poate îmbunătăți absorbția. Dar nu știm care dintre ele este cel mai eficient, care este cel mai rentabil, cum ar trebui să fie utilizate. De exemplu, în [INAUDIBLE] am încercat un tip de stimulent, linte, și apoi o creștere, care a fost neîncetată și echivalentul a aproximativ 1 USD per shot în acest termen, în termen PPP. Poate am putea primi mai puțin. Poate ai putea folosi mai puțini bani. Poate că nu trebuie să fie neglijent. Cu SMS-uri, trebuie să trimiteți SMS tuturor? Sau le trimiți SMS unor oameni cu bârfele. După cum știți, nu știam dacă ar trebui să folosim bârfe, sau oameni de încredere , sau bârfe de încredere. Deci sunt diferite tipuri de variante. Și apoi începi să te întrebi dacă combinația acestor variante ar funcționa bine. Deci, de exemplu, bârfa ar putea funcționa mai bine atunci când există stimulente, deoarece există un mesaj clar de transmis decât nu. Deci cel puțin aceasta a fost potențial o ipoteză clară. Dar este o mizerie. Există un amestec de lucruri. Și aici, vine la întrebarea lui Kyla , cum procedați? Deci, în literatura de specialitate, modul în care ajungeți de obicei la asta, și acesta este cel mai bun mod pe care îl avem de cele mai multe ori, este că colectați estimări din o mulțime de lucrări diferite și le puneți la o scară comună. Deci, acesta este într-adevăr Campbell Collaborative și Cochrane Review este ceea ce fac ei pentru intervenția în sănătate și acum, de asemenea, pentru o intervenție în științe sociale. Practic, ei spun că despre vitamina A avem 20 de studii. Și le putem pune pe o scară. De fapt, odată ce ai asta, poți încerca să faci meta- analize precum cele pe care le-am găsit pentru... am discutat pentru lucrarea [INAUDIBLE] . J-PAL face asta, încercând să acumuleze impactul diferitelor intervenții asupra ceva, apoi să le pună pe o scară comună pentru a afla ce pare a fi cel mai eficient din punct de vedere al costurilor pentru a crește scorurile la test, sau prezența sau orice vă interesează. Problema, desigur, este că intervenția populației variază considerabil între studii. Deci este comparabil sau nu. Când testați intervenții diferite în contexte diferite, nu puteți ajunge la interacțiune, ceea ce face ca învățarea-- dacă doriți să răspundeți la o întrebare în special, în acest caz cu o eroare mare, care este punctul de vedere a fost că orice ne-ați spune , vom încerca să o extindem. Ideea în experiment nu există un singur experiment cu un singur tratament. Este pentru a rula un singur RCT mare, care are tot ce vă puteți gândi. Problema este că, deși experimentul, acest experiment a fost destul de mare, deci sunt 2.000 de sate. Dar de fapt, 900 de sate unde am făcut recensământul, unde puteam face bârfele. Dar nu este infinit. Și numărul de combinații posibile este mare. Deci ce faci? Deci primul lucru pe care l-ai putea face este să spui, ei bine, este prea mare. Vor fi prea multe lucruri de privit. Nu vei fi niciodată putere să te uiți la fiecare celulă de interacțiune. Așa că faceți foarte puține tratamente. Există o lucrare a lui Karthik Muralidharan și alții care subliniază că odată ce ai interacțiune, dacă ai, să zicem, două tratamente și interacțiunea lor, devine dezordonat să ignori interacțiunea, ceea ce fac mulți oameni. Și atunci, prin urmare, este confuz. Deci soluția McKenzie este să nu o faci. Rulați un singur tratament. Este frumos. Dar asta înseamnă, care? Cum o vei alege pe care? Sau ați putea include toate combo-urile, dar puteți pierde putere deoarece aveți o mulțime de celule diferite. Și celulele pot deveni destul de mici. Îți voi spune exact cât de mic în cazul nostru, de exemplu, când voi ajunge la asta. Deci, în practică, ceea ce fac oamenii este, uneori, să desfășoare multe experimente și apoi să tragă expus dacă se pare că interacțiunile nu sunt semnificative. Dar atunci asta ridică o problemă de statistică, adică dacă mai întâi rulezi toate interacțiunile, apoi le eliminați atunci când nu sunt semnificative, atunci nu este clar cum să citiți statisticile testului, deoarece ar fi fost doar o întâmplare că a fost sau a fost. t semnificativ. Deci nu putem interpreta aceste statistici decât dacă mergem cu un cadru clar în minte. Deci, în literatura de specialitate, există o mulțime de eforturi către un plan simplu și de pre-analiza. Și, prin urmare, mergând către unul sau spunând în avans exact ce vei alerga. Problema este că își asumă concluzia. Deci aceasta este o imagine din The Matrix. Ei bine, Oracolul, deci aceasta este problema Oracolului, punctul Oracle. Este că, dacă știi ce vrei să testezi, atunci în primul rând se pune întrebarea dacă ar trebui să-l testezi oricum. Dar faci experimentul pentru a-ți justifica antecedentele. Deci nu ai venit aici să faci alegerea. Ai reușit deja. Trebuie să înțelegi de ce ai făcut-o. Deci asta este problema cu Oracle. Și în multe cazuri, de exemplu, în acest caz, nu am avut un Oracle. Deci asta e problema. Deci asta e tensiunea pe care o punea întrebarea lui Kyla. Și apoi există o altă problemă, care este atunci când... chiar dacă ați avea un set mare, mare, mare, mare, mare, mare de dimensiuni ale eșantionului, astfel încât să puteți rula multe, multe lucruri individual, le puteți gândi ca toate combinațiile și variantele și combinațiile variante sau variantele ca tratament individual. Și apoi, îi spui guvernului că aceasta este cea mai bună politică. Du-te pentru asta. Acesta este efectul pe care îl vei obține. BINE. Acum, asta e frumos, cu excepția faptului că va face ca politica să fie aleasă cea mai bună din acel eșantion. Deci, prin definiție, a funcționat destul de bine în acel eșantion. Și ar putea fi o întâmplare. Este ca cel mai bun baschetbalist. Dacă clasați oamenii după jucătorul de baschet, cel mai bun jucător de baschet este cineva care în ziua în care vă clasați a marcat multe, multe, multe goluri. Dar s-ar putea să nu fie atât de bine în general. Doar în acea zi a evoluat atât de bine încât arată absolut fabulos. Nu este al lui... s- ar putea să fii foarte dezamăgit odată ce îl aduci la echipa ta, ceea ce în majoritatea zilelor nu este la fel de fabulos. În mod similar, pentru politica noastră, dacă ați ales-o dintr-o gamă mai mare de polițe pentru a fi cea mai bună, va arăta foarte bine. Prin definiție, funcționează foarte bine în eșantionul tău mic. Întrebarea este că îi dai credit pentru epsilon. Și deci nu este o problemă dificilă din punct de vedere conceptual. Există o lucrare foarte frumoasă a lui Isaiah și a co-autorilor care se uită la asta. Și practic, acest lucru poate fi corectat. Și asta este... au o lucrare numită "Inference on Winners". Acum, problema este cu cât încerci să testați mai multe politici și cu cât sunt mai asemănătoare între ele, cu atât mai mult veți fi penalizat de deducerea câștigătorilor. Deci firesc, pentru că pentru a fi cel mai bun ar trebui să fii deosebit de norocos. Deci asta înseamnă că acesta este încă un motiv pentru a nu avea multe și multe și multe tratamente, în principiu, dar apoi, totuși, uneori ne-am dori să avem multe, multe tratamente pentru că chiar nu știm. Și am dori să facem un experiment și să avem un răspuns coerent care nu presupune soluția în avans. PUBLIC: Esther? ESTHER DUFLO: Da? PUBLIC: Deci sunt curios. Asta e aleatoriu, nu? Dacă se întâmplă să fug? ESTHER DUFLO: Da. Așa că se întâmplă să... în acea probă, se întâmplă să te descurci destul de bine. Deci, imaginați-vă, de exemplu, un cadru în care, de fapt, toate politicile au același efect. Încă o să-i clasați în funcție de epsilon. Deci de asta trebuie să scăpăm. PUBLIC: Deci nu este ca problema extinderii? ESTHER DUFLO: Nu asta este problema extinderii. Doar că am testat o mulțime de politici. Aleg pe cel mai bun . Și, prin urmare, și este un lucru standard. Exact asta vom face aici. Exact asta vrem să facem aici. Și acesta este un mod obișnuit de a gândi problemele de politică. Care este cel mai bun? Și apoi, cel mai bun este și cel care a avut cele mai bune rezultate în acea probă. Și, prin urmare, a beneficiat de cele mai multe întâmplări din construcție. Deci acest lucru este corectabil. Acest lucru este destul de ușor de corectat, de fapt. Nu există nimic... sunt doar statistici foarte clasice acolo. Problema este că corecția vă va penaliza pentru că aveți o mulțime de opțiuni pe care le încercați unul împotriva celuilalt, precum și pentru că aveți opțiuni care sunt de fapt similare. Da? PUBLIC: Da, mă gândeam doar că... ei bine, nu ar fi la fel pentru că, conform performanței împotriva controlului oamenilor, asta între ele pentru că nu știu dacă pot vedea că două intervenții sunt una este... - ESTHER DUFLO: Da, deci controlul aici nu-- controlul aici este același pentru toată lumea. Așa că atunci când te oprești... dacă faci efectul tratamentului, vei face efectul tratamentului împotriva controlului. Și spui că intervenția A este cel mai mare efect de tratament, B ca al doilea efect de tratament, etc. Toți sunt clasați împotriva aceluiași control. PUBLIC: Da, dar apoi, de exemplu, prima, cea mai bună rundă a celei de-a doua runde între ele, nu să fie... nu statistic. Dacă îi compar pe cei doi, ar putea fi... Nu aș putea exclude că unul este mai bun decât celălalt. ESTHER DUFLO: Deci este posibil. Dar în acest caz, nu știi care este cel mai bun. Dar chiar dacă sunt, s-ar putea să fie din cauză că primul tău s-a întâmplat să se descurce bine în eșantion în comparație cu al doilea. PUBLIC: Dacă sunt? ESTHER DUFLO: Să presupunem că sunt diferiți statistic. S- ar putea fi totuși în parte pentru că primul s-a întâmplat să aibă o remiză foarte bună a epsilonilor în tratament, iar cei doi nu. Deci asta e problema. Nu este problema că ați putea crede că sunt diferiți, dar de fapt nu sunt diferiți statistic, ceea ce este un punct bun. Dar chiar dacă sunt, ar putea fi doar pentru o performanță întâmplătoare în acea probă. Deci nu este dificil din punct de vedere conceptual. Dar nu este deloc greu de tratat , chiar și în datele sale. Dar doar atât cât de mult te penalizezi. Depinde de câte politici conduceți unul împotriva celuilalt, ceea ce are sens pentru că aveți mai multă ignoranță. Deci asta e tensiunea. De aceea, întrebarea ta a avut nevoie de mai mult de un minut de răspuns. E ce faci? Deci ceea ce am făcut a fost că am încercat. Practic, am încercat să navigăm pentru a obține ce este mai bun din ambele lumi, spunând: uite, majoritatea politicilor oricum nu funcționează. Și majoritatea variațiilor de politică ar putea să nu conteze. Deci, de exemplu, dozajul. Dozajul ar putea să nu fie atât de relevant în lumea bârfelor. Faptul că bârfa este de încredere, sau bârfa de încredere ar putea fi similar. Nu știm dacă este asemănător. Spui că poate este. Deci, poate că multe dintre posibilele mele tratamente pot fi eliminate din setul meu de considerare. Și prin urmare, pot să fac multe, multe tratamente și să scap de orice nu funcționează deloc. Și apoi, reunește ceea ce este asemănător. Și apoi, rămâneți doar cu o intervenție care pare promițătoare la sfârșitul zilei și estimați regresul meu în acel set de politici promițătoare. Deci, ce vreau să spun prin punere în comun? Vom face doar un pool-- și de aceea nu putem pune laolaltă într-un anumit cadru și nu putem înțelege pe deplin problema pe care Karthik Muralidharan a identificat-o, și anume, dacă fac un pool ex-post când interacțiunea este negativă, este puțin... asta e de pește. Vom pune în comun doar -- sau vom întreba doar datele dacă doresc să combine lucruri care sunt doze de același tratament sau variație ale aceluiași tratament. Așa că pun ceva teorie. Nu este chiar o teorie, o anumită structură acolo pentru a spune, ei bine, orice stimulente... Vreau să încerc un stimulent diferit pentru că cine? Știe că ar putea fi diferite. Dar voi permite datelor să le grupeze dacă se dovedește că toate efectele sunt aceleași. Deci, de exemplu, stimulentele mari și scăzute vor fi permise să se găsească în comun. Pantă și plată, precum și stimulente vor fi permise să se găsească. Pantă și plată, și înaltă și joasă vor fi permise să se găsească. Și astfel se creează un profil de tratament al oricăror stimulente. Și la fel, orice bârfe. Și apoi, orice memento. Multe memento-uri versus mai puține memento-uri. Așa că le spun datelor pe care le pot extrage. O să permit datele pe care le pot pune în comun în acest fel. Și apoi, rulezi un LASSO pe asta. Te confrunți cu o mică problemă, și anume că atunci când rulezi un LASSO pe asta, prin definiție, ai multă corelație între. Te vei structura. Așa că gândiți-vă să scrieți regresia pentru a-- să permiteți gruparea în loc de a rula acum toate tratamentele și interacțiunile posibile. În loc să rulați o regresie pentru fiecare tratament posibil, rulați o regresie a formei, orice stimulent și apoi efectul marginal al stimulentei mari. Deci ar putea fi... asta ar putea deveni zero, spre deosebire de stimulent mare, stimulent scăzut, și apoi testați diferența. De ce este relevant să o scrieți în acest fel? Este pentru că veți rula un LASSO pe această regresie. Și LASSO te va penaliza pentru că ai o mulțime de termeni. Și vă va cere doar să eliminați o grămadă de termeni spunând că sunt complet irelevanți. Nici nu ar trebui să fie acolo. Deci, dacă ai avea două politici, un stimulent mare și cel mic, care de fapt au avut același efect, LASSO le- ar dori pe amândouă dacă ar fi ambele eficiente. Dacă îl scrieți ca un stimulent și un stimulent - efectul suplimentar de mare versus scăzut, atunci LASSO va scăpa de asta. Deci, vă va permite să scăpați de el. Dar există o problemă în a face asta, și anume, de îndată ce faci asta, creezi o mare corelație între variabilă, deoarece - și, prin definiție, orice stimulent și stimulent ridicat sunt foarte corelate, deoarece stimulentul ridicat va avea unul la fiecare timp. Stimulentul va avea unul de fiecare dată. Stimulentul unul are mare ca unul. Și în plus, va avea niște zerouri atunci când stimulentul este, de fapt, scăzut. Deci, prin construcție, veți avea o mulțime de coliziuni, care este exact atunci când nu puteți rula LASSO. Intuitiv, intuiția este că LASSO nu va ști ce să aleagă dacă cele două lucruri sunt corelate. Statistic, eșuează. Nereprezentabilitatea de la TVA, care spune că nu poți - ireprezentabilitatea este că poți rula Lasso doar dacă nicio variabilă nu poate fi aproximată foarte bine printr-o combinație a altora. Deci, dar există o soluție pentru această problemă, care este o precondiționare a variabilei care le organizează practic. Te penalizează pentru că faci asta, dar funcționează. Și apoi, odată ce ai făcut asta, rulezi LASSO. LASSO va selecta o variabilă. Va da afară tot ce este ineficient. Și va elimina, de asemenea, lucrurile care sunt diferențe marginale care nu sunt pertinente. Și odată ce ai asta, mai ai foarte puține variabile. Și vă puteți face post-procesarea. Aceasta înseamnă rulare, ceea ce înseamnă, practic, să rulezi mai puțină regresie fericită pe un set foarte mic de variabile. Și acum, puteți rula corecția Andrews fără a fi penalizat de faptul că au existat o mulțime de variabile în primul rând. Și tu mergi înainte. Deci acea strategie funcționează. Și este frumos compatibil. Te adaptezi... nu ai un caz de gripă prea mare pentru că ai... cu Andrews, dacă ai vrea să spui cu adevărat, asta se întoarce la punctul lui Salu, care presupune că ai un stimulent mare și un stimulent scăzut. . Și, de fapt, au același efect. Ele nu sunt diferite statistic. Așa că unul dintre ei va ieși înainte și va fi penalizat foarte mult de faptul că este foarte aproape de celălalt. Dar, de fapt, dacă știi că ar trebui să fie puse în comun, atunci nu vei avea această problemă. Vei avea doar stimulente. Deci, de aceea îl rulăm în acești pași. Așa că dacă ne întoarcem cu câte tratamente avem, deci stimulentele sunt străbătute două câte două, de sus și jos, și plat și în pantă. Mementourile trebuie. Mai mic, câteva versus mult. Ambasadorii aleatoriu, plus semințe de informații, plus semințe de încredere, plus cred că există unul de la consiliul de informare ori încredere. Asta face patru. Deci, în total, sunt 75 de combinații unice de politici. Totul este interacționat cu totul. Deci sunt 75 de combinații unice de politici. Deci, cu 914, care sunt foarte utilizate, acest lucru este util. Acesta este un eșantion în care facem un stimulent minor, dar bârfa se face doar în 900. Mărimea eșantionului rezultat ar fi de fapt destul de mică. Așa se încrucișează totul cu totul. Chiar nu contează. Deci am putea începe. Începem prin a face... dacă începem prin a face lucrul naiv de a nu interacționa cu totul, rulați această regresie. Deci acesta este un manechin pentru fiecare lucru. Îți dă deja niște rezultate interesante. Am văzut deja rezultatele bârfei. Și apoi, în ceea ce privește stimulentele, se pare că stimulentul cu panta mare funcționează. Deși, poate, poți spune că este atât de diferit din punct de vedere statistic de panta mică. Panta mare care oferă un stimulent plat nu pare să funcționeze. SMS, nu are un impact semnificativ. Acest lucru nu este în întregul eșantion. Și asta este în eșantionul mai mic. Deci, dacă te-ai uita doar la asta, ai spune, ei bine, bârfa părea eficientă, poate la fel de eficientă ca și oferirea de stimulente cu panta mare. Și în rest, nu suntem foarte siguri ce se va pune în comun, ce nu se va pune în comun. Și, desigur, nu avem nimic de spus despre interacțiunea din a privi în asta. Deci asta e procedura. Dvs. definiți ceea ce poate fi pus în comun. Deci, în cazul nostru, este destul de simplu pentru că este pe categorii de intervenție. Odată ce faci asta, definiți... specificați regresia în acest mod marginal. Așa că mie mi se pare foarte intuitiv. Dar, de fapt, este puțin complicat când ai o mulțime de posibilități. Dacă doi câte doi, e destul de clar. Există un singur mod de a o face. Dacă începeți să aveți multe, potențial un număr mare de tratamente diferite și profiluri de tratament diferite, este nevoie de puțină combinatorie pentru a spune cum să vă asigurați că nu uitați unele și cum ar trebui să fie combinate și de ce încă funcționează. Și asta este descris în hârtie. Apoi, utilizați transformarea Puffer pentru a o face compatibilă cu LASSO. Deci, acesta este doar un mod de a schimba expresia variabilei pentru a le face ortogonale între ele. Apropo, nu vine gratis. Adaugă zgomot datelor, așa cum ar trebui. Apoi rulezi... așa că faci LASSO-ul tău, apoi LASSO-ul tău post și, în sfârșit, corectarea blestemului câștigătorului. Așadar, aceasta este specificația de pooling, arată cam așa unde aveți, de exemplu, SMS, orice SMS și apoi efectul marginal al SMS-ului, orice pantă și apoi dacă este mare, orice stimulent fix și dacă este un stimulent fix. Aleatoriu este separat. Info Hub este separat. Încrederea este separată. Și apoi informațiile de încredere sunt pe deasupra încrederii. Și apoi, toate interacțiunile care sunt în axele tuturor acestor lucruri. Deci acesta este efectul principal, ca și în profilul principal de tratament. Așa că vezi că am luat deja niște decizii într-un anumit sens pentru că, de exemplu, nu permitem-- nu facem nicio-- Aleatoriu este al său. Nu permitem gruparea aleatorie cu restul, deoarece credem că acea sămânță este diferită de... o sămânță aleasă este diferită de o sămânță aleatoare. Deci există deja un pic de teorie acolo. Teoria acolo, structurată acolo, chiar și făcând tocmai asta. Deci, ce găsim când facem toate acestea? Deci foarte puține lucruri supraviețuiesc LASSO. Doar patru combinații supraviețuiesc Lasso, în ceea ce privește creșterea imunizării. Deci asta, o facem foarte simplu. Este un număr. Este numărul de injecții date... numărul de vaccinuri împotriva rujeolei date în sat în fiecare lună. Deci, media, este 7,32 în grupul de control. Ceea ce pare a fi cel mai eficient este să faci totul. Deci, chiar și după toată munca asta, poate că ai fi putut să o știi. Dar asta nu era evident. Și toate fondurile de stimulente. Acum, toate stimulentele neîncetate. Atât de mare și scăzută atracție de stimulente. Bazinul Info Hub. Așa că bârfa de încredere și bârfa de încredere se unesc. Și pool-ul de SMS-uri. Deci este destul de frumos că variația pare să nu facă nicio diferență. Așa că ați putea merge cu... dacă doriți să alegeți cel mai ieftin, puteți alege SMS-uri de stimulare scăzute, neîncetate, nivel scăzut de SMS-uri și bârfe, deoarece acestea se unesc cu versiunea mai ambițioasă a acestuia. Și asta crește nivelul de imunizare cu patru, față de control, care a fost de 7,32. Deci este o creștere proporțională destul de mare. Celelalte lucruri - deci și celălalt lucru care funcționează este ceva foarte asemănător, dar folosind semințele de încredere în loc de hub-urile de informații. Și asta este semnificativ. Celelalte două, deși au fost selectate de LASSO și postul Lasso pare a fi nesemnificativ pe cont propriu, deși le poți face -- poți să setezi o diferență, care nu este deloc semință, și o pantă mare și SMS. Și apoi, acesta este... de fapt, are un impact negativ. Este selectat de LASSO, dar are un impact negativ aici. Odată ce te uiți la... da? PUBLIC: [INAUDIBIL] Cred că două întrebări. Această linie, înseamnă asta că o mulțime de tratamente sunt combinate cu control? ESTHER DUFLO: Da, toate tratamentele sunt combinate cu controlul. Adică, LASSO nu le vrea. Deci, practic, sunt. Ei devin... PUBLIC: OK. Și apoi pe ultima [INAUDIBILĂ] ESTHER DUFLO: Deci LASSO selectează o variabilă și apoi postezi... rulezi regresia MOL. Și apoi, nu se dovedește a fi semnificativ. LASSO te penalizează, practic. Ce face LASSO este că te penalizează pentru fiecare variabilă pe care o introduci. Și apoi, vă permite să păstrați-- așa că la un moment dat, în funcție de cum-- în funcție de nivelul de penalizare pe care îl alegeți, spune câte variabile ar trebui să introduceți. Și apoi, le introduci prin faptul că contribuie mai mult la variație. În acest caz, este după acea zi, ceea ce nu înseamnă că sunt așa - înseamnă aceste alte lucruri care au coeficienți și mai mici. De asemenea, odată ce reluați regresia doar cu cele patru, obțineți un coeficient diferit. Nu obțineți același coeficient ca atunci când rulați dacă ați încercat să rulați regresia completă cu OLS, deoarece tot restul este trimis la control. PUBLIC: [INAUDIBIL] chiar și atunci doar schimbarea ta [INAUDIBIL] a fost de încredere [INAUDIBIL] și asta înseamnă că [INAUDIBIL] ESTHER DUFLO: Acesta cu acesta. Da. Nu cred că cei de încredere... da, nu știu. Nu cred că încrederea-- este cea de încredere sau nu este de încredere. Deci lasă-mă să mă gândesc. Da, e doar de încredere... informații de încredere pe cont propriu. Da, nu am o interpretare grozavă a motivului pentru care par să tragă cu celălalt. Dar ele nu produc niciun efect de la sine. Acesta este, apropo, acesta este rezultatul pe care l-am avut mai devreme. Că bârfele de încredere singure par să nu aibă niciun efect. Dar nu au niciun efect într-un mod în care să nu fie semnificativ diferit de a le pune cu celelalte hub-uri de informații. PUBLIC: [INAUDIBIL] ESTHER DUFLO: Da, exact. O, de altfel, atunci când rulați această regresie, o rulați din nou acum, deoarece în fiecare dintre ele este un pachet individual. Deci, este efectul... combinația fiecăruia dintre acestea este efectul politicii combinate, nu efectul marginal. Când te uiți la imunizări pe dolari, LASSO mai selectează câteva lucruri. Dar majoritatea sunt negative. De ce? Pentru că cheltuiți bani pe aceste programe. Și acum comparăm cu grupul de control. Așa că ați putea spune că sunteți perfect dispus să cheltuiți bani pentru vaccinarea mai multor copii, chiar dacă costul pe imunizare crește. Dar s-ar putea, de asemenea, ca și în cadrul piscinei, să existe un tratament în care costul pe imunizare scade, deoarece există costuri fixe pentru derularea programului dumneavoastră. Deci, în costul pe imunizare, includem atât costul fix, cât și costul variabil. Orice intervenție, cum ar fi stimulente, etc., crește costul variabil. Dar înseamnă că acest cost fix este răspândit pe un grup mai mare de oameni. Deci, în... de aceea în rezultatele [INAUDIBILE] am avut acel rezultat aparent paradoxal. Că e mai ieftin să dai stimulent, nu să le dai. Dar nu trebuia să fie cazul. Și, de fapt, în întregul eșantion, toate rezultatele stimulentelor, toate efectele stimulentelor sunt selectate pentru că au acest efect de tratament foarte negativ . Sunt scumpe, costul pe dolar. Dar ce apare? Și, de fapt, în acest caz este singura politică care este eficientă din punct de vedere al costurilor în comparație cu a nu face nimic, în sensul că a crescut costul imunizării pe dolar este de a face SMS combinat în cadrul huburilor de informații. Deci e bârfă plus SMS. Are sens. Este ieftin de făcut. Și, prin urmare, costul marginal nu este foarte mare în măsura în care sunt impacturi. Impactul înseamnă că toată infrastructura dumneavoastră fixă este utilizată mai eficient. Deci, acum, putem face cea mai bună corecție a politicii. Deci, dacă vă amintiți, am avut un efect inițial de aproximativ patru pentru combinația pentru cea mai bună politică, în cazul numărului de lovituri, care era combo-ul tuturor. Așa că îl penalizăm pentru că este aproape de următorul. Și am ajuns, așadar, la efectul unei creșteri a imunizării față de controlul de aproximativ trei. Patru milioane de lovituri pe dolar. Deoarece există o singură politică care are un impact pozitiv, aceasta nu este penalizată. Este pe cont propriu. Deci impactul pedepsei este impactul. Deci acesta este un rezumat al rezultatelor. Dar cred că am trecut deja prin asta. Deci, care este prescripția politicii? Așa că, la un moment dat, toți acești oameni de la vârf, de fapt, au venit aici. Și delegația le va prezenta rezultatele. Și așa, evident, ar fi... ar putea trimite SMS-uri de bârfă peste tot. Este ieftin, eficient și rentabil. Atât de bine. Dar dacă sunt, de asemenea, interesați să crească -- în unele locuri să facă -- într-adevăr să aibă un impuls mare asupra imunizării. Sunt dispuși să plătească pentru asta. Cea mai eficientă politică este combinarea. Deci, există locuri în care pot identifica unde ar fi eficientă această politică? Și aceasta este cea de-a doua lucrare pe care ați citit-o, care încearcă să facă acest medicament predictiv, și anume pot să-mi dau seama un grup de oameni pentru care această intervenție va funcționa? Și problema este că medicina predictivă este chiar mai mult decât cu tratament multiplu, este această posibilitate de căutare a specificațiilor, care este expusă. Veți găsi întotdeauna un grup pentru care se pare că tratamentul a funcționat. De aceea, FDA nu vă permite să raportați niciun subgrup care nu a fost prespecificat. Pur și simplu nu poți. Altfel, spui, ei bine, medicamentul meu nu funcționează în medie. Dar a funcționat pe oameni care au citit diagrame în ziua procesului și atunci poți oricând să găsești un motiv. Deci, în economie, suntem puțin mai puțin stresați în privința asta, probabil pentru că există mai puține motive financiare de stimulare pentru a împinge un anumit rezultat. Și întotdeauna există... avem mai multă toleranță, cred, pentru a teoretiza ex-post despre rezultate, parțial pentru că ne place teoria și ar trebui. Și am învățat ceva despre lume și, chiar dacă subgrupurile sunt experți, este posibil să fi învățat ceva despre ele. Așa că ar fi puțin trist să nu le folosești. Deci este exact același -- nu este exact același schimb ca înainte, dar există un schimb de această natură. Așadar, mergând până la standardul de medicină și spunem, vom permite doar un plan de pre-analiza foarte puține și vom penaliza compararea multiplă cu valori q sau alte forme de ajustare pentru comparații multiple. Apoi, ai fi cam plictisitor. Nu ai putea obține atât de multe informații. Și adesea, avem o mulțime de date. Și ne-am dori să- l folosim, dar am dori să-l folosim într-un mod disciplinat. Prin urmare, învățarea automată are avantajul de a vă oferi unele reguli, un algoritm pe care îl puteți specifica în avans, pe care le puteți introduce în planul de pre-analiza. Voi folosi tehnica de învățare automată a lui așa și așa pentru a căuta posibile -- dacă au efecte eterogene și cine părea a fi cel mai afectat. Deci, în principiu, speranța este că obțineți tot ce este mai bun din ambele lumi, deoarece aveți capacitatea de a căuta diferențele într-un mod disciplinat statistic. Și nu vei face prea mult data mining. Problema este o problemă minoră, învățarea automată nu este într-adevăr un instrument pentru a spune. Este un instrument de predicție. Este un instrument pentru prezicerea a ceea ce se va întâmpla, dar nu este un instrument pentru a interpreta orice diferențe de efect al tratamentului pe care le găsim. Și mai ales, în absența unor condiții foarte stricte de îndeplinit. Nu știm cum să estimăm efectul cauzal mediu al tratamentului într-un mod care să fie interpretabil. Deci, ideea că, OK, voi... medicamentul predictiv complet ideal pentru oricine cu orice set de caracteristici x și le pot prezice efectul tratamentului. Pur și simplu nu știm cum să facem asta, decât dacă suntem dispuși să fim super restrictivi. Și apoi, Susan [INAUDIBLE] are o lucrare cu Steven Wagner cu destule în condiții suficient de dure , poți face lucruri precum copaci pentru a da un răspuns la această întrebare. Dar aceste condiții sunt destul de grele și nu sunt cu adevărat testabile. Deci ce poți face? Ei bine, puteți spune, să renunțăm la estimarea întregii funcții. Putem spune măcar câteva lucruri? Așa că renunțăm la a estima starea completă a unui efect de tratament, spre deosebire de nerestricționat, în funcție de toate acele x pe care oamenii sau satele le-ar putea avea. Dar vreau să răspund la câteva întrebări simple. Numărul unu, există vreo eterogenitate? Deci acesta este un parametru. Numărul doi, dacă există vreo-- sau este doar orice eterogenitate care cred că există de fapt, nu există, numărul doi dacă există vreo eterogenitate, pot să spun-- pot spune, cinci grupuri în care estimez efectul tratamentului pentru aceste cinci grupuri. Deci acum sunt cinci parametri, încă un număr mic de parametri. Și apoi, poate încă un pas este să spun, ei bine, acum că am aceste cinci grupuri, poate pot descrie caracteristicile acestor cinci grupuri. Nu va fi cauzal. Va fi predictiv. Dar poate că e interesant, oricum. Deci asta era în ziar era Victor. Folosim mecanismul de învățare automată Bell pe care Victor Whitney a dezvoltat-o ​​în comun și despre care am discutat deja în [? Gana?] hârtie de aplicat la această problemă. Nu este important să răspunzi pentru a înțelege detaliile despre cum funcționează. Cel mai important lucru este ceea ce v-am spus deja, care este foarte clar. Reduceți-vă ambițiile. Al doilea lucru cel mai important este ca în primul lucru, ca și în prima lucrare, folosiți împărțirea probei. Și, în principiu, gândiți-vă, de exemplu, că există vreo eterogenitate? Cum va funcționa? Ei bine, mi-am împărțit proba în două. În jumătate din eșantion, folosesc orice instrument de învățare automată pe care îmi place să fac cea mai bună presupunere a efectului cauzal mediu al tratamentului. Adică, gândește-te dacă te gândești la asta într-o versiune LASSO, de exemplu. Interacționează toate x-urile mele și toată interacțiunea posibilă cu tratamentul. Și apoi, asta oferă, în principiu, o predicție pentru fiecare persoană despre efectul tratamentului. Știu că este puțin probabil să fie grozav pentru că este plin de flux, zgomot și chestii de genul care vor fi atribuite greșit efectului x-urilor. Dar tot o fac. Puteți folosi LASSO, pădure aleatoare, rețea neuronală, orice doriți pentru a face această predicție pentru fiecare combinație de covariate. Și apoi, în eșantionul pe care l-ați lăsat în urmă, rețineți că este diferit de împărțirea eșantionului, deoarece este folosit în mod obișnuit în ML, deoarece, de exemplu, pentru a face chiar și exercițiul pe care îl fac, de obicei, veți avea nevoie de împărțirea eșantionului pentru a reglați parametrul și toate astea. Deci nu este... este împărțirea probei. Împărțirea eșantionului meu este că în jumătatea mea din eșantion, am pus cel mai bun picior înainte pentru a estima lucrul. Și apoi, în jumătatea eșantionului pe care l-am păstrat, voi regresa efectul tratamentului asupra acestei caracteristici și voi vedea dacă obțin doar liniar. Și spuneți, dacă există vreun efect, ar trebui să găsesc unul. Dacă efectul a două a fost estimat în... dacă eterogenitatea celor două în efect a fost estimată în eșantionul meu de învățare automată, în eșantionul de testare ar trebui să găsesc un coeficient de unu atunci când încerc să- l prezic pentru fiecare persoană. Ar trebui să se alinieze în același mod. Și dacă de fapt, totul a fost zgomot, nu se va alinia în același mod. Așa că voi găsi un zero mare de grăsime. Din punct de vedere empiric, din experiența mea de a încerca asta, de cele mai multe ori te oprești acolo pentru că găsești zero. Acela în care crezi că ești eterogen este poate chiar ți-ai spus niște povești frumoase despre de ce ar fi eterogen. Și de fapt, odată ce o faci în celălalt eșantion și regresezi efectul previzionat al tratamentului asupra efectului real al tratamentului pentru persoana cu acele caracteristici, nu găsești nicio diferență. Dacă o faci, atunci poți spune, oh, grozav. Apoi, acum, îmi pot separa grupurile în cine este cel mai probabil să fie afectat de tratament, sau pe chintilă, și pot alerga și calcula efectul tratamentului pentru persoanele despre care se preconizează că vor fi cele mai puțin afectate și al doilea cel mai puțin afectat, iar al treilea cel mai puţin afectat. Și așa fac separarea pe baza eșantionului meu de învățare automată. Și apoi, estimăm efectul tratamentului în acel grup. Deci, acesta este un efect de tratament în acel grup din eșantionul rămas. Și apoi, odată ce ai făcut asta o dată, poți să o faci de multe, de multe, de multe ori, multe dintre despărțiri de multe ori. Și apoi, obțineți chiar și un standard, prin urmare, pentru acest efect. Acest lucru reflectă atât zgomotul real pe care îl aveți în setul dvs. de date, cât și faptul că eșantionul dvs. s-a împărțit. Așadar, fiecare eșantion încă introduce propriul zgomot care trebuie luat în considerare. Da? PUBLIC: Care este exact diferența dintre ceea ce faci în setul de antrenament și setul de testare? Deci, în setul de antrenament, este prima dată. ESTHER DUFLO: Vei stimula tratamentul -- vei stimula efectul tratamentului. PUBLIC: regresie interactivă. ESTHER DUFLO: Regresia interactivă. De exemplu, gândiți-vă la asta . În al doilea set, preziceți pentru fiecare persoană ce există în funcție de estimarea dvs. în z, care ar fi fost efectul tratamentului. Și apoi regresezi. De exemplu, executați o regresie liniară a motivului rezultatului dvs. Deci, gândiți-vă să rulați următoarea regresie. În ceea ce privește rezultatul, tratamentul, interacțiunea tratamentului a interacționat cu acest efect prezis și cu efectul prezis. Deci, acesta este acum un coeficient liniar. Și doar întrebând, oamenii pe care îi prezic că vor avea cel mai mare efect de tratament, au de fapt un efect de tratament mai mare? Acest parametru liniar nu prezintă interes în sine. Spune doar, ar trebui să fie... în mod ideal, dacă acea estimare ar fi foarte, foarte precisă, acel coeficient ar fi unul. Dacă estimarea este nedorită, acea estimare ar fi zero. Aceasta este principala utilizare a acelui lucru liniar. Apoi, ceea ce faci aici este o versiune similară, dar dummificată, dummificată. În principiu, pe baza estimării din eșantionul de învățare automată, ați format cinci grupuri de persoane despre care se preconizează că sunt cele mai afectate, pe baza caracteristicilor X și a caracteristicilor de bază. Și apoi, în eșantionul tău de testare, esti de fapt efectul tratamentului pentru persoanele care au aceste caracteristici, această combinație de caracteristici. În acea chintilă dintre persoanele despre care se prevede că vor avea cel mai scăzut efect de tratament. Așa că, din nou, dacă ar fi totul nedorit, ar fi doar o linie, deoarece oamenii care au cel mai scăzut efect de tratament în eșantionul tău de învățare automată, de fapt, nu o fac în viața reală. Are sens? Și apoi, așa că poți face asta. Deci, iată, acestea sunt rezultatele pentru proba de imunizare. Deci sunt excepțional de drăguți prin faptul că de fapt... ceva iese din asta. Nu este întotdeauna cazul, așa cum am spus. Și ceea ce găsiți este o eterogenitate foarte, foarte puternică, până la punctul în care locurile care sunt cele mai afectate sunt cu adevărat afectate. Ai un efect uriaș de tratament. Iar locurile care nu sunt, care sunt mai puțin eficiente, au efect negativ de tratament. Deci, ceea ce poți face sunt două lucruri. În primul rând, voi discuta despre asta pentru un minut de ce este chiar posibil să aveți un efect negativ al tratamentului. Și, în al doilea rând, ați putea spune că ultimul lucru pe care îl facem este să spunem, ei bine, putem face o analiză de clasificare, adică care sunt personajele - este ca și cum o grămadă dintre acestea au interacționat între ele într-un mod complicat. Dar dacă rulez doar o statistică rezumată, doar un tabel statistic rezumat al caracteristicilor sumei acestor grupuri diferite, arată ele diferite, grupurile? Așa că trebuie să aveți grijă să nu suprainterpretați această diferență pentru că, din nou, nu sunt cauzale. Dar măcar vă oferă o descriere. Și ceea ce considerăm că este destul de interesant este că locurile care sunt cele mai afectate sunt cele în care ratele de imunizare au fost foarte, foarte scăzute pentru început. Iar locurile care au fost cel mai puțin afectate sunt locurile care au pentru început rate mari de imunizare. Așa că îmi amintesc că am prezentat asta prima dată în bancă, în Banca Mondială și prietenului meu [? Jishnu Des, ?] despre a cărui lucrare vom vorbi mult în restul zilei de astăzi și săptămâna viitoare. Am fost ca, haide. Nu poți scrie o lucrare în care să faci toată chestia asta și să- mi spui doar oamenii care sunt cei mai afectați de... și ai uitat imediat de oamenii al căror nivel de imunizare a fost scăzut de la început. Și mai întâi am spus, da, da, ai dreptate. Sună puțin prostesc. Dar apoi m-am gândit la asta și am spus, de ce? Chiar și oamenii cu o rată mare de imunizare, nu este vorba că au o rată de imunizare foarte mare. Au o mulțime de posibilități de îmbunătățire. Deci nu este mecanic. Ele nu sunt mărginite. Nu sunt deloc în intervalul în care ar fi mărginiți. Deci nimic nu spune că impactul intervenției este concav, în general. De fapt, în multe cazuri, este, de exemplu, în programul ultra săraci , cei care beneficiază cel mai mult sunt cei mai bogați dintre cei ultra săraci. Deci nu cred că este mecanic, dar poate că este. E adevărat că un pic ca prima lucrare, sună puțin trist după tot acest exercițiu să vină cu ceva evident. Și apoi, celălalt lucru care clar nu este mecanic, este că obții un impact negativ. Care ar putea fi cel mai interesant - sau este probabil cel mai interesant și înfricoșător rezultat de aici. Deci, de ce crezi că rezultatul ar putea fi... de ce crezi că unii oameni ar putea fi afectați negativ? Unele sate și, prin urmare, unii oameni ar putea fi afectați negativ de un astfel de program. PUBLIC: [INAUDIBIL] ESTHER DUFLO: Vrei să spui că deja făceau ceva și... PUBLIC: Dacă alți oameni se poziționează [INAUDIBIL] ESTHER DUFLO: Rezultatul este numărul de fotografii care sunt date în lună. Așa că s-ar putea să fie epuizare din alte lucruri. Dar aici, de exemplu, dacă vin oameni din alte sate, ar fi numărați. Aceasta include orice aglomerare de alți oameni din alte sate. Da. PUBLIC: O ipoteză, cred, care a fost menționată pe scurt în lucrare și anume că unii oameni sunt foarte motivați intrinsec să se vaccineze. Și odată ce introduci această încurajare externă, atunci poate că există o explicație comportamentală că de fapt nu vreau să o mai fac. ESTHER DUFLO: Da, poate acesta este unul dintre aceste exemple de slăbiciuni ca o serie de lucrări. Unul se numește „Găsirea prețului” care arată că, atunci când o școală penalizează părinții, acordă amenda oamenilor pentru părinți atunci când își iau copiii târziu la grădiniță, numărul de părinți care își trimit copiii -- care își iau copiii târziu de fapt. crește pentru că înainte, oamenii se gândeau, oh, acesta este termenul limită. Trebuie să-mi iau copiii. Și acum, de fapt, trimiteți un semnal că puteți face acest lucru contra unui anumit preț. Alt exemplu -- PUBLIC: Un alt motiv pentru care s-au întâmplat toate aceste lucruri a fost dacă toți cei din sat ar fi fost deja tratați cu oamenii [ INAUDIBILI] pentru vaccinare și toți ceilalți au nevoie de multe informații [INAUDIBILI]. Dar cu stimulente financiare, s- ar putea întreba de ce guvernul sau oricine încearcă să obțină bani [INAUDIBILI] oameni... ESTHER DUFLO: Da, exact. Deci oamenii... deci o versiune a ei, care comportament sau nu ar putea fi că oamenii o făceau deja. Și apoi, dintr-o dată, apare un stimulent. De ce au nevoie de mine? De ce trebuie să mă plătească pentru a face asta? Trebuie să fie foarte rău dacă trebuie să mă plătească pentru a face asta. Nu ar trebui să vreau să o fac singură. În contextul vaccinului COVID 19, de exemplu, în discuția din Franța de a-l face obligatoriu sau cvasi-obligatoriu, ceea ce este acum, cu siguranță nu a fost. Acolo, dacă faci ceva obligatoriu, atunci spune-- trimite un semnal că nu este ceva ce ar trebui să-ți dorești. Și în schimb, de fapt, oamenii erau extrem de suspicioși față de vaccin în Franța. A fost una dintre cele mai înalte... înainte de începerea campaniei de vaccinare, a fost una dintre țările cu cea mai mare suspiciune. Și apoi, începutul campaniei a fost total năruit. A fost cu adevărat lent. În primele două săptămâni, au imunizat 12 persoane. De când au imunizat o femeie numită Morrisette într-un cămin de bătrâni. Au imunizat 12 oameni în două săptămâni. A fost un dezastru. Totul a fost că nu va fi suficient vaccin și nu vom putea face acest lucru. Și apoi, opinia cu privire la dacă oamenii doreau să se vaccineze s-a schimbat. Și o interpretare posibilă este că asta a devenit să fie văzut ca ceva rar. Pe care ar trebui să-l dorești pentru că nu este suficient. Și nu există... și acești idioți ai guvernului nu sunt capabili să ofere acest bine de care avem cu adevărat nevoie. Și, prin urmare, neîncrederea dumneavoastră în guvern, în mod paradoxal, cred, a jucat acolo în favoarea generării unui consens mai mult decât orice altceva. Și apoi, nu spun că au făcut asta intenționat. Știu că nu au făcut-o. Și nu știu dacă explicația mea este corectă, dar ar putea fi. Ceea ce știu că au făcut intenționat este să nu aibă un mandat, sau ceva care să arate așa, sau stimulente până destul de târziu, pentru că erau îngrijorați de acel efect de reacție. Că, dacă puneți un stimulent, oamenii nu o vor face doar ca să deranjeze guvernul. Și aici, s-ar putea să fie un pic așa. De ce trebuie să mă plătească să fac asta? Aveam de gând să o fac oricum, dar trebuie să fie bine dacă mă plătesc să o fac. Și asta este în concordanță cu faptul că efectele sunt cele mai mici în locurile care au deja multă imunizare, deoarece lasă o grămadă de oameni care altfel ar fi făcut-o, care nu pot fi convinși. O mulțime de oameni, în timp ce, a avut efect în locurile în care nimeni nu este vaccinat. Nu există nimeni care să fi fost motivat intrinsec pentru a începe, așa că motivația ta extrinsecă o ajută. PUBLIC: În acest cadru special, aveți vreo dovadă sau înainte de această intervenție, când oamenii erau imunizați, a fost asociat anterior cu guvernul? S-ar putea ca acum guvernul să- mi dea... înainte, trebuia să merg la doctor. Nu a existat o legătură atât de mare între imunizări și guvernul care vrea să o faci. Așa că poate că este vorba în mod specific despre, eu sunt neîncrezător în guvern. Dar nu neapărat de medicină. Dar acum că guvernul se impune, nu știu dacă... ESTHER DUFLO: Nu știu pentru că oricum stimularea a fost făcută ca parte a structurilor guvernamentale. Deci ar putea fi un exemplu de a menține guvernul în afara Medicare-ului meu. Adică, dintr-o dată oamenii și-au dat seama de importanța guvernului în a-și câștiga grija, dar nu sunt sigur. Ar putea fi. PUBLIC: Obțineți un rezultat ca acesta și îl comunicați înapoi la centrul de apeluri. Îl traduci înapoi în [INAUDIBIL] ESTHER DUFLO: Da, deci felul în care... acesta se traduce frumos. Practic, aveți un astfel de tabel, cu excepția faptului că îl puteți exprima în grafice pentru a spune, ei bine, obțineți cel mai mare efect în locurile în care există deja multă vaccinare. Acestea sunt cinci dimensiuni ale vaccinării, dar puteți alege doar una. Și niciunul din celelalte... și apoi, acesta este singurul lucru care iese. Și de exemplu, pentru guvern, foarte important să le spunem că nu este vorba despre religie. Aceasta este Haryana. Este ca hindus. Guvernul este ca dominat hindus. Așa că sunt foarte prompti să spună că sunt musulmani care nu vor să fie imunizați. Deci, puteți arăta că acest efect nu variază în funcție de musulman, hindus. Genul ăsta de lucruri. Dar ai dreptate. De aceea vrem să ajungem la [INAUDIBIL] pentru a oferi ceva concret, acționabil, de înțeles. Dar încă nu o fac, doar una plină. Nu este acolo. Suntem foarte dornici să extindem bârfa plus SMS-urile. Dar acesta este mai complicat. Faptul că a costat bani, deci, deși un alt mesaj important pentru politică este că, dacă te concentrezi pe locurile care sunt cel mai mult-- care au cel mai mare efect, devine rentabil în acele locuri. Nu extraordinar. Nu este îngrozitor de-- nu este îngrozitor de mult mai ieftin decât controlul, ceea ce facem în care găsim în Udaipur. Dar în grupurile de top, nu poți proiecta că nu pierzi niciun ban pe lovitură în comparație cu faptul că nu faci stimulente. Deci, de aceea, este important să avem această analiză, deoarece mesajul politicii devine puțin mai subtil. Este A, nu vrei să o faci acolo unde se va întoarce înapoi. Dar B, în locurile în care funcționează de fapt, ai putea la fel de bine să o faci. Nici măcar nu te va costa mai mult per imunizare. Dar înțeleg pe deplin ideea că. Observația mea empirică este că acesta este un mesaj care este mai greu de transmis decât mesajul simplu. Aceasta este ceea ce poți face peste tot. Acest lucru este ieftin de făcut și mergeți pentru asta. Deci, toate acestea înseamnă că... deci, în primul rând, există multe lucruri pe care nu le înțelegem pe deplin pentru sănătate. Dar este într-adevăr un set grozav de subiecte. Multe dintre ele încă deschise. Și apoi, face un răspuns de aprovizionare destul de complicat. Într-un mediu în care cererea este complicată, se întâmplă toate aceste lucruri, încrederea, reducerea hiperbolică, dezinformarea etc. Vă puteți aștepta că acolo aprovizionarea va fi greu de disciplinat. Deci nu avem timp să acoperim toată aprovizionarea astăzi. Dar pot să încep puțin și apoi să continui. Vreau să predau despre furnizarea de îngrijiri medicale, așa că voi continua mai târziu. De unde începem? Deci motivația este de la Arrow. Îngrijirea sănătății este o credință bună cu o mulțime de informații asimetrice. Furnizorul știe mai multe decât pacientul. Din toate motivele pe care le-am descris, este clar adevărat. Învățarea este foarte dificilă. Și există o mulțime de externalități. Deci, chiar dacă ai ști totul, vei avea o cerere destul de scăzută pentru unele bunuri, cum ar fi prevenirea. Și apoi, cererea prea mare pentru alte bunuri, cum ar fi antibioticul. Chiar dacă înțelegi totul, doar pentru că antibioticul te va ajuta acum, în timp ce imunizarea îi va ajuta pe toți ceilalți oameni. Deci nu te poți baza pe indivizi pentru a alege rezultatul potrivit. Din toate aceste motive, asistența medicală privată nereglementată va tinde să se trateze prost și să ofere în exces unele medicamente și să ofere sub unele medicamente. Prin urmare, concluzia noastră nu este vorba despre India. Vorbește despre SUA, dar asta se aplică și Indiei. Este consensul social general , în mod clar, că soluția laissez-faire pentru medicină este intolerabilă. Suntem de acord. Doar că... O să omit peste asta. Ei bine, poate nu. Deci, într-adevăr, a afla despre calitatea asistenței medicale pe care o primiți este foarte dificilă, atât din cauza a ceea ce am discutat despre bolile autolimitate, cât și din cauza externalităților. Drept urmare, oamenii au o înțelegere foarte slabă a sănătății lor. Și au o înțelegere slabă dacă beneficiază de îngrijiri medicale bune. Așa că am discutat deja despre bolile autolimitate. Și asta duce potențial la utilizarea excesivă a antibioticelor sau [INAUDIBLE] pentru COVID, deoarece crezi că au fost eficiente, când, de fapt, este doar că boala a devenit mai târziu. Cealaltă problemă sunt externalitățile. Atunci mulți oameni se imunizează sau se deparazitează, nimeni nu se îmbolnăvește. Și nu te îmbolnăvești mai puțin pentru că ai primit imunizarea sau deparazitarea. Rezultatul este că există o mulțime de... este foarte ușor pentru un furnizor să profite de situație pentru a acorda îngrijiri foarte, foarte proaste. Și în special, să dai medicamente foarte, foarte, foarte proaste. Într-un mediu în care mulți oameni iau tratament împotriva malariei chiar și atunci când nu au malarie și oamenii sunt foarte naivi în ceea ce privește modelul, există un stimulent foarte puternic de a vinde tratament fals pentru că, de obicei, poți scăpa cu asta. Așa că, pentru a investiga acest lucru, Bjorkman, Svensson și Yanakizawa-Drott au trimis un cumpărător misterios să cumpere un medicament anti-malarie , cel nou, ACT, terapie combinată cu artemisinină, în 99 de piețe din Uganda, și apoi să le testeze în laborator. Și ceea ce au descoperit este că 37% din magazin vinde unele contrafăcute, că prețul nu are legătură cu faptul că este vorba despre contrafăcute sau nu și că ponderea-- proporția de falsuri este în creștere în ponderea consumatorilor naivi sau a persoanelor care înțeleg greșit malaria. . Așa că pun întrebări oamenilor despre ceea ce crezi că provoacă malaria. Deci unii oameni cred că ploaia provoacă malarie. Și unii oameni știu că sunt țânțari. Și sunt țânțari când plouă. Și cu cât aveți mai multe dintre aceste gospodării naive, cu atât există mai multe contrafăcute. Oamenii sunt mai predispuși să aibă... îmi pare rău. Acesta este aici. Cu cât ai mai mulți oameni naivi , cu atât este mai probabil ca un loc să vândă malarie contrafăcută. Și asta ține de faptul că, cu cât oamenii sunt mai naivi, cu atât oamenii sunt mai convinși că drogul pe care îl primesc este bun, poate pentru că l-au încercat și a funcționat în ceea ce îi privește. Deci, ceea ce fac ei în această lucrare este că se întreabă dacă o calitate bună le poate conduce pe cele proaste. Așa că lucrează cu BRAC, aceeași cu faimă ultra proastă și, altfel, organizație extrem de reputată și competentă , care acum nu lucrează doar în Bangladesh, ci și în Uganda și alte țări din Africa de Est. Și BRAC înființează farmacii, care vinde medicamente antimalarie de bună calitate. Și întrebarea lor este, îi va duce pe ceilalți oameni să dispară? Și întrebarea... răspunsul este în doi pași. În medie, calitatea în magazin crește, iar prețul medicamentului împotriva malariei scade. Deci, în medie, efectul concurenței, de fapt, funcționează. Dacă introduceți acest produs legat, oamenii se vor aduna la el. Și apoi, pune presiune pe ceilalți tipi. Și vor avea tendința fie de a alege medicamente bune și de a reduce prețurile. Cu toate acestea, acest lucru funcționează mai puțin în satele unde sunt clienți mai naivi. Deci, atunci când interacționați, utilizați acest tabel, când interacționați cu fracția în care ONG-ul vinde droguri în medie, este mai puțin probabil să existe droguri false în sat. Dacă există mai mulți nativi așa cum am văzut înainte, acesta este acesta, sunt mai multe droguri false. Și atunci, dacă în sat sunt mai mulți băștinași, efectul tratamentului este mai puțin puternic. Deci numărul unu, când ai mai mulți băștinași în sat care nu înțeleg modelul, ai mai multe droguri false. Numărul doi, face dificil să... mai dificil să rezolvi problema punând medicamente bune. Deci doar pentru a spune că... pentru a mângâia punctul pe care Arrow l-a spus. Este greu să înveți despre sănătate și furnizorul să profite de ea. Și, prin urmare, sectorul privat de îngrijire a sănătății este în țări sărace este cu adevărat îngrozitor. Și vă voi spune puțin mai multe despre cât de îngrozitor este data viitoare. Deci ne oprim aici. Cred că vom avea timp să terminăm asta într-o jumătate de prelegere, care încă ne va oferi o prelegere și jumătate despre gen. Deci va fi bine. Dar luni, Ben predă. Așa că vei lăsa asta în frigider pentru un minut, pentru o prelegere, și ne vom întoarce împreună.