[MUZICĂ]
DANIEL JACKSON: Aceste
preocupări etice
nu apar din cauza
simplelor alegeri binare
între a fi bun sau rău.
Ele apar în mare parte din
cauza lipsei de conștientizare.
SARAH HANSEN: Astăzi,
la Chalk Radio,
vorbim despre modul în care
deciziile etice ale inginerilor
modelează software-ul pe care îl
folosim în fiecare zi.
SERENA BOOTH:
În cele din urmă, prin parcurgerea
acestui
proces concret, scopul
este să vă faceți să identificați ceea ce
numim puncte de decizie încărcate de valoare
în munca dvs. de inginerie
și să alegeți mai bine, doar
prin faptul că sunteți mai
informați și mai deliberați.
SARAH HANSEN: Sunt
gazda ta, Sarah Hansen.
Săptămâna aceasta, avem o conversație
cu doi oameni de știință MIT
care se gândesc profund la modul în care
proiectarea de software influențează
experiențele noastre în lume.  De
asemenea, îi
încurajează pe studenți
să examineze liniile de falie
dintre oameni și tehnologie
și îi ajută pe studenți să ia în
considerare responsabilitățile sociale și etice
ale computerului.
Invitații mei sunt Daniel
Jackson și Serena Booth.
DANIEL JACKSON: Sunt
profesor de informatică
și sunt, de asemenea,
director asociat al CSAIL,
Laboratorul de informatică și inteligență artificială de la MIT.
SERENA BOOTH: Încep în al
patrulea an ca doctorand
aici la MIT.
SARAH HANSEN: Înainte de a
colabora la clasă,
Daniel și Serena
făceau amândoi cercetări
la intersecția
dintre tehnologia complexă
și experiențele umane de zi cu zi.
DANIEL JACKSON: Accentul
muncii mele în ultimii ani
a fost să încerc să
înțeleg proiectarea software-ului,
nu din punctul de vedere al
structurii sale interne, care,
apropo, este ceea ce oamenii
vorbesc de fapt când
vorbesc despre proiectarea software-ului.
Ele înseamnă, cum
scrieți codul,
cum organizați
codul, cum
potriviți lucrurile și așa mai departe.  Ci mai
degrabă, design în
sensul în care oricine din
lume ar folosi
termenul, și anume design
la interfața dintre
mașină și ființă umană.
Și am devenit foarte
interesat de întrebarea,
în esență, dacă
putem veni
cu un fel de mare
teorie a designului
care să explice cum să
proiectăm software-ul
astfel încât să fie mai utilizabil, mai
sigur, mai sigur și mai
plăcut.
SERENA BOOTH: Îmi
doresc foarte mult să creez
roboți utili, de uz general,
care să colaboreze cu oamenii.
Așa că este important pentru mine că
roboții nu înlocuiesc oamenii,
ei accentuează lucrurile
care ne plac în viața noastră
și îndepărtează unele dintre
treburi și lucruri plictisitoare.
Cred că de multe ori uităm
de necesitatea ca persoana
să lucreze și să colaboreze
cu acel robot.
Acolo sunt cu
adevărat interesat,
încercând să-i fac pe oameni să
înțeleagă cum funcționează roboții pentru a
putea prezice ce
vor face în continuare, astfel încât să puteți
face această colaborare sigură și
utilă atât pentru om, cât și pentru robot.
SARAH HANSEN: Pe măsură ce și-au
continuat propriile cercetări, amândoi au fost
martori cum
diferite tipuri de
decizii de proiectare aparent simple au implicații
sociale și etice serioase
.
DANIEL JACKSON:
Aș spune că
le pot încadra foarte gros în
trei categorii diferite.
Primul este că este foarte
ușor să proiectați și să construiți
un dispozitiv sau un sistem
sau o aplicație care pur și
simplu nu își îndeplinește
bine scopul propus.
Un exemplu cu adevărat convingător
în acest sens,
pentru mine, este multitudinea de
dispozitive medicale concepute adesea
de companii care
au o tehnologie excelentă,
dar care nu au suficientă
experiență în software
și proiectarea interacțiunii om-calculator

pentru a se gândi la întrebări legate
de ce fel de greșeli
utilizatorii pot face.
Deci, există multe
povești îngrozitoare despre pompe de perfuzie,
de exemplu, în care asistentele
introduc rate de dozare incorecte
și oamenii sunt uciși
sau grav răniți
deoarece, de exemplu, un
medicament pentru chimioterapie este administrat
la o concentrație mult prea mare
sau la un volum mult prea mare.  .
Dar dispozitivele medicale
sunt doar o categorie
de sisteme care sunt adesea prost
implementate într-un mod care, în
esență, nu
apreciază cât de important
este să se adapteze tipurilor
de erori pe care le fac utilizatorii.
Și ar trebui să spun că există și o tendință
binecunoscută și foarte nefericită
în societate de a da vina pe
utilizatori pentru erorile pe care le fac.
Ca doar un exemplu,
un accident îngrozitor,
o serie de accidente, din cauza unui
aparat de radioterapie din Panama
a dus la urmărirea penală a tuturor asistentelor implicate
în acesta
și, cred, unele dintre
ele la închisoare,
în ciuda faptului că era
clar  un defect de proiectare a sistemului.
Deci aceasta este prima
categorie, lucrurile care nu-și îndeplinesc
scopurile.
A doua categorie este
că sunt concepute
pentru a îndeplini anumite scopuri,
dar acele scopuri
sunt insidioase.
Vă voi da un exemplu de
unul care este insidios doar
într-un mod blând, și anume
că multe aplicații
oferă un fel de
caracteristică de notificare.
Și vă puteți imagina că este pentru a
servi ceea ce sugerează cuvântul,
pentru a notifica utilizatorii.
Așa că Facebook îți spune, de
exemplu, când ar putea
exista postări de interes pentru tine.
Dar dacă săpați
puțin mai adânc și vă
uitați la întrebarea cu
cât de ușor puteți
configura acele setări
și decideți despre ce doriți
să fiți notificat, veți
descoperi că, de fapt,
aveți foarte puțin control.
Și ceea ce dezvăluie
este că scopul real
al acestui
concept de notificare este, de fapt,
să încurajeze
implicarea în site
și să atragă oamenii să viziteze
mai des decât este de fapt
bine pentru ei.
Aceasta este a doua categorie.
A treia categorie sunt,
practic, aspectele
în care design-urile pot contribui
la un mediu de calcul
care are
efecte subtil pernicioase.
Și aceste efecte
includ, de exemplu,
marginalizarea anumitor
grupuri de oameni,
avantajarea unor
utilizatori față de alții,
încurajarea comportamentelor antisociale sau
nedemocratice,
crearea de prejudicii comunității
sau chiar reducerea personală a
calității vieții, făcându-ne
mai puțin reflexivi, creativi
sau independenți prin înrobire.
ne la dispozitivele noastre,
prin pierderea atenției noastre
și toate aceste lucruri de
care am devenit cu toții foarte
preocupați de dispozitivele pe care le
folosim, dar care
nu sunt neapărat
inerente acelor dispozitive,
ci exacerbate de
deciziile de proiectare pe care le luăm.
SERENA BOOTH: Vă pot oferi
o anecdotă din zilele mele
la Google.
Deci tocmai absolvisem
facultatea.
Aveam cam 22 de ani.
Eram la Google
de câteva săptămâni
și lucram la Căutare.
Și echipa mea a venit la mine și
am avut această criză.
Reproiectam
pagina de căutare a dinozaurilor.
Și toată lumea nu era sigură.
Primisem o mulțime de bug-uri
de la părinți care se plângeau
de pagina noastră de căutare a dinozaurilor
pentru că „pterodactilul” nu
apărea acolo, iar
copiii lor îl doreau acolo.
Și așa am avut această
mică criză ca o echipă.
Ne gândim, ar trebui să punem
„pterodactil” acolo?
Nu este chiar un dinozaur.  Din punct de vedere
tehnic, este
un pterozaur, așa că i-am
minți pe copii.
Și pentru că eram
manager de produs,
ei au spus: OK,
Serena, tu hotărăști.
Și așa am luat o decizie
și apoi am mers mai departe.
Și asta e total
lipsit de importanță, nu?
Nu
contează cu adevărat dacă copiii cred că
pterodactilul este un dinozaur.
Dar doar deschide
ușa, porțile,
pentru a ne gândi la cât de mult
control avem asupra modului în care oamenii
înțeleg lumea.
Și așa, da,
astfel de decizii
sunt lucruri la care mă gândesc mult.
SARAH HANSEN: Serena
și Daniel au observat
un decalaj între întrebările pe care și le
puneau în
calitate de cercetători și ceea ce li se

puneau elevii în clasă.
DANIEL JACKSON:
Întotdeauna am fost deranjat
de modul în care
poate
nu numai că le-am permis,
ci chiar i-am încurajat pe
studenții noștri să marginalizeze
preocupările etice
și uneori să ne gândim la
ele în termeni destul de banali.
Un lucru care îmi vine mereu
în minte este că, când.
Google a fost fondat, a existat
acest slogan, "Nu face rău."
Și a existat acest sentiment,
cred, printre studenții noștri
și printre mulți
tineri tehnologi
că suntem oameni buni.
Și așa e de înțeles
că am crezut că
nu vrem să facem răul.
Dar adevărul este că majoritatea
oamenilor nu vor să facă rău.
Oamenii responsabili
ai companiilor care
fac unele dintre cele mai groaznice
lucruri planetei nu
sunt chiar oameni răi.  Cei
mai mulți dintre ei sunt oameni care își iubesc
familiile și prietenii, care
vor să facă bine în lume.
Și aceste
preocupări etice nu apar din
cauza simplelor alegeri binare
între a fi bun sau rău.
Ele apar în mare parte din
cauza lipsei de conștientizare.
Și așa cum am văzut cu
Google, de exemplu,
banii corup totul.
Și odată ce începi să ai un
succes financiar enorm,
cu excepția cazului în care ai o
lentilă etică foarte puternică,
este foarte greu să reziste
tentațiilor banilor.
Și am crezut că
este foarte important
pentru noi să putem să le inoculăm
studenților noștri împotriva unora
dintre aceste ispite
și ca ei să
dezvolte genul
de sofisticare
în înțelegerea lor socială și etică
a lumii
pe care o au în
înțelegerea lor tehnologică.
Voi spune, de asemenea, că a existat un
motiv pragmatic foarte simplu pentru
care am vrut să mă
implic în SERC, și anume
că nu
știam cum să fac asta.
SARAH HANSEN: Poate vă
amintiți acronimul SERC
din episodul nostru anterior cu
Catherine D'Ignazio, Jacob
Andreas și Harini Suresh.
Aceasta înseamnă Responsabilitățile sociale și etice
ale computerului.
SERENA BOOTH: Recent,
MIT a anunțat lansarea
Colegiului de Calcul,
care este un nou efort
de a încerca să aducă laolaltă
calcularea interdisciplinară
.  Va

schimba cu adevărat MIT așa cum îl știm noi.
Dar, ca parte a acesteia,
au lansat SERC.
Scopul este de a aduce împreună toate
perspectivele diferite
asupra responsabilităților sociale și etice --

așadar filozofi,
oameni de știință socială, oameni de
știință cognitiv,
informaticieni și mulți alții --
și de a obține acea coaliție de oameni
pentru a ajuta la integrarea educației etice
în programa MIT,
foarte  in linii mari.
SARAH HANSEN: În
colaborare cu SERC,
Serena sa alăturat lui Daniel ca
asistent didactic absolvent
pentru cursul 6.170
Software Studio.
Unul dintre obiectivele lor principale
a fost să aducă considerații
sociale și etice

în sala de clasă de inginerie.
Atunci au apelat la un
instrument puternic numit
Protocolul Etic.
SERENA BOOTH:
Protocolul de etică
a fost dezvoltat aici, la MIT.  A
fost dezvoltat de
Milo Phillips-Brown,
care acum este
profesor asistent la Universitatea Oxford.
Și Abby Jacques.
Amândoi sunt
filozofi prin pregătire
și, pe măsură ce s-au maturizat
în cariera lor, au
început să se
implice mai mult
în proiectarea materialelor legate de etică
pentru computere, în
special.
Deci Protocolul Etic
este un instrument care
încearcă să le ajute în
misiunea lor, care
este de a preda etica ca abilitate.
În cele din urmă, prin parcurgerea
acestui proces concret,
scopul este să
vă faceți să identificați
ceea ce numim puncte de
decizie încărcate de valoare
în munca dumneavoastră de inginerie
și să alegeți mai bine
doar prin faptul că sunteți mai
informați și mai deliberați.
SARAH HANSEN: Daniel
și Serena au remarcat
că nu este posibil sau
etic să le oferim studenților
un principiu etic unic
pentru a le ghida luarea deciziilor.
În schimb, studenților li se prezintă
un set de trei lentile
pe care le pot aplica atunci când
evaluează un proiect sau o idee.
Cele trei lentile ale
Protocolului de etică
sunt rezultatele,
structura și procesul.
SERENA BOOTH:
Lentila rezultatelor
vă cere să analizați consecințele
unei decizii sau intervenții,
iar aceasta este una foarte
intuitivă de utilizat.
Lentila procesului vă cere
să luați în considerare tratamentul pe care îl acordați
părților interesate.
Așa că ar trebui să vă gândiți la
lucruri precum autonomia părților interesate
, consimțământul lor,
participarea lor.
Și apoi ultima lentilă,
lentila de structură,
vă cere să analizați modul în care rezultatele
și procesul sunt distribuite
între părțile interesate.  Un
alt nume bun și poate mai
descriptiv pentru acest obiectiv
ar fi o lentilă de justiție.
[REDARE MUZICA]
Deci, în
proiectarea software-ului, avem de obicei
o definiție pentru
părțile interesate, cineva care
este implicat în
realizarea, utilizarea sau
probabil că va folosi software-ul dvs.
Construiești pentru un
set relativ mic de oameni
și încerci să fii
foarte atent la nevoile lor
pe măsură ce construiești.
Dar când te gândești, în schimb,
la implicațiile etice,
stabilirea
părților interesate în acest fel
nu este rezonabilă, nu?  De
asemenea, ar trebui să luați în considerare
toate părțile interesate care
sunt sau ar putea fi
afectate de software-ul dvs.
Ca
exemplu concret, poate ne-am
putea gândi la o
companie precum Uber sau Lyft.
Deci, conform
definiției software a părților interesate,
probabil vă gândiți la
șoferi și clienți, nu?
Aceștia sunt singurii doi
factori interesați care contează cu adevărat.
Dar, în conformitate cu
definiția părților interesate din Protocolul Etic, ar
trebui să vă gândiți
și la alții.
Deci, exemplul foarte evident
aici este șoferii de taxi tradiționali
care sunt subminați
de aceste aplicații.
Este imposibil pentru
tine să te gândești la
fiecare posibil parte interesată
și la fiecare efect potențial
pe care l-ar putea avea software-ul tău.  Pur și
simplu nu este sustenabil, nu?
Și deci sunt lucruri care
vor fi în afara controlului tău
și trebuie să fii de acord cu asta.
Dar, cu toate acestea, ar
trebui să
încercați totuși să anticipați cât mai
mult posibil pentru a evita
acele
consecințe nedorite în aval.
SARAH HANSEN: Eram
curioasă cum arată toate acestea
în
clasă, când
elevii încep să pună
în practică Protocolul Etic.
DANIEL JACKSON:
Cursul nostru constă
, în esență, din două părți.
În prima parte
a trimestrului, ei
învață ideile de design de bază
și tehnologiile de bază
și le pun împreună
și le aplică
pe probleme mici,
bine cuprinse.
Și apoi, în a doua
jumătate a mandatului, se
unesc
în echipe și
preiau un proiect mai amplu
din propria invenție.
Și ei construiesc acel
proiect de la concept până
la implementare și
implementare și tot.
Introducem treptat aceste preocupări sociale și
etice.
Începem cu
sarcinile individuale,
cerându-le să reflecteze
asupra ramificațiilor etice și sociale
ale
misiunii pe care o fac
și la implicațiile
acelei sarcini.
Și creștem încet
intensitatea
și sofisticarea
analizei pe care le cerem.
Și apoi, pe măsură ce ne îndreptăm
către proiectul final,
le cerem să înceapă să ia
în considerare aceste decizii
în propria lor activitate de proiectare.
Și apoi, în
proiectul final,
îi încurajăm să-și
dezvolte ideile
folosind aceste lentile pe
care le-a descris Serena
și în contextul
acestui tip de analiză.
SERENA BOOTH: Și a făcut parte
din livrabilul lor, ceea ce
cred că este cu adevărat important.
Deci nu doar
ei vorbeau despre asta.
Făcea parte din nota lor.
Și s-a simțit foarte
real și important.
Și cred că i-am văzut pe studenți
participând cu adevărat și au început
să integreze acest lucru în
gândirea lor, parțial
ca o consecință a
acelei integrări.
DANIEL JACKSON:
Chiar și pentru mine a fost o surpriză,
în ciuda entuziasmului meu pentru
acest material, că am constatat
că există atât de multe
preocupări sociale și etice chiar și
în contextul relativ îngust
al sarcinilor destul de tehnice
de la început.
Așa că vă voi da doar
un exemplu.  Îi
punem să construiască
ceea ce numim Fritter.
Fritter este, în esență,
o clonă Twitter.
Dar doar întrebările
referitoare, de exemplu,
ce tipuri de postări sunt
afișate, care sunt criteriile
de afișare a postărilor, tweet-urilor
sau free-urilor, așa cum le numim noi, în
ce ordine
apar acestea și așa mai departe
pot avea ramificații sociale.
SARAH HANSEN: În acest
moment al conversației,
am început să mă întreb cum a fost
să predai etica
în contextul
culturii anulării.
Dar, după cum au explicat Daniel și
Serena,
studenții nu sunt
învățați ce să gândească.
Nu li se cere să
adopte anumite ideologii
în clasă.
În schimb, învață
cum să pună întrebări mai bune.
SERENA BOOTH: Încercăm să
nu fim prescriptivi.
Uneori, acest lucru
poate fi destul de greu,
pentru că toți avem
un sentiment destul de puternic
al binelui și al răului.
Dar, în schimb, ceea ce
încercăm să facem mai ales
este să-i facem pe studenți
să pună la îndoială deciziile pe care le
iau și să
încerce să perfecționeze și să repete
propriile lor
busole morale și etice.
Așa că dorim ca ei să
dezvolte această înțelegere
pentru ei înșiși
prin prisma lor
și să părăsească MIT cu
aceste cunoștințe.
DANIEL JACKSON: Doar pentru că
ceva este subiectiv,
doar pentru că s-ar putea să nu fim cu
toții de acord cu privire la evaluarea
anumitor
consecințe etice
nu înseamnă că
nu putem obține
un fel de
înțelegere obiectivă a ceea ce înseamnă
a avea o analiză etică competentă,
care este adecvată.  de
anvergură, echilibrat și
aprofundat în diferite privințe.
Unul dintre lucrurile pe care
încercăm să le învățăm studenților
este că nu este vorba despre nicio
ideologie sau dogmă anume.
După cum a explicat Serena, ceea ce facem
este să le dăm instrumente.
Și le oferim
aceste lentile.
Și nu sugerăm niciodată că
o evaluare etică
este corectă și alta
este incorectă.
Nu spunem că Uber ar trebui să
ia decizii în funcție
de impactul asupra mijloacelor de trai
al șoferilor de taxi existenți.
Nici nu spunem că
acționarii Uber
sunt cei mai importanți
factori interesați.  Nici
nu spunem că
șoferii sau pasagerii
sunt importanți.
Ideea este că
orice decizie de proiectare
trebuie luată cu o
conștientizare deplină a
părților interesate pe care le
luați în considerare.
Și apoi cum
faci asta chiar tu, ei
bine, asta este, desigur,
extrem de important.
Nu le sugerăm nici măcar un minut
studenților
că există vreun fel de
judecăți etice predefinite
pe care ne așteptăm să le facă.
Și dimpotrivă,
cred, am
dori de fapt să
le complicăm înțelegerea.
Scopul meu este întotdeauna să mă
conving pe studenți
și pe mine că
preconcepțiile cu care
venim sunt
prea simpli
și că este mult de lucru de
făcut pentru a înțelege lucrurile
mai profund.
SARAH HANSEN: Pe măsură ce dezvoltă
aceste înțelegeri mai profunde,
studenții de la
cursul Software Studio al lui Daniel și Serena
provoacă și stereotipurile
despre tipul de muncă de care
studenții de inginerie
pot fi pasionați.
DANIEL JACKSON:
Se pare că studenții noștri
sunt absolut pasionați să-și
pună amprenta în lume
și să facă parte
dintr-o comunitate mai mare.
Cred că este doar o chestiune
de a le oferi posibilitatea
de a face asta.
Bănuiesc că dacă i-ai
întreba: „Ați
dori să urmați un curs despre
ramificațiile sociale și etice
ale computerului?”  s-ar
putea să nu o listeze.
De fapt, este foarte
paralel cu experiența
de științe umaniste de la MIT, unde
studenții, în general, nu se grăbesc
către orele de științe umaniste.  Li se
cere să ia unele ca
parte a cerințelor generale ale institutului
.
Dar când iau
acele cursuri,
de obicei le iubesc.
Și îi iubesc nu
numai pentru că sunt
o pauză de la gândirea mult mai
concretă și mai îngustă pe care o
fac la
orele de tehnică,
ci cred că
le permite
să-și aducă tot
eul în munca lor.
Și îi face să simtă
că au agenție
și că
de fapt contribuie
într-un mod mai larg și mai profund.
SARAH HANSEN: Nu
doar studenții
sunt îndemnați să gândească
mai profund și mai creativ
despre cursurile de inginerie.
SERENA BOOTH: Așa că cred că
una dintre provocările
în integrarea materialelor SERC este
că experiența universitară
este ca o bulă.  În
mod normal, lucrezi
la un fel de probleme cu jucăriile.
Nu expediezi
software, nu?
Deciziile tale
nu au
implicații sociale și etice,
pentru că, probabil, software-ul tău
nu o să-ți părăsească
mâinile, într-adevăr.
AT va vedea.
Profesorul tău o va vedea.
Dar este încă
ținut foarte strâns.
Așadar, ceva
cu care mă lupt
este să încerc să reduc acest
decalaj pentru ca deciziile
pe care le iei să aibă
consecințe în lumea reală.
Și astfel, în această clasă,
modul în care am încercat
să o abordăm a fost
făcându-l realist.
Dar este totuși, într-o oarecare măsură,
ca și cum a construi într-o cutie de nisip.
Și așa că sunt curios
ce fac alți educatori pentru a
încerca să facă acest lucru extrem de
real pentru studenții tăi, nu?
Cum putem face tangibile întrebările legate de
responsabilitățile sociale și etice
?
DANIEL JACKSON:
Celălalt lucru pe care
aș spune că, pentru mine,
este o provocare foarte mare este
că ne simțim în mod constant
copleșiți de cantitatea
de material tehnic
pe care trebuie să o predăm.
Și găsim
modalități de a reduce acest lucru,
pregătind
mai bine studenții la cursurile anterioare,
răsturnând mai mult sala de clasă.
Dar aș saluta
orice idee pe care oamenii le
au despre cum să-i schimbe pe studenți
din această mentalitate, că doar
învățarea detaliilor
limbajului de programare sau a
platformei web pe care o folosesc sau
orice altceva contează
și pentru a-i face să
vadă dincolo.  acea.
[MUZICA PLAYING]
SARAH HANSEN: Dacă
aveți idei
de împărtășit despre predarea
responsabilităților sociale și etice
ale computerului, vă rugăm să
luați legătura cu mine
prin linkul
din notele emisiunii noastre.
Voi transmite ideile tale lui
Daniel, Serenei
și altor ascultători.
Dacă sunteți interesat să aflați
mai multe despre etică și
design software sau să remixați resursele educaționale deschise ale lui
Daniel și Serena

în propria dvs.
predare, accesați site-ul nostru MIT
OpenCourseWare.
Veți găsi
acolo toate materialele.
Vă mulțumesc mult pentru ascultare.
Până data viitoare, mă voi închide
din Cambridge, Massachusetts
și sunt pe cale să caut pe
google „pterodactil”,
sunt gazda ta, Sarah Hansen,
de la MIT OpenCourseWare.
[MUZICA PLAYING]
Producătorii Chalk Radio
includ eu, Brett Paci
și Dave Lishansky.
Asistență pentru scrierea scenariului
de la Aubrey Calaway.
Notele emisiunii pentru acest episod
au fost scrise de Peter Chipman.
Și
site-ul de resurse SERC pe OCW a
fost construit de Cathleen Nalyzaty.
Suntem finanțați de MIT Open
Learning și de susținători
ca tine.
[REDARE MUZICA]