[SCRÂȘIT]
[FOSȘIT]
[CLIC]
NANCY KANWISHER: Ne întoarcem
de la diferitele alte subiecte ale noastre
pentru a vorbi despre audierea de astăzi.
Și să începem prin a ne gândi
la toate lucrurile interesante pe
care le poți face
doar ascultând.
Deci, doar ascultând,
puteți identifica scena în
care vă aflați și
ce se întâmplă
în ea, cum ar fi, de exemplu, aceasta.
[REDAREA AUDIO]
[FINE REDARE]
OK, așa că știți în ce fel de
cameră vă aflați și aproximativ
ce se întâmplă, doar din
acel mic sunet.
Puteți localiza evenimente
și persoane și obiecte.
Așa că închideți ochii, toată lumea.
Ține-le închise.
Și dacă
mă asculți vorbind,
este cu adevărat foarte
viu, nu-i așa,
exact cât de evident
este acolo unde sunt eu.
Și mă voi abține
de la tentația
de a veni și de a vorbi
în urechile cuiva
pentru că este prea înfiorător.
OK, poți deschide ochii.
Este foarte viu.
Doar după ascultare, știi
unde este sursa de sunet.
Puteți recunoaște
sursele de sunet, deci, de exemplu,
sunetul așa--
[SPARARE STICLĂ]
Știți ce s-a întâmplat acolo.
Este un întreg eveniment viu care
tocmai s-a desfășurat acolo
într-o secundă și
jumătate, sau o serie aleatorie
de sunete ca acesta.
[REDARE AUDIO]
- Ar trebui să
plouă sau să ningă.
[SUNETE ALEATOARE]
- Hannah se pricepe
la compromisuri.
[SUNETE ALEATOARE]
[RÂCHETE]
[FĂȘI REDAREA]
NANCY KANWISHER: Oricum,
fiecare dintre acele
sunete pe care le
recunoașteți imediat.
Știi exact ce este.
Și acestea sunt
sunete de mediu, lucruri
care se întâmplă în aer liber,
vorbire, ceea ce se spune,
voci, cine o spune.
Dacă nu cunoașteți persoana,
dacă este bărbat sau femeie,
tânără sau bătrână, la fel ca niște fețe --
dacă o cunoașteți, o veți
recunoaște destul de repede.
Puteți participa selectiv
la un sunet printre altele.
De parcă ai avea o căști mici, ascunse, pe
care nu le-am văzut
și ai fi vrut să asculți
podcast-ul tău preferat, ai
putea să-l asculți
ocazional când
devenisem plictisitor.
Și apoi ai putea să te
întorci și să mă asculți.
Și puteți
alege selectiv pe
care dintre acele
intrări audio diferite să ascultați.
Și vom vorbi mai multe într-un moment
despre această problemă clasică
a auzului, care este cunoscută sub numele de
„efectul de petrecere de cocktail”.
Bănuiesc că a fost numit în anii '50,
când cocktail-urile erau mari.
Și constă în
faptul că atunci când
există mai multe
surse de sunet, cum ar fi multe persoane care
vorbesc într-o cameră,
poți să acordi un canal
și apoi să acordi un
alt canal.
Și puteți doar să vă
ocupați selectiv
de una dintre multele
surse de sunet, chiar
dacă acele surse de sunet se
suprapun masiv una peste
alta în intrare.
Și este o mare
provocare de calcul, despre care
vom vorbi în
curând, să facem asta.
Te poți bucura de muzică.
Și poți determina din
ce sunt făcute lucrurile.
Așa că închide ochii și voi
lăsa lucrurile pe masă.
Nu te uita.  O să
fac diverse
lucruri și tu o
să le identifici.
Deci, să vedem... nu
deschide ochii.
Vezi dacă poți să-ți dai seama ce se
aruncă pe masă
sau măcar din ce este făcută.
Inchide ochii.
Asta e trișare.
Lemn, exact.
Foarte bun.
OK, ce este asta?
Ține-ți ochii închiși.  Din
ce este făcut asta?
- Plastic.
NANCY KANWISHER: Da, bine.
Ține-ți ochii închiși.  Din
ce este făcut asta?
STUDENT: [INAUDIBIL]
NANCY KANWISHER: Da.
OK, ține ochii închiși.  Din
ce este făcut asta?
STUDENT: [INAUDIBIL].
NANCY KANWISHER: Minunat.
OK, poți deschide ochii.
Perfect.
Voi băieți sunteți extraordinari.
Tocmai am scăpat aceste obiecte pe
care le-am găsit din bucătăria mea
azi dimineață și ați putea
spune din ce sunt făcute.
Asta e uimitor.
OK, toate astea pe care
tocmai le-ați făcut se
întâmplă din cel
mai simplu semnal posibil.
Vom vorbi despre ce
anume este acel semnal într-un moment,
dar este doar compresia sunetului care
vine prin aer.
Și îți spune toate aceste
lucruri bogate despre mediul tău.
Deci întrebarea este,
cum facem asta?
Și prima
întrebare este, cum
începem să ne gândim la
cum funcționează auzul, cum
poți să faci toate acestea?
Și voi, băieți, știți că începem
cu teoria computațională -
luând în considerare care
sunt intrările, care sunt ieșirile,
fizica sunetului,
ce ar fi implicat
dacă am încerca să codificăm o mașină
care să preia acele intrări audio
și să furnizeze ieșirea
dvs.  Băieții au fost
livrați
fără nicio problemă.
Ce indicii sunt în stimul?
Care sunt
provocările cheie de calcul?
Și ce face ca aceste aspecte
ale auzului să fie provocatoare?
Și apoi, după ce
facem toate acele lucruri
la nivelul
teoriei computaționale,
putem, desigur, să studiem
auzul în alte moduri,
cum ar fi studiul comportamental.
Ce pot face oamenii și ce nu?
Ce e greu?
Ce este mai puțin greu?
Și putem măsura
răspunsurile neuronale.
Așa că vom vorbi despre toate acestea.
Dar să începem cu
puțin mai multe despre ce este sunetul.
Deci sunetul este doar un
singur semnal univariat care
vine în urechi.
Vom spune mai multe despre
asta într-o secundă,
dar este foarte, foarte simplu.
Și din asta, obțineți
toată această experiență bogată.
Și deci întrebarea
este, ce se
întâmplă în acea
cutie magică din mijloc
pentru a vă permite să extrageți
acest tip de informații
din acest semnal cu adevărat simplu?
Deci, să începem
cu ceea ce este sunetul.
Sunetul este doar un set de
compresii longitudinale
și decompresii ale
aerului care vine de la sursă
în ureche.
Așadar, aceste unde se deplasează
de la sursă la
ureche în mici
valuri de compresie,
unde aerul este
doar comprimat,
și rarefacție, unde
aerul este răspândit.
Și doar pentru a vă da o idee
despre cum este sunetul fizic,
există un videoclip prostesc aici.
Este un difuzor într-o chiuvetă
cu o grămadă de vopsea.
Și puteți vedea doar că
mișcarea difuzorului -- în mod
normal, face acele
compresii și rarefacții
ale aerului, dar dacă
lipiți vopsea pe el.  Va
arunca și
vopseaua în aer
, doar pentru a vă arăta
cât de fizică este.
Există ceva numit
fotografie Schlieren,
care este total mișto și care
este o modalitate de a vizualiza acele
compresii ale aerului
pentru a vă arăta ce este-- [
REDARE VIDEO] [
VOCI INTERPUSE]
- -- o folosiți pentru a studia
fluxul aerodinamic.
Și sunetul... ei bine, asta este doar o
altă schimbare a densității aerului,
o undă de compresie care călătorește.
Prin urmare, vizualizarea Schlieren,
împreună cu o cameră de mare viteză,
poate fi folosită și pentru a o vedea.
Iată o carte care
aterizează pe o masă,
capătul unui prosop
fiind rupt,
o petardă, un AK-47
și, desigur, o palmă.
[FINE REDARE]
NANCY KANWISHER: Bine, deci
doar compresii ale aerului care
călătoresc de la sursă la
urechi, asta este tot.
Deci, sunetele naturale apar la o
mulțime de frecvențe diferite.
Și unul dintre modurile în care
descriem sunetele
este să ne uităm la
acele frecvențe.
Așa că există un site web minunat
care este aici pe diapozitivele tale.
Puteți juca cu el offline.
Dar între timp, ne vom
juca puțin cu ea chiar
acum, pentru că este atât de tare.
Deci ceea ce vom
face este să ne
uităm la spectrograme
ale diferitelor sunete.  Să
începem cu o
persoană care fluieră.
[FURIER]
OK, deci frecvența
este pe această axă,
frecvențe mai mari aici,
frecvențe mai joase acolo.
Și trece în timp.
[ȘUIERIT]
Așadar, fluierul este neobișnuit,
deoarece este aproape
o singură frecvență la un moment dat.
Multe sunete naturale
nu sunt așa.
Deci nu vedeți o singură bandă de frecvențe,
ci o bandă mică și îngustă
la un moment dat.
OK, e suficient.
Oprește-te.  În
regulă.
BINE.
[TROMBONE PLAYING]
Bine, deci vezi cum
cu trombonul,
existau multe
benzi diferite de frecvențe.
În schimb,
eu vorbesc, apropo.
Vom vorbi despre
asta într-o secundă.
Dar cu fluieratul, ai văzut
doar o singură trupă la un moment dat.
Cu trombonul, are
toate aceste armonice,
aceste linii paralele de
multipli de frecvențe.
Acestea se numesc
„sunete înclinate”.
Sunetele care au o înălțime în care
ați putea cânta melodia înapoi
au acele benzi de
frecvențe ca acestea.
Și așa
vezi cu trombonul.
Vedeți un pic din asta
cu vorbirea naturală aici.
Puteți vedea seturi de
benzi, dar mai ales,
vedeți dungi verticale.
Asta pentru că vorbesc repede
și mai ales ceea ce iese
sunt consoanele.
Dacă aș încetini și
aș întinde vocalele,
ai vedea mai multe
dintre acele armonice.
Distracție și jocuri.
OK, așa
arată sunetul.
Deci, toată lumea trebuie să
aibă un sentiment că acest lucru
vă arată energia
la fiecare frecvență de-a lungul timpului,
ca răspuns la vorbirea naturală.  Ne
vom juca cu asta
puțin mai târziu în prelegere.
Așa că am făcut toate astea.
Vom face unele din
celelalte chestii mai târziu.
Așadar, acum că avem o oarecare
idee despre ce este sunetul
și ce este acea intrare
, cum ne vom
gândi cum să
extragem informații din el?
Ce vrem să facem este să ne
gândim cum este?
De ce este dificil să
ajungi la asta din asta?
Există mai multe motive
care sunt provocatoare.  În
primul rând sunt
problemele de invarianță, așa cum am
discutat în domeniul
vederii și în alte domenii
deja în această clasă.
Și astfel, modul de a gândi la
asta aici este că o anumită
sursă de sunet sună cu adevărat diferit
în diferite situații.
Deci, dacă avem
oameni diferiți care spun același cuvânt,
asta va arăta foarte diferit
pe acele spectrograme.
Stimulul este
de fapt diferit,
chiar dacă vrem doar să
știm ce cuvânt se spune.
Și invers, dacă
avem aceeași persoană care
spune două cuvinte diferite,
va arăta cu adevărat diferit.
Și chiar dacă vrem să
știm exact cine vorbește,
trebuie să ne confruntăm cu
invarianța generalizării
în acele moduri foarte diferite
, sunete foarte diferite
pe care le produc atunci când
spun lucruri diferite.
Deci, acestea sunt un fel de
flip-uri unul de celălalt.
Pentru a recunoaște vocile,
dorim invarianța vocii
în raport cu cuvintele.
Pentru a recunoaște cuvinte, dorim
invarianță pentru cuvinte
independentă de voce.
Și toate acestea sunt
legate împreună.
Așa că trebuie să apreciem
aceleași stimuli
în acele schimbări.
Iată un alt motiv pentru care
auzul este o provocare --
Am menționat acest lucru pe scurt --
în situații normale -- este
destul de liniștit în cameră.
Există un
zgomot de fundal, dar nu
o mulțime de alte
zgomote, așa că în mare parte sunt
doar eu care fac
zgomotul aici.
Dar, în multe situații,
există mai multe surse de sunet.
De exemplu, ascultați asta.
[REDARE AUDIO]
[VOCI INTERPUSE]
- Bine, Debbie
Whittaker, Sterling James,
terminând lucrurile.
[FINE REDARE]
NANCY KANWISHER: Bine, mic
segment de radio, există
muzică și o persoană care
vorbește ambele deodată.
Și nu ai avut nicio
problemă să auzi ce

spune persoana respectivă și să știi
ceva despre sexul
și vârsta acelei persoane.
Recunoști vocea,
conținutul discursului,
chiar dacă muzica
este chiar deasupra ei.
Deci muzica ar putea fi așa
și discursul așa.
Și ceea ce auzi este
asta, cu acele lucruri unul
deasupra celuilalt.
Așa că trebuie să mergi înapoi
pentru a auzi aceste lucruri,
chiar dacă asta este tot ce primești.
Vedeți toată lumea cum
este o mare provocare?
Dacă ai trebuit să scrii codul
pentru a lua asta și a-l recupera
, mult succes.
Da, întrebare?
STUDENT: Cum intră din nou intensitatea sau
volumul în această imagine
?
NANCY KANWISHER:
Nu este foarte bine descris
pe aceste diagrame.
Aceasta vă arată doar
întreaga sursă.
Deci, intensitatea pe care am arătat-o ​​înainte
preia în esență acest lucru și face
o analiză Fourier a acesteia, astfel încât să
vă ofere energia la fiecare
dintre acele frecvențe.
Așa că ai putea doar să faci o
analiză Fourier
și să obții o spectrogramă.
Deci, ascultătorul este
de obicei interesat
de surse individuale,
chiar dacă acestea sunt
suprapuse altor surse.
Și asta este o problemă reală.
Deci aceasta este intrarea.  Se
adună împreună, iar
creierul trebuie să le despartă.
Deci aceasta este o problemă clasică,
prost pusă.
Asta înseamnă că doar având în vedere
asta, nu avem cum
să mergem înapoi la asta
dacă asta este tot ce avem,
pentru că există mai multe
soluții posibile.
Este ca și cum ai spune
„x plus y este egal cu 9,
acum rezolvă pentru x și y”.
Și ori de câte ori ne aflăm
în situația
unei probleme prost puse cu
multiple soluții posibile,
dintre care doar una este corectă în
orice situație din lume,
răspunsul obișnuit este
că trebuie să aducem
alte presupuneri sau
cunoștințe despre lume sau ceva de genul.  ,
pentru a restrânge acea problemă și a
restrânge acel spațiu mare, de obicei
infinit, de
răspunsuri posibile până
la cel corect.
Așadar, aceasta este o
problemă clasică despre care oamenii
au vorbit la
audiții timp de multe decenii.
Josh McDermott din acest
departament lucrează mult
la asta.
Și o puteți rezolva
parțial prin cunoașterea
sunetelor naturale, despre care
nu voi vorbi în detaliu aici.  Încă o
provocare pentru
rezolvarea problemelor la audiție
vine din faptul
că sunetele din lumea reală
, inclusiv sunetul
vocii mele chiar acum,
au reverb.
Deci "reverb" înseamnă -
aceasta este o vedere aeriană.
Este o persoană, cam greu
de văzut dintr-o vedere aeriană.
Și aceasta este o sursă de sunet.
Și o parte din sunet vine
direct de la sursa de sunet
către urechile persoanei.
Dar o mare parte din sunet pleacă
și ricoșează de pe pereți,
Dumnezeu știe de câte ori,
înainte să lovească urechile.
Și toate aceste
căi diferite ale sunetului
sunt într-un fel
suprapuse la urechi.
Și ajung în
momente diferite,
făcând o mizerie al naibii
de sunet de intrare.
Deci, în loc de acea intrare frumoasă,
curată și simplă,
aveți intrarea plus
o intrare ușor întârziată,
o intrare mai întârziată, o altă
intrare întârziată, toate suprapuse una peste alta
.
Asta e reverb.
Este clar, care
este problema?  Așa că
acum avem acest
semnal cu adevărat încurcat
pe care încercăm să mergem
înapoi și să înțelegem
care este intrarea.
Așa că vă voi da un exemplu.
Aceasta este o înregistrare a
ceea ce se numește „vorbire uscată”.
Asta înseamnă vorbire
fără reverb.
Îmi pare rău, întrebare?
STUDENT: Întâmpin
puține probleme în a înțelege
de ce reverb reprezintă o problemă.
Stimulul nu se schimbă,
este doar amânat în timp.
NANCY KANWISHER: Da, bine.
Să facem un exemplu de viziune.
Este un pic nebunesc,
dar lasă-mă să încerc asta.
Să presupunem că avem o
fotografie a feței mele
și trebuie să o recunoști.
OK bine.
Diversi
algoritmi vizuali pot face asta.
Dar acum să presupunem că am făcut acea
fotografie și am mutat-o
peste 10%, și am suprapus-o
și le-am adăugat împreună,
apoi am mutat-o ​​din
nou și am adăugat-o împreună,
și am mutat-o ​​din nou
și le-am adăugat împreună.
Destul de curând
ai o mizerie neclară.
Și acele lucruri sunt toate una
peste alta,
așa cum doi oameni care vorbesc
deodată sunt unul peste altul.
Și așa ai o
problemă reală să mergi înapoi.
Are sens?
BINE.
OK, deci iată o
vorbire uscată fără reverb.
[REDARE AUDIO]
- Au mâncat plăcinta cu lămâie.
Tata a uitat de pâine.
[FINE REDARE]
NANCY KANWISHER: OK,
aici este același discurs,
dar cu multă reverb.
- Au mâncat plăcinta cu lămâie.
Tata a uitat de pâine.
[FINE REDAREA]
NANCY KANWISHER: OK,
acum o poți
auzi, deoarece
sistemul tău auditiv știe
cum să rezolve această problemă.
Dar uite ce se întâmplă
cu spectrograma.
Aici-- acesta este timpul în acest
fel, frecvența în acest fel,
iar părțile întunecate sunt acolo unde
este energia, unde este puterea.
În discursul sec, vezi toate
aceste lucruri frumoase, verticale,
și aici vezi o mizerie neclară.
Cu toate acestea,
puteți auzi bine.
Și mai departe, ce ai mai putea
spune din reverb?
STUDENT: Dimensiunea camerei.
NANCY KANWISHER: Da, e într-
o catedrală sau ceva de genul ăsta, nu?
Deci nu este doar faptul că
provoacă o problemă.
Reverb ne spune, de asemenea,
ceva despre locația în care ne aflăm
, dacă știm
cum să o extragem,
ceea ce
faceți sistemele vizuale-auditive ale dumneavoastră.
Puteți vedea că sunt un
om de știință.
Deci, cum să studiez asta?
Există o lucrare foarte frumoasă pe
care Josh McDermott
a publicat-o acum câțiva ani.
Și o să încerc să
vă dau esența lucrării
fără toate
detaliile tehnice,
pentru că cred că
este pur și simplu genial.
Așa că au vrut să caracterizeze
ce este exact reverb.
Și reverb va
varia pentru diferite sunete.  Ai
auzit reverb în
acel spațiu ca de catedrală.
Este foarte diferit de
reverb din această cameră, ceea ce
se întâmplă și el.
Este mai greu de auzit
pentru că este mai puțin evident.
Dar poți spune
multe despre spațiul
în care te afli, deoarece
proprietățile reverbării sunt diferite.
Distanța până la
pereți este diferită.

Proprietățile reflectorizante sunt diferite.
Și deci există
informații acolo.
Deci, puteți caracteriza
natura reverberei în orice
locație, emitând un sunet de
clic instantaneu, scurt
în acel mediu
și înregistrând ce se
întâmplă după aceea.
Și apoi puteți colecta toate
reflexiile reverberante
ale acelui sunet de pe pereți.
Deci, ceea ce au făcut
a fost că au mers
în multe locații naturale și au
făcut un clic ca acesta.
[CLICK]
Asta este, doar un clic.
Și apoi au înregistrat.
Deci acesta este
clicul inițial, dar acesta
este ceea ce înregistrați într-o singură
locație, toate aceste lucruri.
Și astea sunt toate
reflexiile reverberante
ale acelui sunet de pe
pereți... au sens?
Pentru o singură locație.
Așa că apoi au făcut asta într-o
mulțime de locații.
Și ideea este că
aici este o descriere
a problemelor de bază, exact
același lucru pe care l-am spus înainte,
dar puțin mai detaliat.
Deci o sursă de sunet ar
fi ceva de genul acesta.
Asta arată ca o
persoană care vorbește,
cu acele benzi drăguțe, armonice,
paralele, așa cum ai
văzut când vorbeam.
Poate e un trombon.
Deci e timpul.
Asta e sursa.
Asta vrei să știi.
Aceasta este acum
funcția de răspuns la impuls
pentru locația în care
este redat acel sunet,
determinată făcând acel
clic și înregistrare.
Ți-am arătat că
faci o
analiză Fourier a acelei
curbe negre din slide-ul anterior
și obții așa ceva.
Și asta vă arată toate
ecourile care au loc
în acel sunet în acea locație.
Și există
diferite întârzieri,
intensități diferite
și dependență de frecvență.
Ceea ce îți vine la ureche este
practic de această dată.
Deci ți se dă
asta și trebuie să
mergi înapoi
și să rezolvi asta.
Vedeți toată lumea problema?
Deci, ceea ce McDermott și
Traer au arătat este că--
doar pentru a spune problema
puțin mai clar--
ești interesat de
sursă și/sau de mediu.
Poate vrei să
știi ce fel de cameră
sunt, dacă cineva
te târăște cu ochii legati.
Poate vrei să știi dacă
ești afară, sau înăuntru,
sau într-o catedrală,
sau într-un dulap, sau ce.
Și acum acest lucru ar trebui să pară
foarte analog cu problema
vederii culorilor.
Îți amintești problema
vederii culorilor?
Vrem să știm culoarea
acestui obiect chiar aici.
Deci, acest mic
plasture violet de aici,
vrem să știm asta, dar tot ce
avem este lumina care vine
în ochii noștri din acel plasture.
Iar lumina care vine în
ochii noștri de pe plasture
este o funcție nu doar a
proprietății obiectului,
ci orice lumină care se întâmplă
să vină peste el
și apoi să se reflecte în ochii noștri.
Și astfel, în
viziunea culorilor, avem un set
de trucuri pentru a încerca să
rezolvăm acea problemă
și să recuperăm
proprietățile reale ale obiectului,
chiar dacă este total
confundat în intrare
cu proprietățile
luminii incidente.
Acest lucru este extrem de analog.
Încercăm să rezolvăm
care este sursa de sunet.
Și trebuie să ne confruntăm
cu această problemă care
este complet confundată cu
reverberația camerei în care se
află.
Vede toată lumea acea analogie?
Ambele sunt probleme clasice prost puse
în percepție.  Așa că
iată un alt mod de a
spune: ni s-a dat asta
și vrem să rezolvăm
cel puțin una
dintre acestea, ideal pentru ambele.
Și nu poți face
asta doar cu asta.
Deci trebuie să facem
presupuneri despre cameră.
Și ceea ce Traer și
McDermott au arătat
este că, mai întâi, au măsurat
acele funcții de răspuns la impuls
în
medii naturale
pentru a caracteriza reverb în
diferite medii.
Și au descoperit că există unele
proprietăți sistematice ale reverbului care
au legătură cu
funcția de dezintegrare
în funcție de frecvență.
Și acele
proprietăți sistematice sunt păstrate
în diferite medii.
Și apoi au arătat că
sistemul tău auditiv știe cum

funcționează reverb, în ​​sensul
că dacă inventezi o
proprietate diferită, non-fizică de reverb
și o cânți oamenilor,
sună ciudat, numărul unu.
Și doi, nu pot
recupera sursa de sunet.
Și ceea ce înseamnă că,
în sistemul tău auditiv,
este cunoștințele despre
fizica sunetului
și, în special, despre detaliile

funcției de dezintegrare a reverbului,
astfel încât să
poți folosi aceste cunoștințe
despre cum
funcționează reverb în general pentru a
anula această problemă.
și restrângeți această problemă
și rezolvați pentru sursa de sunet.
Nu ti-am dat
toate detaliile.
Dar vreau să înțelegi esența.
Înțelegi genul de idee?
BINE.
Dar, așa cum am spus, acest lucru este
valabil numai pentru reverb
care are proprietățile reverb
ale sunetului din lumea reală.
Dacă inventezi
reverb fals, nu funcționează.
Și oamenii nu pot
rezolva această problemă.
Asta vă spune că își
folosesc cunoștințele.
Nu ne spune dacă aceste
cunoștințe sunt încorporate în mod înnăscut,
sau dacă au
învățat-o, sau ce.
Bine, bine.
Deci, cu alte cuvinte,
rezolvăm problema prost pusă
de recuperare a
sursei de sunet în ciuda reverbului
prin construirea unei cunoștințe despre
fizica lumii
în sistemul nostru auditiv
și folosind-
o pentru a limita problema.
Așa că tocmai am spus, de ce este acest lucru
dificil din punct de vedere computațional?
Probleme de invarianță,
aprecierea asemănării
unei voci între
diferite cuvinte,
aprecierea identităţii unui
cuvânt între voci diferite.
Separarea mai multor
surse de sunet care vin
simultan și care sunt
doar masiv suprapuse
la intrare -
problema cocktail-ului, de asemenea prost pusă -
și problema reverbului.
Deci toată lumea vede cum acestea sunt
trei provocări cu adevărat mari
pentru audiție?
Da.
STUDENT: Deci, imagistica creierului a fost, de
asemenea, o parte din [INAUDIBIL]?
NANCY KANWISHER: Nu.  Se
poate face asta
și pune întrebări
despre unde se
rezolvă asta în creier.
Dar frumusețea
acelui studiu este că
într-un fel, cui îi pasă
unde se rezolvă?
Adică, este un fel
de interesant,
dar este o poveste atât de frumoasă,
de fapt,
o mare parte a studiului lor
a fost măsurarea reverbului.
Nimeni nu o făcuse înainte.  Au
trimis oameni
cu difuzoare
și dispozitive de înregistrare
și mici temporizatoare aleatorii
pe iPhone-urile lor.
Și în momente aleatorii...
cum a mers asta...
oh, da,
oamenii au trebuit să marcheze locația în care se
aflau folosind
GPS-ul iPhone-ului și așa e--
nu au trimis oameni
cu dispozitive de înregistrare.
Este prea greu.
Și apoi au testat în
ce fel de locuri
petrec oamenii.
Și apoi s-au întors
cu sursa lor de sunet de impuls
și
dispozitivul de înregistrare și au
măsurat acea
funcție de răspuns la impuls
în o mulțime de
sunete naturale diferite
pentru a caracteriza
ceea ce  este natura reverbului
din lume.
Nimeni nu făcuse asta înainte.
Deci, de aceea vă spun
asta, pentru mine, este
doar unul dintre cele mai
frumoase exemple
de teorie computațională -
nicio măsurătoare în creier.
O mare parte a studiului
a fost doar caracterizarea
fizicii
sunetului și apoi unele
psihofizice pentru a spune, de
fapt, oamenii
folosesc aceste cunoștințe despre cum
funcționează reverb în lume?
Și da, o fac.
Așa că am vorbit
despre auz în general,
dar hai să vorbim despre unul dintre cele
mai interesante exemple
de auz, cel pe care îl faci
acum -- percepția vorbirii.
Deci cum
arată sunetele vorbirii?
Ai văzut câteva dintre
ele pentru scurt timp înainte.
Iată câteva spectre.
Așa că, doar pentru a vă reaminte,
fiecare dintre aceste lucruri
are timp de-a lungul
axei x, frecvența aici.
Și culoarea vă arată
intensitatea energiei
la acea bandă de frecvență.
Deci, aceasta este o persoană care spune
„fierbinte” și „pălărie” și „lovit”
și „cap”.
Este aceeași persoană care spune
aceste patru lucruri, o persoană
cu o voce înaltă.
Și iată o persoană cu o
voce ușor mai joasă care
spune aceleași lucruri.
Deci ce observăm aici?  Ei
bine, în primul rând, vedem
că vocalele au
armonici regulate distanțate.
Acestea sunt dungile roșii.
Acesta este un
sunet vocal chiar acolo.
Vedeți acele
armonici perfect distanțate în mod regulat?
Asta face un sunet pitch,
așa că vocile sunt pitch.  S-
ar putea să nu crezi că
vocea mea are un ton
chiar acum, pentru că
vorbesc, nu cânt,
dar există o înălțime.
Și folosiți asta,
de fapt, în intonația
vorbirii, așa cum ați
citit în
lectura atribuită pentru ieri.
Deci, fiecare dintre aceste lucruri
cu armonici stivuite
este un sunet vocal.
Are un pitch și
durează o bucată de timp.
Iar consoanele sunt
aceste lucruri mai murdare
care se întâmplă înainte și după.
Și consoanele nu au înălțime.
Nu au armonici.
Au un fel de noroi.
Deci, există anumite
trupe -- oameni
care studiază vorbirea petrec mult
timp privind aceste lucruri
și caracterizându-le.
Și le place să vorbească despre
benzi de frecvență, de putere.
Și astfel această bandă de
aici de jos care este
prezentă în toate
aceste sunete de vorbire
de aici se numește „formant”.
Este doar o bucată din
spectrul de frecvență
pe care îl auzi cu vorbirea.
Deci ăsta e un formant.
Și unele dintre acele
benzi de frecvență sau formanți
sunt deosebit de diagnostice
pentru diferite vocale.
Deci, dacă te uiți în
acest interval de aici,
doar în intervalul acela mediu de
aici, doar pentru „pălărie”
și puțin pentru
sunetul „F”
obții o energie în
acea bandă de frecvență,
nu pentru „fierbinte” sau „hit”.  "
Și asta este adevărat atât pentru
vocea înaltă,
cât și pentru vocea joasă.
Această bandă de frecvență de aici este cu
adevărat diagnostică pentru care
dintre acele vocale o auzi.
Așa că ne vom juca din nou
cu acea spectrogramă
puțin
mai mult, deși acum am
învățat evitarea.
Așa că eu vorbesc din
nou, așa cum ai văzut mai înainte.
Așa că voi spune
un A, un E, un I--
uite cât de diferit
este unul, O și U.
Și sunt multe
alte vocale.
Vedeți cum se
mișcă acea energie
pentru diferitele vocale?
Acum, așa cum am spus mai devreme, dacă
fac o vocală lungă ca aceasta, se
formează o grămadă mare și lungă
de armonice.
Dar de multe ori, sunt
doar aceste linii verticale.
Liniile verticale sunt
consoane, t, p, k, r.
Dacă nu spun o vocală,
vezi doar o linie verticală.
Nu este chiar o linie verticală.
Sunt diferiți unul de
celălalt în moduri pe care le puteți spune.
Deci consoanele sunt
acele benzi de energie
care merg pe verticală.
Iar vocalele sunt
structurile armonice mari, lungi,
care se întind între ele.
Acum, nu sunt sigur că vei
putea face asta.  Voi avea
nevoie de un voluntar
într-o secundă și voi
alege
[?  Iadun, ?] pentru că e
cel mai accesibil chiar acolo.
Deci hai aici sus.
Știi că nu va fi
oribil sau jenant.
Deci poți sta
aici pentru o secundă.
Am de gând să spun „ba’s” și
„pa’s” și vă spun
într-o clipă ce să spuneți.
Nu sunt sigur că asta
va funcționa.
Am mai încercat-o.  Ne vom
uita la
doi formați diferiți
când spun „ba”.
De fapt, o voi face în
creștere... ba, pa, ba, pa.
Deci sunt doi
formanți diferiți, aici și aici,
cu ambele.
Am de gând să o fac din nou.
Și există doar o
mică, mică diferență
între un ba și un pa.
Și are de-a face cu
intervalul dintre consoană,
care este primul
lucru vertical,
și vocală, care este
chestia orizontală.
Așa că să vedem dacă
îl putem vedea din nou.
Începem.
Ba, pa-- vezi cum
pa începe mai devreme acolo
și ba este puțin întârziat?
Vă voi arăta diagrame
care vă arată mai clar.
Bine, minunat.
Nu pleca.
Așa că o să facem
cocktail-uri
cu
dispozitivele de înregistrare de aici.
Ce este asta?
Acesta este doar un
lucru administrativ plictisitor pe care îl
puteți citi.
De fapt, l-am adus să se mototolească
și să scoată un sunet mototolit,
dar o vom face după aceea.
Chiar acum,
veți citi din asta
și voi recita
ceva plictisitor.
Și o vom face doar
simultan.
Așa că concentrează-te doar pe ceea ce
faci.
Și toată lumea se uită.
Puteți vedea vocea mea aici.
Și să vedem ce se întâmplă când
vorbim amândoi deodată.
OK, aici mergem.
Acum patru zeci și șapte ani...
oh, naiba, am uitat cum
merge treaba după aceea, așa că va
trebui doar să inventez un
alt gunoi la întâmplare.
[VOCI INTERPUSE]
STUDENT: --remarcabil--
NANCY KANWISHER: OK.
STUDENT: --revede
cursul studentului--
[VOCI INTERPUSE]
NANCY KANWISHER: Asta e grozav.
Grozav.
Nu pleca.
Nu știu dacă ai putea să-ți
dai seama că a devenit mai murdar
atunci când vorbeam amândoi.
Poate că este destul de nenorocit să
vorbesc repede pentru început.
Să încercăm alte câteva lucruri.
Lasă-mă să spun cuvinte
și tu să spui cuvinte.
Și să vedem cât de
diferit arată.
OK, așa că voi
spune „capcană pentru șoareci”.
STUDENT: Capcană pentru șoareci.
NANCY KANWISHER: Puteți
vedea unele asemănări acolo,
nu-i așa?
Sa o facem din nou.
Cursă de şoareci.
STUDENT: Capcană pentru șoareci.
NANCY KANWISHER:
OK, asta e bine.
E amuzant, văd mai multă
bandă de joasă frecvență aici.
Sunt sigur că vocea ta
este mai joasă decât a mea.
Pitch, interesant, nu se
referă doar la cât de scăzută scade energia.
Este o proprietate interesantă,
complicată,
a celui mai mic numitor comun
al întregii stive de frecvență.
Deci nu voi face pitch.
Este complicat.
Ce altceva vrem să facem?
Hai să încercăm niște ba și pa.
Dar să le lipim
pe frontul cuvintelor.
Poate că asta va funcționa mai bine...
bat, bat.
STUDENT: Pat, bat.
NANCY KANWISHER: Oh, am putut
vedea comunitatea acolo.
Ați putea să vedeți asta?
Sa o facem din nou.
Pat, liliac.
STUDENT: Pat, bat.
NANCY KANWISHER: Ei bine,
al tău seamănă mai mult.  În
regulă.
Oricum iti multumesc.  Asta e
bine.
Este tot ce am nevoie, doar să
vă arăt cât de greu este acest lucru
și cum există variabilitate
între difuzoare care spun
același lucru și diferențe foarte, foarte
subtile
între sunete care sună
total diferit pentru noi.
Deci înapoi la prelegere.
Deci ai văzut armonicile, acele
dungi roșii, în timpul vocalelor.  Ai
observat că am
arătat consoanele
și ba și pa.
Deci iată o diagramă.
Îmi pare rău, acest lucru
este foarte
abstras de acele
spectrograme, care
sunt dezordonate, după cum puteți vedea.
Ideea este că un
sunet de vocală consoanică, o singură silabă
ca ba sau pa--
acesta este timpul în acest fel-- are
acest formant mare, lung, care
este o bandă de energie care este
vocala, sunetul ah.
Și aceste tranziții
care au loc chiar înainte de
asta fac diferența
pentru diferite consoane.
Și în special,
diferența
dintre un ba și un pa--
acesta este un ba, acesta este un pa--
diferența pe care o căutam,
care nu a apărut atât de
clar, dar
o poți încerca acasă,
poate poți  să fie mai clar
decât am înțeles acum...
are de-a face cu acea tranziție
la primul formant.
Deci, cu un ba, tranzițiile
au loc în paralel.
Și cu un pa, această
tranziție are loc
înaintea acelui formant inferior.
Deci, acea mică, mică...
este o întârziere de 65 de milisecunde
în cazul pa pe care
nu o aveți în cazul ba,
așa puteți face diferența.
Este foarte, foarte subtil.
Deci, există o mulțime de
tipuri diferite de foneme.  Am tot
vorbit despre
vocale și consoane.
Fiecare vocală sau
sunet de consoană se numește „fonem”
dacă o distincție
în acel sunet face
diferența între
două cuvinte diferite
din limba ta.
Și asta înseamnă că ceea ce contează
ca fonem într-o limbă
poate să nu fie un fonem
într-o altă limbă,
pentru că nu va
face o distincție
între diferite cuvinte.
Multe dintre foneme sunt partajate
între limbi, dar nu toate.
Am vorbit despre R și L care
nu se disting în Japonia
și despre două
sunete D diferite care
îmi sună la fel și care se
disting în hindi
și multe altele.
Așadar, acestea sunt doar variații
în limbajele naturale pe
care dintre acele foneme,
care dintre acele sunete,
sunt folosite pentru a discrimina
diferite cuvinte
și, prin urmare, sunt considerate
foneme în acea limbă.
Deci, există unele
foneme deosebit de grozave
care folosesc un anumit
tip de consoană
cunoscut sub numele de consoană de clic.
Și acestea sunt comune în unele
limbi din Africa de Sud.
Și acum un an, călătorim
în Mozambic, care tocmai a fost
lovit de o inundație devastatoare.
Este într-adevăr îngrozitor.
Dar oricum, am fost acolo,
vizitând un parc de jocuri și
văzând tot felul de animale.
Și l-am cunoscut pe acest tip, Test.
Și el este uimitor.
Adică, cunoștințele lui
despre istoria naturală
au fost uimitoare,
dar el vorbește și,
cred, șase
limbi diferite, dintre care una
este xhosa, sau cum ar spune el,
[SPEAKING Xhosa] sau ceva de genul
acesta.  Îl
vei auzi
spunând asta într-o clipă.
Și așa a ilustrat
limbaje de clic.
Și o să joc asta
pentru tine într-o secundă.
Și spune că există o
propoziție în Xhosa care
este puțin nebunească, dar
are toate clicurile diferite.
Și înseamnă, practic,
„mofeta se rostogolea
și a fost
tăiată accidental de gât”.
Nu înseamnă foarte
mult, dar ascultă-l pe
Test rostind
propoziția, mai întâi în engleză
și apoi în xhosa.
[REDARE AUDIO]
- Expresia în
engleză, spune că skunk
se rostogoli și a fost
tăiat accidental de gât.
În Xhosa, sau în
Xhosa de Est, [Vorbește Xhosa].
[FINE REDAREA]
NANCY KANWISHER:
Nu este minunat?
Cred că trebuie doar să
ridicăm puțin
și să-l auzim din nou.
[REDARE AUDIO]
- Expresia în engleză,
spune că sconcșul se rostogoli
și a fost
tăiat accidental de gât.
În xhosa sau în estul
xhosa, [SPEAKING Xhosa].
[FINE REDARE]
NANCY KANWISHER: OK,
în cea mai mare parte,
nu avem
consoane clic în engleză
care să conteze ca
foneme în sensul
de a distinge
diferite cuvinte.
Dar avem consoane de clic pe
care le folosim în alte domenii.
Știe cineva la ce folosim
consoanele de clic?
Sunt cel puțin două.
Cunoașteți consoane de clic?
STUDENT: [INAUDIBIL]
NANCY KANWISHER: Da, ce?
STUDENT: [INAUDIBIL] Asta e...
NANCY KANWISHER: Ce anume?
STUDENT: [INAUDIBIL]
NANCY KANWISHER: Da, dar
asta este o consoană obișnuită.
De fapt, nu este un clic.
Este doar o consoană obișnuită.
Ei bine, una este când te duci, tsk,
tsk, tsk, sunetul certat.
Nu este un fonem.
Nu este un cuvânt, dar are
o semnificație deosebită.  Un
altul este modul în care amețești un
cal.  (CLICKS)
Deci, acestea sunt
consoanele de clic pe care le avem în engleză.
Nu sunt foneme,
dar le avem
și el are mult mai multe.
Asta a fost doar pentru distracție.
Deci, de ce percepția vorbirii este
provocatoare?  Ei
bine, una dintre esența
acesteia este că un anumit
sunet de vorbire este foarte variabil.
Unul dintre modurile în care este
variabil este că, atunci când
vorbiți la
ritmuri diferite, toate frecvențele
merg în sus și în jos și
se strecoară, făcându-
le foarte diferite la
ritmuri diferite de vorbire.  Un
altul este contextul.
Deci un fonem dat, cum ar fi un sunet
ba, sau un sunet pa, sau o vocală,
sună total diferit în
funcție de fonemele care
vin înainte și după el.
Nu sunt puțin punctate,
lucruri pe rând.
Toate se suprapun și se afectează
într-o mare mizerie.
Iar al treilea este unul pe care l-am
menționat deja, și
anume marile
diferențe între vorbitori
în limbă.
Deci, trebuie să
recunoașteți un sunet ba
chiar dacă sună
destul de diferit atunci când este
rostit de difuzoare diferite.
Deci, toate aceste lucruri fac ca


înțelegerea vorbirii să fie foarte dificilă din punct de vedere computațional.
Iată o ilustrare a
acelei variații de vorbitor.
Deci ceea ce este arătat aici nu este
o întreagă spectrogramă, ci doar
intensitatea
primului formant
și a celui de-al doilea formant,
acele benzi de energie
pe care v-am arătat
în spectrogramă.
Și astfel, fiecare punct de aici
este o persoană diferită care
pronunță o vocală.
Și fiecare culoare... aceasta este
o vocală aici în verde,
în acea elipsă verde, cu
mulți oameni diferiți care
spun acea vocală.
Iată o altă vocală
aici sus în roșu,
cu mulți
oameni diferiți care spun acea vocală.
Și ceea ce vezi este că se
suprapun într-adevăr.
Deci asta înseamnă că nu poți să
pleci de la energia de la acești doi
formanți, un punct din acel spațiu,
și să știi ce este vocala.
Dacă ai fi chiar acolo?  Ei
bine, atunci ar putea fi oricare
dintre cele patru vocale diferite.
Deci aceasta este problema
variabilității vorbitorului ilustrată
cu vocale.
Are sens?
Cred că tocmai am spus toate
astea, bla, bla, bla... o
altă problemă clasică prost pusă
în percepție.
Ți se acordă un
punct în acest spațiu.
Cum iti dai seama
ce vocala este?
Deci o modalitate prin care rezolvăm asta este că ne
învățăm unul altuia vocile.
Și știm cum o
anumită persoană pronunță
un anumit set de vocale sau cuvinte.
Și folosim asta pentru a constrânge
ceea ce spun ei.  Ai

observat vreodată, mai ales
dacă întâlnești pe cineva nou... ei bine,
de fapt,
experimentezi asta cu Test.
Când vorbește prima dată,
engleza lui este frumoasă,
dar este din Zimbabwe și
are un fel de Zimbabwe,
accent de tip britanic.
Și la început e greu de
înțeles ce spune.
Ați experimentat cu toții
asta pentru scurt timp?
Adică, de aceea am pus
textul pe diapozitiv,
ca să te obișnuiești cu
engleza lui și să o înțelegi.
Dacă nu aș fi făcut-o, probabil că
nu ai fi înțeles
acea propoziție pe care a rostit-o primul.
Asta pentru că
încă nu îi cunoaștem vocea.
Dar ai observat, chiar și după
doar câteva cuvinte, că
începi să-ți placă să te acordi
și să-l înțelegi?
Așadar, a afla despre
vocea unui individ
vă ajută să despărțiți
proprietățile vocii
și să
le dezfundați de sunet,
astfel încât să puteți înțelege ce
spune acea persoană.
Deci asta face parte din modul în care
rezolvăm această problemă prost pusă.
Și, așadar, dovada
că facem asta este
că, dacă aveți oameni care ascultă
voci pe care nu le cunosc
sau voci care se
schimbă de la un cuvânt la altul,
este mult mai greu să
înțelegeți vorbirea.
Așa că vă imaginați că ați luat
propoziția pe care o spun chiar acum
și ați îmbinat o
persoană diferită care spune fiecare cuvânt.
De fapt, ar trebui să
fac acel demo.
Unul dintre voi, băieți,
trimiteți-mi un e-mail:
faceți demonstrația unei
persoane diferite care rostește
fiecare cuvânt dintr-o propoziție.
Ar fi foarte
greu de înțeles.
Deoarece nu ați fi
putut să remediați
asta a fost o proprietate
a vocii,
acum o putem separa
de orice altceva.
Pentru că vocea blestemata se va
schimba la fiecare cuvânt.
Va fi o mizerie.
Deci asta e o problemă.
Deci, se dovedește că
este adevărat și opusul.
Și adică, capacitatea ta de a
recunoaște vocea cuiva
este o funcție a ceea ce
știi despre acea limbă.
Așa că poți recunoaște
vocile mai bine într-o limbă pe care o
cunoști decât într-o limbă pe care
nu o cunoști, pentru că
faci invers.
Folosiți cunoștințele despre
limbaj și despre proprietățile sale de vorbire pe
care le
cunoașteți deja pentru a limita
problema de a afla
cine este vocea acestei persoane.
Deci toată lumea primește asta?
Aceste două lucruri se afectează
reciproc: vorbitorul
și ceea ce se spune.
Și pentru că sunt
atât de confuzi,
masiv confundați
în stimul,
pentru a rezolva asta, cu cât știi mai multe
despre vorbitor,
cu atât poți
înțelege mai bine ce se spune.
Și cu cât știi mai multe despre
limbă și proprietățile ei, cu atât
mai mult poți
recunoaște vocea.
Fiecare este o sursă de
informații despre una
dintre aceste două
variabile confundate.
Și așa oamenii au demonstrat
asta psihofizic.
Și cred că am
timp să fac asta.
Iată un fel de
corolar cool al acestui lucru,
și anume, se
crede în mod obișnuit că dislexia este, în
principal, o problemă de
percepție auditivă a vorbirii, nu
o problemă vizuală.
Poate exista și o mică
problemă vizuală,
dar se crede
că, în esență, este
o problemă de
percepție auditivă a vorbirii.
Deci, dacă acest lucru este adevărat,
atunci s-ar putea să
credeți că această capacitate de a
folosi cunoașterea limbii
și a sunetelor sale pentru a
constrânge recunoașterea vocii
ar fi redusă la
persoanele cu dislexie,
deoarece aceștia sunt mai puțin buni
la procesarea sunetelor vorbirii.
Și se dovedește că este adevărat.
Așa că iată un studiu frumos de la
Gabrielli Lab acum câțiva ani.
Așa că mai întâi uită-te la
barele în albastru.
Deci, aceasta este acuratețea
recunoașterii vocii,
care persoană vorbește.
Și aceștia sunt
vorbitori nativi de engleză
care nu vorbesc chineză.
Ei recunosc mult mai
precis
cine vorbește atunci când
vorbesc engleză decât atunci când
vorbesc chineză.
Deci e cam misto.
Aceasta vă arată
modul în care
folosiți cunoștințele limbii
pentru a limita recunoașterea
vocii.
Dar acum uitați-vă ce se întâmplă
la dislexici,
fără efect, exact așa cum au
prezis ei.
Având în vedere că dislexicii au o
problemă cu percepția vorbirii, se
pare că
nu sunt capabili să folosească
această cunoaștere a
fonemelor limbii
pentru a limita problema
recunoașterii vocii.
Ei sunt la fel de prost
la recunoașterea vocii--
Îmi pare rău, nu sunt
mai buni la recunoașterea vocii
în limba lor maternă
decât într-o limbă străină.
Ei nu pot folosi aceste cunoștințe
pentru a limita recunoașterea vocii.
Are sens?
Da, îmi place acest studiu.
Așa că nu am făcut nicio
chestiune despre creier până acum.  Ne
gândeam doar la
problema percepției auzului și a vorbirii
și la ceea ce
știm din comportament.
Și am învățat
deja multe, dar vom
învăța mai multe uitându-ne la
creier, la carne
și toate astea.
Deci, să începem cu urechea.
Din nou, amintiți-vă, compresiile
de aer vin în ureche.
Ei călătoresc prin
canalul urechii.  Au
lovit membrana timpanică.
Ei trec printr-o serie întreagă
de traductoare, aceste trei
oase mici ale urechii
de aici care se conectează
la acest lucru în formă de melc,
care se numește „cohleea”.
Cohlea este cu adevărat importantă.
Ar trebui să vă amintiți acest cuvânt.
Este locul în care
transduci sunetul primit
în impulsuri neuronale,
chiar acolo.
Și cohleea este foarte tare.
Acesta este, după cum am spus,
un lucru în formă de melc.
Și există terminații nervoase pe
tot parcursul acestui lucru.
Și din cauza
fizicii cohleei,
există diferite
frecvențe de rezonanță în diferite părți
ale acestui melc.
Deci, practic, iată câteva unde
sonore de joasă frecvență.
Aceasta este cohleea
întinsă cu baza și vârful.
Aceasta este baza.
Acesta este vârful.
Și ceea ce vedeți este că
frecvențele joase
au transdus ceva energie
la baza cohleei
și, de asemenea, la vârf.
Dar frecvențele medii
și frecvențele înalte nu
fac nimic la vârf.
Afacerea asta, aici sus au loc
doar fluctuații fizice
pentru
sunete de joasă frecvență.
Deci, există mici
terminații nervoase aici
care detectează acele
fluctuații acolo sus
și trimit acele semnale
în creier
prin nervul auditiv.
Și așa la mijloc,
aici sau ceva,
ai sensibilitate la
frecvențele medii,
nu înalte sau joase.
Iar la bază, este
mai sensibil la frecvențele înalte
decât la medii sau joase.
Deci toată lumea înțelege asta?
Deci, practic, cohleea
face o transformare Fourier
pe semnalul acustic.
Preia aceste compresii
ale aerului și spune doar, să
le separăm
în frecvențe diferite,
doar cu acest dispozitiv fizic.
Este ca o transformată Fourier fizică
care spune, să

separăm fizic energia
la fiecare interval de frecvență de-a
lungul lungimii cohleei.
Are sens?
Și apoi, odată ce obțineți diferite
părți ale cohleei care
sunt sensibile la
frecvențe diferite care oscilează în
grade diferite, atunci
lipiți niște celule nervoase acolo
pentru a prelua acele oscilații,
urcați în nervul auditiv
și călătoriți în creier.
Toată lumea are o idee
despre cum funcționează asta?
Deci e misto.
Dar acum, să mergem până
la creier.
Deci acum, aceasta este
o vedere ca aceasta.
Și aici sunt cohlee--
cred că acesta este pluralul--
pe fiecare parte-- urechi,
canal urechi, cohlee.
Și primul lucru de
știut, care este important,
este că calea dintre
cohlee și primul pas în
sus în cortex este mult
mai complicată în auz
decât în ​​viziune.
Uită-te la toate aceste
nuclee adânci
în subsolul creierului.
În schimb, în ​​viziune,
câte sinapse trebuie să
faci
între retină
și cortexul vizual primar?
Îmi pare rău.
O singura sinapsa.
Dreapta?
STUDENT: Ei bine, mă gândeam...
NANCY KANWISHER:
Da, două, așa e
, așa că celulele ganglionare retiniene își
trimit axonii direct
în LGN din
talamus, fac o sinapsă.
Și apoi acei
neuroni LGN merg direct
la cortexul vizual primar,
doar o oprire pe drum.
Uită-te la toate opririle de pe
drum aici.
Deci audiția este o
fiară cu adevărat diferită
de auz în multe privințe.
Data viitoare, vom vorbi
despre modul în care audiția --
nu aceste părți ale ei, dar
după ce ajungi la cortex --
audiția, noi, cei din laboratorul meu
și alte câteva laboratoare,
chiar începem
să bănuim că este
profund diferită la om.
de la orice animal non-uman.
Și cred că asta din
motive foarte interesante,
dar această parte este destul de
asemănătoare la animale,
doar obținerea informațiilor
până la cortex.
Și audiția este deja foarte
diferită de viziune doar
prin numărul de relee care
ajung la creier.
Deci acele structuri de acolo
fac tot felul de lucruri minunate.
Și anul trecut, am
vorbit pe larg
despre modul în care detectăm
locațiile sunetelor.
Este o muncă absolut frumoasă
, elegantă și distractivă,
dar am decis că a fost un
comportament puțin prea exagerat.  Ar
trebui să trecem la creier.
Dar vă recomand 9.35 dacă doriți
să aflați mai multe despre audiție -
curs minunat.  L-ai
luat?
Curs cu adevărat grozav.
Da, exact.
Și astfel vei afla mai multe
despre toate aceste lucruri.
Deci, în schimb, vom
sări peste toate acestea
și vom merge direct la cortex.
Deci primul loc în care
informațiile auditive
lovesc cortexul care
iese din cohlee
este cortexul auditiv primar, la fel
cum
informațiile vizuale lovesc
cortexul care iese din ochi
este cortexul vizual primar.
Deci puteți vedea aici că într-o
vedere în secțiune transversală ca aceasta,
acesta este cortexul auditiv primar.
Este în acel sulcus chiar acolo.
Este un fel de
oboseală, pentru că atunci când
avem
oportunități ocazionale de a testa pacienții
care au grile de electrozi
pe suprafața creierului lor,
grilele nu
intră de obicei acolo
și nu putem vedea
cortexul auditiv primar.
Deși există
metode noi în care se
lipesc
electrozii de adâncime, ceea ce
este surprinzător, aparent,
mai bun pentru pacienți.
Și chiar acum TA ta,
Dana [?  Bobinger, ?]
a terminat la Spitalul de Copii
înregistrarea de la un tânăr de 19 ani
care are epilepsie gravă și care are
electrozi de adâncime în creier.
Și ascultă
tot felul de sunete.
Și i-a înregistrat
activitatea neuronală cu electrozi de adâncime.
Și așa că
sperăm, unul, că
putem găsi niște
informații care vor fi
relevante pentru neurochirurgi --
nu știu despre asta --
dar doi, că vom
obține niște informații
din acele structuri profunde
pe care le puteți"  de obicei nu
vezi când ai doar grile care
stau la suprafață.
Deci să revenim la RMN funcțional,
deci acesta este
cortexul auditiv primar.
Este destul de stilizat.
Lasă-mă să-ți amintesc unde ești.
Aceasta este o vedere umflată
a emisferei drepte -- din
spate a capului, din față a
capului, lobul temporal, toate
arătând amuzant pentru că a fost
desfășurată matematic,
astfel încât să puteți vedea lucruri în
șanțul unde tocmai v-am arătat.
Cortexul auditiv primar
se află în sulcus.
Dar l-am umflat
ca să-l puteți vedea.
Și deci acesta este cortexul auditiv primar
, toată chestia asta aici.
Și îți arată o proprietate
despre care am mai vorbit.
Are o hartă, dar harta
din cortexul auditiv primar
nu este o hartă a spațiului
așa cum este în retină
pentru informații vizuale.
Este o hartă a frecvenței.
Și asta are sens,
deoarece traductorul de intrare
este o cohlee, care
creează deja fizic
o hartă a frecvenței.
Și astfel că acesta este
parcurs prin toate
acele etape intermediare
din subsol
și ajunge până la
creier și face
o hartă a spațiului de frecvență.
Deci, ce înseamnă asta,
de fapt... deci aici este
sensibilitatea la
diferite frecvențe.
Și astfel, structura clasică
a cortexului auditiv primar
la oameni este înaltă, joasă, înaltă -
frecvențe înalte,
frecvențe joase,
frecvențe înalte,
în acel model în formă de V.
Deci aceasta este emisfera dreaptă.
Aceasta este
emisfera stângă care a
fost răsturnată în oglindă, astfel încât să
le puteți compara direct.
Și puteți vedea acest
tipar stereotip de mare,
scăzut, ridicat.
Asta e o hartă tonotopică.
Toată lumea înțelege ce
este o hartă tonotopică?
Și tocmai
l-am discretizat în două bucăți,
dar este de fapt un gradient
de la mare la scăzut la mare,
pe care îl puteți vedea
după acele culori intermediare
de acolo.
Da.
STUDENT: [INAUDIBIL] de ce
[INAUDIBIL]?
NANCY KANWISHER: Da,
totul în creier
rearanjează totul în
intrare în mai multe moduri.
Deci nu am vorbit despre
asta, dar în cortexul vizual,
ai...
Nu știu care este cel mai recent
număr, cel puțin 10,
probabil mai mult decât atât,
hărți separate retinotopice
în diferite zone ale cortexului...
hartă,  hartă, hartă, hartă, o mulțime
de ele.
Și astfel există tot felul
de transformări.
Și despre
răspunsurile funcționale și
organizarea funcțională
a cortexului auditiv se știe mult mai puțin
decât cortexul vizual, mai ales
la oameni unde,
de fapt, nu știm prea multe.
Deci nu există un
răspuns real la asta, în
afară de faptul că nu este chiar atât de
șocant, într-un fel,
pentru că oricum vezi asta în
viziune și în alte domenii
, cu hărți multiple
care reprezintă în mod diferențial
diferite părți ale spațiului.
Și deci da, nu am
spus asta, dar multe
dintre acele duzini de
hărți din cortexul vizual
au reprezentare diferențială
a diferitelor părți ale spațiului.
Unii se concentrează pe
câmpul vizual superior,
alții pe câmpul vizual inferior.
Și întreaga întrebare
este că într-adevăr un lucru
sau sunt două -
toate acestea
ajung acum într-o stare
de ultimă oră, ambiguă,
pe care nu o cunoaștem.
În regulă, toată lumea a înțeles
tonotopia, cortexul auditiv primar
?
OK bine.
În regulă,
viziunea standard de la înregistrarea neuronilor
în cortexul auditiv primar
la animale -
maimuțele, dihorii sunt mari
în neuroștiința auditivă,
alte animale -
este că
câmpurile receptive ale
neuronilor individuali din
cortexul auditiv primar
sunt filtre liniare în
următorul sens...  -
deci iată o
spectrogramă a unui sunet.
Aceasta este doar o descriere
a stimulului.
Ca de obicei, timp, frecvență.
Deci, se pare că ar putea fi un
sunet de vorbire cu niște vocale
acolo.
Sau poate fi altceva.
Cine ştie.
Deci ăsta e un sunet.
Așa că acum, imaginați-vă un
electrod așezat
lângă un singur neuron
în cortexul auditiv primar
, de exemplu, un dihor care
ascultă acel sunet
și caracterizează la ce
răspunde acel neuron.  Ei
bine,
descoperirea tipică este că neuronii
din cortexul auditiv primar
sunt ceea ce este
cunoscut sub numele de
câmpuri receptive spectrale temporale sau STRF
pentru prietenii lor.
Deci ce înseamnă asta?
Iată un exemplu de
câmp receptiv care
este dependența de răspuns
a unei anumite celule auditive,
din nou, cu timpul pe această axă
și frecvența pe axa respectivă.
Deci, ce fel de sunet îi
place celulei?
Poți vedea doar
uitându-te la asta?
Ce fel de sunet?
STUDENT: Creșterea frecvenței.
NANCY KANWISHER:
Creșterea frecvenței, da,
așa ceva.
Iată unul căruia îi place, de asemenea,
creșterea frecvenței,
dar mai lentă, mai puțin adâncă
.
Iată unul căruia îi place
scăderea frecvenței.
Acum, poate vă întrebați
care sunt dungile.
Nu am vorbit despre
asta în cortexul vizual,
dar aceasta este o
proprietate comună, că îi
place acest
set special de frecvențe
de aici, dar este inhibat
de frecvențele adiacente.
Deci vezi și așa ceva
cu reglarea orientării
în cortexul vizual primar.
Și aici, acestea se
schimbă mai repede,
atât în ​​creștere, cât și în scădere.
Deci, ideea este
cortexul auditiv primar la animale
și, probabil, la oameni,
este plin de o grămadă
de celule care sunt practic
filtre spectrotemporale
ca acesta.
Ei identifică
modificări ale frecvenței
de-a lungul timpului care au loc
în grade diferite
și la rate diferite și
în diferite game de frecvență.
Are
sens, mai mult sau mai puțin?
Da, [INAUDIBIL]
STUDENT: Am o întrebare.
NANCY KANWISHER: Da.
STUDENT: [INAUDIBIL] cum ai
spune că a fost [INAUDIBIL]?
NANCY KANWISHER: Da, cum își
dau seama de asta?  De
obicei petrec tot acest
timp vorbind despre designul
experimentului.
Am sărit direct
la răspunsul de aici.  Ei
bine, nu știu exact
ce faci, dar probabil că... Vreau să spun,
asta a
fost o chestie
care a durat decenii
pentru ca oamenii să ajungă la asta.
Deci presupun
că, cumva,
au intrat în acel
spațiu general și apoi au
generat stimuli care scot
toate aceste sunete diferite.
Și pur și simplu trec
prin ele și au
descoperit că, pentru o anumită celulă,
redați toate aceste sunete diferite.
Te duci-- [FACE SUNETE],
etc.
O să vă scutesc de mai multe imitații.
Redați toate aceste
sunete diferite pentru animal
și înregistrați
răspunsul acelui neuron.
Și ați constata,
de exemplu, că
răspunde mult mai mult atunci când
redați acel sunet decât oricare
dintre celelalte.
Are sens?
STUDENT: Nu, are sens.
NANCY KANWISHER: Dar cum
reușesc vreodată să ajungă la asta?
STUDENT: Nu, ce am
întrebat este
că folosesc
[INAUDIBLE] separat?
NANCY KANWISHER: Oh,
roșu și albastru?
Cum au ajuns exact -- mai degrabă
decât simplul lucru cu
doar asta --
cum exact au ajuns la
asta, nu sunt complet sigur.
Adică, există
motive matematice pentru care are sens
să avem tot acel lucru, mai degrabă
decât o singură dungă,
care cred că
depășesc scopul
acestei prelegeri pentru moment.
Dar oricum, nu a fost doar un
lucru total arbitrar de încercat.
Acestea sunt
tipuri deosebit de utile
de câmpuri receptive pentru
reprezentarea intrării.
Deci toată lumea
clar, aproximativ,
care este această idee?
Deci, este un
nivel de bază foarte scăzut, doar
frecvențele
cresc sau coboară, și care interval
și cât de repede?
Asta face
cortexul auditiv primar
organizat în această
hartă, această hartă tonotopică.
Așadar, gândiți-vă la
cortexul auditiv primar ca doar
această bancă, acest
set mare de filtre liniare
pentru o anumită frecvență, care se
modifică în timp.
Deci totul se bazează
pe date de la animale,
de la înregistrarea
neuronilor individuali.
Dar vrem să știm despre
oameni, nu doar pentru că despre asta
este vorba în acest curs, ci
vrem să știm despre oameni.
Adică, dihorii sunt
drăguți, dar într-adevăr!
Deci este adevărat pentru oameni.  Ei
bine, Josh McDermott
și Sam Norman-Haignere
tocmai au publicat acum
câteva luni o lucrare
în care au
abordat această întrebare
într-un mod cu adevărat interesant.
Deci, iată logica -- asta
este puțin tehnic.
Încerc să-ți dau esența.
Sper să funcționeze.
Incearca.
Așa că au generat
sintetic, computațional,
ceea ce ei numesc
„stimuli potriviți cu modelul”.
Deci ideea este aceasta--
ideea este că dacă
prezentați un sunet natural--
cum ar fi un câine care lătră, sau o persoană
care vorbește, sau o clădire de toaletă,
doar un sunet pe care l-
ați auzi în viață--
și apoi ceea ce fac ei este
fac un semnal sintetic care se
potrivește cu acel sunet cu
privire la acele STRF pe care
tocmai ți le-am arătat.
Adică, dacă ați alimenta
sunetul original
și ați alimenta acest
sunet sintetic în STRF-uri,
veți obține același
lucru în STRF-uri.
Deci, acesta este un mod
de a spune,
presupunem că acele STRF sunt
o descriere bună a ceea ce
se întâmplă în A1, așa că
haideți să testăm asta
luând un sunet mare, fantezist, din
lumea reală, care
are sens și
oamenii știu ce
este.  , și haideți să facem
un sunet de control care se
potrivește cu proprietățile în-STRF.
Și să vedem dacă
obținem același răspuns
în creierul din acea regiune.
Dacă acel model este
o descriere bună
a ceea ce face acea regiune
, atunci ar
trebui să obțineți un
răspuns foarte similar
atunci când oferiți
sunetul sintetic și sunetul original
pe care l-ați înregistrat în lume.
Așa că au testat acest lucru
pe un model asemănător STRF,
ca acest lucru pe care
tocmai l-am descris înainte.
Și așa, doar pentru a vă arăta
cum sunt aceste sunete...
deci iată un
sunet original tocmai înregistrat
în lumea cuiva care tastează.
[REDARE AUDIO]
[TAPTARE] [
FINE REDARE]
OK, OK, OK, este suficient.
Știu că este captivant,
dar atunci ei rulează asta
prin modelul lor STRF.
Ei primesc o
descriere STRF și
generează un stimul potrivit
din descrierea lor STRF.
Și sună așa.
[REDARE AUDIO]
[TAPTARE]
Destul de bine.
E cam greu
să le deosebești.
Scuze, destul.
[FINE REDAREA]
Bine.
Și puteți vedea că
spectrogramele lor
sunt într-adevăr similare.
Așadar, pentru o
chestie de text, cum ar fi tastarea,
surprinde cu adevărat
esența a ceea ce se aude.
Vă spunem doar cum sună
acești stimuli de control
.  Să
luăm un alt sunet,
o persoană care merge în tocuri.
Și puteți vedea toate
acele verticale.
Acestea sunt clicurile.
Clicurile au energie pe o
mulțime de frecvențe diferite.
Și asta
înseamnă o linie verticală -
înseamnă toate cele
diferite - ține minte,
aceasta este frecvența pe această axă.
Deci o linie verticală
înseamnă energie la o mulțime
de frecvențe diferite care
nu sunt organizate în armonici,
deci nu este pitch.
Începem.
[REDARE AUDIO]
[CLIC CU TOCĂI]
[FINE REDARE]
OK, iată versiunea STRF,
stimulul de control.
[REDARE AUDIO]
[CLIC]
[FINE REDARE]
Așa că surprinde o parte din
ele, dar nu toate.
Captează
sunetul fiecărui clic,
dar nu și distanța dintre ele.
Deci obține
proprietățile locale, dar nu
toate proprietățile.
Da.
STUDENT: Cum ai spus--
ca doar [INAUDIBIL]?
NANCY KANWISHER:
Cum fac ei?
Nu ti-am spus
pentru ca e complicat.
Practic, încep cu
zgomot roz, sau zgomot alb
sau un fel de zgomot.
Ei o trec prin
lucrul lor STRF.
Ei rulează sunetul original
prin chestia STRF.  Le
compară.
Și ei spun, cum o să
reglam zgomotul
pentru a-l face mai așa?
Și ei doar repetă mult și
ajung cu acești stimuli.
Și puteți vedea
doar privindu-l, au
ajuns să aibă
ceva care este
destul de asemănător în ceea ce
privește spectrograma.  Să
ascultăm o
persoană care vorbește.
Iată sunetul original.
[REDARE AUDIO]
- Este că arta oferă o
deformare în timp a trecutului, precum
și o perspectivă.
[FINE REDARE]
NANCY KANWISHER: OK, acum o
voi opri.
Iată varianta sintetică.
[REDARE AUDIO]
[INAUDIBIL]
[FINE REDARE]
OK, acum am pierdut ceva.
Deci toată lumea vede
cum, cu tastarea de la tastatură,
chiar sună la fel,
versiunea sintetică?
Cu mersul în tocuri,
un fel de, un fel de,
cel puțin la nivel local, dar nu
global, și cu vorbirea,
tocmai am pierdut-o complet.
Lucrurile pe care le puteți
capta cu un model STRF
nu surprinde
întreaga bogăție a vorbirii.
Există ceva mai mult
într-un stimul de vorbire
decât poți capta cu
acel simplu model STRF.
OK, hai să ascultăm o vioară.
[REDARE AUDIO]
[REDARE MUZICĂ]
[FINE REDARE]
OK, ce face
modelul STRF cu asta?
[REDARE AUDIO]
[REDARE MUZICA NOROIoasă]
[REDARE FINALĂ]
Îmi place asta.
Sună ca o
colonie de lei de mare.
Oricum, ceea ce vedeți
este că modelul STRF nu
reușește total să capteze
vorbirea și muzica,
dar captează
sunetele de textura așa.
Și pierde o parte din
informațiile la scară temporală mai largă.
Deci asta sunt stimulii.
Apoi scanezi oamenii care
ascultă aceste sunete.
Doar introduceți-le în scaner
și redați acele sunete.
Și atunci ceea ce
fac ei este doar să întrebe.
Deci, acesta este, din nou,
conturul alb este cortexul auditiv primar,
unde aveți
acea hartă de frecvență, cartografiată
într-un experiment separat și
doar aruncată pe creier
aici.
Mărim acea parte
din partea superioară a lobului temporal.
Și, așadar, ceea ce este afișat
aici este, pentru fiecare voxel,
ei arată corelația
răspunsului acelui voxel
la sunetul original și
sunetul sintetic, STRF-y.
Și ceea ce vedeți este că
acele corelații
sunt foarte mari în
cortexul auditiv primar.
Cu alte cuvinte,
cortexul auditiv primar
răspunde aproape la
fel la sunetul original
și la sunetul sintetic.
Nu detectează
acea diferență.
Dar de îndată ce ieși
din cortexul auditiv primar,
obții ceva
total diferit.
Și asta a fost
exact predicția,
modelul care
este testat aici
este un model al modului în care au
crezut că funcționează cortexul auditiv primar -
o bancă de filtre liniare.
Ei testează acel model prin
generarea unui nou set de stimuli
care sunt potriviți pentru
acele filtre liniare
și obțin cam
același răspuns
în cortexul auditiv primar.
Deci verifică... ăsta e un model bun
de cortex auditiv primar.
Dar, de asemenea, albastrul
vă arată o corelație mult mai mică
aici.
Nu este un model bun de lucruri
în afara cortexului auditiv.
Josh.
STUDENT: Deci nu este acest
tip de auto-împlinire,
în sensul că îmi construiesc
stimulii sintetici pe baza
acestor
modele, și apoi...
NANCY KANWISHER: Este,
cu excepția faptului că modelele s-au
bazat toate pe munca animalelor și
asta  este creierul uman.
Deci aceasta este o modalitate...
dar este exact.
Este un mod de a spune că toate aceste
lucrări de la animale care caracterizează exact

proprietățile de răspuns
ale neuronilor individuali, ceea ce le
puteți face la animale și mai ales
nu la oameni,
credem că este
adevărat pentru
cortexul auditiv primar uman?
Și da, este.
Toată lumea înțelege măcar
esența asta?
Îmi dau seama că am sărit
peste o mulțime de detalii
pentru că vreau să
obțineți o imagine generală.
Da.
STUDENT: Ce
încearcă ei să obțină făcând
acest tip de [INAUDIBIL]?
Adică, ipoteza
este că cortexul
auditiv uman și animalul
este același?
NANCY KANWISHER:
Cortexul auditiv primar, da.
Da.
Practic testează --
tu obții acel model
din munca pe animale, apoi
proiectezi un test al acestuia,
care produce acei
stimuli sintetici.
Și am omis asta
pentru că, de fapt,
nu cred că au făcut
asta, dar probabil,
dacă testezi acei stimuli
cu unități individuale la dihori,
obții același lucru.
Primiți răspunsuri foarte, foarte
asemănătoare
în cortexul auditiv primar
la sunetul original
și versiunea sintetică a
acestuia bazată pe modelul STRF.
STUDENT: Se bazează pe
presupunerea că ambele
sunt structural la fel.
NANCY KANWISHER: Ei
bine, este testare.
Se pune întrebarea asta.
Se pune întrebarea asta.
Pentru că uneori m-am
plâns aici de cât de proaste
sunt metodele noastre în
neuroștiința cognitivă umană.
Adică, sunt distractive.
Putem face ceva, dar ne
lovim de un perete destul de repede.
Vrem să vedem
codul neuronal real.
Nu avem
rezoluție spațială și temporală
în același timp.
Aproape că
obținem asta doar la animale.
Putem face doar
teste cauzale cu adevărat atent
la animale.
Putem vedea aproape doar
conectivitatea într-un mod precis.
Și toate aceste lucruri le
putem face numai la animale.
Și trebuie să știm dacă
acele modele animale sunt
modele bune pentru oameni.
Și acesta este un mod de a-l testa.
Și a trecut cu
brio.
Are sens?
Deci cortexul auditiv primar
pare la oameni,
încât seamănă mult cu
la dihori,
un banc de filtre liniare
cu proprietăți STRF-y.  Dar
orice altceva?
La urma urmei, băieți,
puteți auzi diferența
dintre versiunea originală
și versiunea sintetică
a femeii care vorbește
și a viorii.
Și dacă ți-aș juca toți
ceilalți stimuli
ai sunetelor din lumea reală, ai
putea auzi diferențele și
în multe dintre
celelalte.
Deci, ce faci?  Ei
bine, există o mulțime
de cortex auditiv
dincolo de cortexul auditiv primar
care ar putea
reprezenta acea diferență.
Și ceea ce
sugerează acest lucru este că orice se întâmplă
aici face
ceva cu adevărat diferit
cu acele sunete.
Nu este păcălit.
Nu crede că
lucrul sintetic este același lucru
cu cel original.
Asta
înseamnă corelația scăzută.
Așa că vă voi spune despre doar
un mic petic de cortex
acolo.
Și asta este... din nou, acesta
este doar pentru referință.
Am mărit din nou,
acesta este micul cod
pentru cartografierea separată a cortexului
auditiv primar ridicat, scăzut, înalt,
chiar acolo.
Și ceea ce sunt benzile galbene sunt
răspunsuri selective la vorbire.
Așadar, compari o
mulțime de
sunete de vorbire cu o mulțime
de sunete non-vorbire
și obții o bandă
de activare chiar
sub cortexul auditiv primar.
Da.
STUDENT: Am crezut că
separarea a fost scăzută, ridicată,
medie [INAUDIBILĂ].
NANCY KANWISHER:
Sus, jos, sus...
Probabil că am spus-o invers.
Asta ar fi ca mine.
Dar este... stai, stai.  Ce naiba e asta
?
Sunt destul de sigur că este
sus, jos, sus.  Să ne
întoarcem și să privim.  S-
ar putea să-l fi înșurubat pe
tobogan sau să fi spus-o pe dos,
dar sunt destul de sigur că
este sus, jos, sus.
STUDENT: Deci
frecvența joasă este [INAUDIBIL]..
NANCY KANWISHER: Da, așa cum
acesta este codul pentru frecvență,
chiar acolo.
Dar pune-mi acele
întrebări pentru că sunt
foarte capabil să fac lucrurile
înapoi, așa cum probabil ai
observat deja.
Deci, există o bandă de
cortex selectiv de vorbire chiar
în afara
cortexului auditiv primar,
în acea regiune pe care tocmai am
văzut-o că răspunde diferit
la sunetul original și la
sunetul sintetic potrivit modelului.  Deci e
destul de misto.
Ce vreau să spun prin
„cortexul selectiv al vorbirii?”
Ce vreau să spun este...
acestea sunt câteva dintre datele noastre.
Am încercat să-ți găsesc
datele altcuiva
și am coborât într-o
groapă de iepure de 45 de minute
încercând să găsesc un tobogan frumos.
Și pur și simplu nu am
găsit o imagine bună.  În cele
din urmă, am spus, la dracu, îți
voi arăta datele mele,
deși încerc să--
nu suntem
singurii care am arătat asta.
Avem doar cele mai bune date.
Alți oameni l-au testat cu
patru, cinci, șase condiții.  L-am
testat cu 165 de sunete.
Deci, aceasta este
magnitudinea răspunsului
în acea regiune galbenă la 165 de
sunete diferite, codificate în culori în funcție
de condiția prezentată aici.
Și, așadar, ceea ce vezi
dacă te uiți la el
este că toate sunetele de top sunt
verde deschis și verde închis.
Discurs -- observați, important,
că răspunsul
este foarte asemănător cu
vorbirea engleză și vorbirea străină
pe care subiecții noștri
nu le înțeleg.
Deci asta ne spune că
nu este vorba despre limbaj.
Nu este vorba despre sensul
unei propoziții, al unei sintaxe sau al oricăruia
dintre acele lucruri.  Este vorba
despre foneme,
diferența
dintre a ba și a pa, pe care o
poți face pe o limbă străină,
chiar dacă există câteva
foneme care sunt diferite.  Cele
mai multe dintre ele le primești.
Toată lumea
face diferența
dintre vorbire și limbaj?
În mod uimitor,
autorul principal al lucrării pe care
ai citit-o aseară
nu înțelege această diferență.
A publicat o lucrare frumoasă.
De fiecare dată când vine
aici să vorbească,
vorbește despre limbă,
limbă, limbă, limbă.
Și spun, Eddie, ai
prezentat vreodată un stimul
într-o limbă străină?
El este, ca, oh, nu, asta ar
fi foarte interesant.
E ca și cum, Eddie, până nu faci
asta, nu știi dacă
studiezi limba sau vorbirea.
Oh, da, foarte interesant.
Și apoi se
întoarce patru ani mai târziu
și nu pare să știe
diferența dintre limbaj
și vorbire.
Sunt, ca, salut.
Oricum, face
experimente frumoase, dar este doar... este
un punct orb sau
este o utilizare greșită a unui cuvânt.
Nu știu ce este,
dar mă înnebunește.
Poți spune?
Oricum, băieți, înțelegeți
diferența, chiar dacă Eddie
nu o înțelege.  Să ne
uităm la alte lucruri.
Ce zici de toate
chestiile astea albastru deschis?
Există o mulțime de
chestii albastre deschise care sunt aproape la fel de înalte.
Oh, asta e muzică
cu oameni care cântă.  Are
și vorbire.
Discursul este puțin mai
puțin inteligibil
pentru că
cântă și există
muzică instrumentală de fundal,
deci este puțin mai jos.
Oh, ce urmează?
Avem niște
chestii violet deschis
și unele chestii violet închis.
Acestea sunt vocalizări non-vorbire
.
Sunt chestii precum râsul,
plânsul și oftatul...
destul de asemănător cu
vorbirea, dar nu și cu vorbirea.
Este următorul lucru cel mai înalt
, dar este mult mai jos
de la sunetele vorbirii.
Și apoi avem câini care
latră, și gâște
și chestii de genul ăsta, care
sunt încă mai jos.
Și apoi avem tot felul
de alte lucruri acolo jos--
sirene, toalete
și chestii de genul ăsta.
Da.
STUDENT: Este
muzica instrumentală percepută ca vorbire?
Adică, nu pot
distinge culorile.
NANCY KANWISHER: Nu.
Muzica instrumentală
este mult aici.
Da, e puțin greu de văzut.
Chestiile alea de acolo sunt
vocalizări non-vorbire.
Nu este un tobogan perfect.
Deci aceasta este o dovadă destul de puternică
că acea bandă de cortex
este destul de selectivă pentru vorbire.
Toți înțeleg asta?
Da.
STUDENT: Deci vrei să
spui că nu e
ca și cum nu procesează
ca cealaltă,
așa că chestia cu vioară ar
fi tot așa [INAUDIBIL]
NANCY KANWISHER: Da, corect.
OK, un punct bun.
Amintește-ți, când ți-am arătat prima dată
zona feței fuziforme, ți-am arătat
acel moment în care
fețele lui sunt așa, a te
uita la punct este
așa, a te uita la obiecte
este așa.
Așa că am spus, OK, există un
pic de răspuns la lucrurile
care nu sunt fețe.
Este doar mult mai mult la fețe.
Acum, probabil că
nu ați observat asta
pentru că a trecut cam
repede, dar când v-am arătat
date intracraniene
din zona feței fusiforme
la acel pacient care
a fost stimulat acolo
și a văzut fețele iluzorii,
datele intracraniene
au arătat un răspuns zero la
lucruri care nu sunt chipuri.
Deci, cred că asta se datorează faptului că
RMN-ul funcțional este cel
mai bun pe care îl avem în
rezoluția spațială în creierul uman,
cu excepția cazului în care avem
date intracraniene.
Dar este încă neclar.
Este neclar pentru că există
flux de sânge și toate astea.
Așa că aș ghici
același lucru aici.
De fapt, bănuiesc că
nu este în ziarul pe care l-ai
citit pentru că nu
avea niciun sunet non-vorbitor,
dar îți voi arăta.
Dana le înregistrează chiar
acum la Spitalul de Copii
și mai avem și altele pe
care vi le voi arăta data viitoare,
de electrozi intracranieni.
Și vor fi chiar
mai selectivi decât atât.
Dar asta este deja destul de bine.
Da, Nava.
STUDENT: Ce este
non-vocalul uman?
NANCY KANWISHER: N-am auzit.
Ce?
STUDENT: Non-vocalul uman?
NANCY KANWISHER: Oh, asta e
ca și cum aplauda și pași,
și uit ce altceva, lucruri
în care le auzi și știi
că este o persoană, dar
nu sună deloc
ca vorbire sau vorbire.
Deci, dacă ar fi fost vorba despre
semnificație,
ar fi fost totul despre
sensul oamenilor,
ar putea fi ceva care să-
ți spună că există o persoană acolo.
Descurcă-te.
Dar nu, se pare că nu.
Deci nu suntem primii care
vedem asta.
Tocmai l-am testat
cu mai multe condiții.
Deci dovezile noastre pentru selectivitate
sunt mai puternice decât ale
tuturor.
Având în vedere ceea ce v-am spus astăzi,
vă puteți gândi la o modalitate mai puternică
de a testa acest lucru?
De exemplu, să presupunem că
am fost îngrijorat,
poate
compoziția de frecvență a discursului
este diferită de cea a
non-vorbirii.
La urma urmei, acelea
sunt doar înregistrări
ale sunetelor naturale din lume pe
care noi le-am făcut noi,
sau, în mare parte, am ieșit de pe
web, pe care le-a făcut altcineva.
Și poate diferă în
proprietăți cu adevărat de nivel scăzut.
Și de unde știm
că aceasta este cu adevărat
selectivitatea vorbirii,
nu doar selectivitatea
pentru anumite frecvențe
sau schimbări de frecvență?
Da.
STUDENT: L-ai putea rula
cu generatorul McDermott...
NANCY KANWISHER:
Bingo, absolut.
Toți înțeleg asta?
Așa că am ști, deoarece
acestea sunt frumos
proiectate pentru a se potrivi cu toate
acele proprietăți acustice, se
potrivesc cu spectrograma pentru toate
acele proprietăți de nivel inferior.
Și McDermott și
Norman-Haigene
au făcut asta.
Și această regiune
nu răspunde puternic
la versiunea potrivită cu modelul
, așa că nu este vorba
doar de proprietățile acustice.
Da.
STUDENT: Putem face și
ceva de genul [INAUDIBLE] să redăm
discursul înapoi?
NANCY KANWISHER: Da,
oamenii au făcut și asta.
Este puțin complicat,
pentru că vorbirea înapoi
seamănă foarte mult cu vorbirea.
Este cam în
zona intermediară.
Deci echilibrează multe
lucruri, dar unul,
nu echilibrează toate
proprietățile acustice.
Deci, vorbirea are anumite
proprietăți de debut.
Am uitat cum merge, dar
dacă îl redați invers,
sunt multe...
[PRODUCERE SUNETE] Ați auzit
vorbirea înapoi, nu?
Și astfel modelul STRF
ar răspunde diferit
la vorbirea înainte și înapoi,
în timp ce modelul STRF răspunde
la fel la
vorbirea originală și sintetică.
Are sens?
Deci există o
zonă
de cortex foarte selectivă pentru vorbire.
Și este selectivă în vorbire,
nu selectivă în limbaj.
Și, bineînțeles, vrem să știm...
vorbirea înseamnă o mulțime de
lucruri diferite.
Sunt cuvintele pe care le spui.
Este cine o spune.
Este intonația ta -
faci
o afirmație, o
întrebare sau ce
subliniezi
în propoziție?
Și sunt multe alte lucruri.
Și ziarul pe care l-ai citit a
pus această întrebare.
Ce se codifică aici despre vorbire?
Și așa am făcut o
grămadă de diapozitive
pentru a explica ce
spunea ziarul pentru că am crezut că oamenii
vor avea probleme cu el.
Și toată lumea a pironit
-o, așa că nici nu am de gând
să trec prin ele.
Poate o să
arăt doar una în încheiere.
Așa că un lucru pe care unii
dintre voi au greșit--
și înțeleg perfect de ce,
nu a contat--
este că
acesta este un pacient
și acesta este bancul
de electrozi plasați
pe suprafața creierului.
Biții roșii sunt
biții în care
puteți explica
răspunsurile neuronale în ceea ce privește
oricare dintre aceste modele -
intonație,
identitate vorbitor, propoziție
sau oricare dintre interacțiunile
dintre acele lucruri.
Și asta spune doar
că acolo este acțiunea,
sunt acei electrozi acolo.
Și graficul de aici este
de la doar trei diferiți--
fiecare este un singur electrod,
doar ca să înțelegi asta.
Deci, acest grafic critic de aici,
care arată electrodul E1.
Acesta este unul dintre acei
electrozi la un pacient.
Un electrod are de obicei
2 milimetri pe o parte.
Probabil că ascultă câteva
zeci de mii de neuroni.
Deci este cu unul sau două
ordine de mărime
mai bun decât un voxel
cu RMN funcțional,
dar este încă o
medie pentru o mulțime
de neuroni, nu pentru un singur nerv.
STUDENT:
Întrebarea [INAUDIBILĂ] cu o
medie peste [INAUDIBILĂ], dar
este o medie peste [INAUDIBILĂ]..
NANCY KANWISHER: Da, acesta a fost
răspunsul unui electrod care
ascultă bărbați și femei.
Am uitat care este care.
Dar în afară de asta,
băieți, ați reușit.
Și observați cât de precise,
specifice și fascinant de
separate sunt răspunsurile
acelor electrozi
, separate pentru conturul tonului
, sau identitatea vorbitorului
sau ce propoziție
a fost rostită.
Acele lucruri par să
fie separate spațial
în creier la o bob fină.
Indiferent dacă l-ai vedea
cu RMN funcțional, s-
ar putea, s-ar putea să nu.
Mulți dintre voi au subliniat că s-ar putea să
nu avem soluția.
Gândiți-vă la alte
metode pe care le puteți
utiliza pentru a căuta asta, chiar dacă
nu am avut rezoluția
cu un contrast binar simplu.
Și e 12:26 și
mă voi opri.  Ne
vedem
miercuri
și vom vorbi despre muzică.