Următorul conținut este furnizat sub o licență Creative Commons. Sprijinul dumneavoastră va ajuta MIT OpenCourseWare să continue să ofere gratuit resurse educaționale de înaltă calitate. Pentru a face o donație sau pentru a vizualiza materiale suplimentare din sute de cursuri MIT, vizitați MIT OpenCourseWare la ocw.mit.edu. RAMESH RASKAR: Deci, să începem cu o cameră termică IR. Și după cum puteți vedea, are proprietăți foarte ciudate. La cine ne uităm aici? Asta esti tu? PUBLIC: Oh, da. RAMESH RASKAR: [râde] Și apoi, când își aprinde bricheta, a provocat un mod automat de câștig, cred. Și de aceea imaginea devine foarte întunecată. Și cine e în poză, oricum? Oh, acesta este Seth. Excelent. M-am gândit că te pot recunoaște în IR termic și dacă pui doar un deget rece pe obraz, o vei vedea. Și scoate-l. Da, poți vedea semnul. Lucrurile care sunt complet transparente în vizibil sunt de fapt complet opace. Și accentul este... da. Este complet opac. De fapt, dacă doar pui ochelarii jos, asta-- ar putea la fel de bine. Tu nu vei vedea, dar alții vor vedea. PUBLIC: Da, voi vedea. RAMESH RASKAR: [râde] Deci sunt complet opace în... PUBLIC: Acestea sunt de fapt lentile de sticlă, nu din plastic. Ar putea fi o diferență. RAMESH RASKAR: OK. PUBLIC: Nu știu. Dar... RAMESH RASKAR: Deci se uită cu adevărat la aproximativ 8.000 de nanometri până la 12.000 de nanometri, care din fericire este și lungimea de undă în care corpurile umane - radiația corpului negru a corpului uman atinge vârfurile. Deci poți face niște lucruri uimitoare cu asta. Chrysler și BMW se gândesc la... sau poate le-au pus deja în automobile, astfel încât să puteți vedea lucrurile foarte departe. Deci, un beneficiu al acestui lucru, după cum puteți vedea, este chiar dacă stingeți lumina camerei, intensitatea nu se va schimba. Deci, dacă cineva trebuie să ia... este complet independent de iluminatul camerei, pentru că nu se uită la spectrul vizibil care este emis de aceste lumini cu tuburi. Dar este doar o funcție a radiației termice. Așa că noaptea când conduceți, dacă există animale sau chiar intruși în curtea dvs., le puteți detecta cu IR termic AUDIENTĂ: Există multă reflexie pe masă. RAMESH RASKAR: Da. Da, pentru că nu uitați, aceasta este o lungime de undă foarte mare. Deci lungimea de undă... rugozitatea mesei dispare și devine foarte reflectorizant. Este asta... să încercăm acum să ne concentrăm asupra lucrurilor care contează. Toți cei cu ochelari arată foarte tare. [Râsete] PUBLIC: Din ce este făcută lentila? RAMESH RASKAR: Deci, aceasta este o întrebare bună, pentru că de obicei, sticla nu va transmite IR termic. PUBLIC: Corect, [INAUDIBIL],, da. RAMESH RASKAR: Da. E o demonstrație bună. Deci multe dintre aceste lentile sunt alcătuite din germaniu. Și, de asemenea, anumite tipuri de plastic pot fi folosite pentru aceasta. Dar calitatea imaginii nu este atât de mare. Dar germaniul este foarte comun. PUBLIC: Are aceasta caracteristici focale diferite, deoarece sunt lungimi atât de mari de lungimi de undă mari? RAMESH RASKAR: Are 8 până la 12 -- doar în ceea ce privește rapoartele, este de 300 până la 400. Este la fel cu 8 microni până la 12 microni. Deci ar trebui să se poată concentra în majoritatea trupei respective. Dar pentru că aveți nevoie de o lentilă mai mare , adâncimea câmpului este destul de îngustă. PUBLIC: Da. RAMESH RASKAR: Deci, cu asta, poți construi un detector de sticlă. Și dacă mă uit pe fereastră, de exemplu, este complet opac. Poți să faci cu mâna, ultima persoană? Da. Deci este complet opac, sticla. Deci puteți construi un detector de sticlă. Puteți face o fotografie cu o cameră vizibilă, obișnuită. Puteți face o fotografie cu asta. Și dacă este opac într-unul, dar transparent și altul, atunci este sticlă. Deci poți face tot felul de lucruri interesante. Și din nou, dacă Mattias are succes și alte companii au succes, nu în cinci ani, ci în șase ani, ar putea fi în telefonul tău mobil. [INAUDIBIL] În regulă. Deci hai să continuăm aici. A mai văzut cineva această iluzie de șarpe? Da. Toată lumea vede șerpi care se rotesc? PUBLIC: Nu. RAMESH RASKAR: Nu? PUBLIC: [INAUDIBIL] un front [INAUDIBIL].. PUBLIC: Da, nu merge [INAUDIBIL].. RAMESH RASKAR: Într-un unghi? PUBLIC: Mm-hmm. PUBLIC: Da. RAMESH RASKAR: Bine. Poate pot... câți dintre voi îl puteți vedea? Câți pot vedea și câți nu pot vedea un model rotativ? Deci bine. Am mai auzit asta. Pentru că acesta este diferit de acele stereograme cu puncte aleatoare cu adevărat enervante, Ochiul Magic pe care mulți oameni au probleme să-l vadă. Dar acest lucru nu se bazează pe același -- se bazează pe un principiu diferit. Este doar să se uite la degradarea retinei tale, cât timp durează retina ta când face circuite pentru a face practic scăderi de surround central. Deci este un principiu foarte diferit. Deci aceia dintre voi care nu pot percepe mișcarea în aceasta... aveți și probleme cu Magic Eye? PUBLIC: Da, nu văd nimic. Nu-i pot vedea pe cei Ochi. RAMESH RASKAR: Da, cred că Magic Eye este probabil... câți oameni au probleme cu Magic Eye? Da, cred că e mult. Dar se pare că cele două seturi nu au nicio relație cu acest tip de seturi. Deci, cum pot face o fotografie a unei scene care are mișcare imprimată pe o bucată de hârtie și să creez o iluzie de mișcare? Aceasta este prima problemă pentru proiectul tău. PUBLIC: Ai putea tipări asta. RAMESH RASKAR: Da, dar asta e doar pentru această scenă. Vreau să fac o fotografie cu o mașină în mișcare sau cu cineva care rulează. Și vreau doar să iau câteva, poate cinci cadre din acel videoclip și să creez o fotografie din el, astfel încât să pară că persoana se mișcă constant. Cred că putem aprinde din nou luminile. Lasă-mă să văd asta. Deci în regulă. Iată această întrebare și cum pot să mă uit după colț. Deci, acesta este de fapt un proiect uriaș în grupul nostru, cum te poți uita după colț? Și modul în care o facem este că folosim de fapt niște dispozitive foarte ieftine -- o așa-numită cameră de imagine de tranzit, unde folosim un răspuns la impuls al unei scene. Transmitem un semnal. Poate îl voi folosi pe acela. Transmitem un puls foarte mic, care se reflectă în afara ușii, sare în interiorul scenei, se reflectă înapoi de la ușă. Și este capturat din nou la cameră. Și analizând aceste reflecții cu mai multe treceri, ne putem da seama ce se află în cameră doar privind ușa. Deci dispozitivele sunt extrem de ieftine. Avem nevoie de un laser femtosecunde. Asta costă aproximativ 200.000 de dolari. Și avem nevoie de un fotodetector. Asta costă aproximativ 3.000 de dolari. Dar găsim câteva versiuni mai ieftine. Și apoi, avem nevoie și de o lunetă de 10 gigaherți. Adică aproximativ 50.000 de dolari. Deci, după aproximativ un sfert de milion de dolari, poți să te uiți la ce se află după colț. Deci poate nu în 5 ani, dar poate în 10 ani, sau 20 de ani, veți avea dispozitive care vă vor permite să priviți după colț. Și chiar acum, în laboratorul nostru, o poți face. Și asta va schimba complet modul în care te gândești la fotografie, deoarece linia vizuală este aproape o presupunere fundamentală. Credem că este aproape... mulți dintre noi cred că aceasta este una dintre legile fizicii. Putem vedea doar lucruri care se află în raza vizuală. Dar nu încălcăm nicio lege a fizicii. Dacă încălcăm legile, sunteți binevenit să ne raportați. dar... [Râsete] Acest lucru este posibil. Așadar, în această clasă, ceea ce veți vedea este că legile pe care le luați de bune și legile care împiedică modul în care vă gândiți la captarea vizuală și afișarea vizuală sunt doar acolo pentru că cineva v- a învățat asta. Dar puteți contesta toate aceste ipoteze cu instrumente moderne, fie că sunt senzori, optică și metode de calcul moderne. PUBLIC: Care este rostul laserului de femtosecundă dacă are o lungime de coerență atât de mică? Chiar nu poți folosi laserul. RAMESH RASKAR: Deci, motivul pentru care aveți nevoie de un laser de durată extrem de scurtă este că, dacă doar... imaginați-vă că construiți o cameră. Deci acele camere, de data aceasta camera de zbor pe care o arăta Jay -- imagini cu puls la aproximativ 50 de megaherți. Deci este o repetiție de 29 de nanosecunde . Și cât de mult călătorește lumina într-o nanosecundă? PUBLIC: 1 milimetru pe microsecundă. RAMESH RASKAR: Da, dar asta e prea complicat aici. Cât într-o nanosecundă? PUBLIC: Aproximativ un micron. RAMESH RASKAR: Nu, mult mai mult. PUBLIC: Un centimetru. RAMESH RASKAR: Mai mult decât atât. PUBLIC: 100 de metri. PUBLIC: Un picior? RAMESH RASKAR: Un picior. PUBLIC: Bănuiesc... RAMESH RASKAR: Așa este. Asta e corect. PUBLIC: Îmi pare rău, da. RAMESH RASKAR: Deci un lucru puțin simplu de reținut. Lumina parcurge un picior într-o nanosecundă. Și cum rămâne cu sunetul la temperatura camerei? Cât este nevoie ca sunetul să parcurgă un picior? Știi toate numerele. Sunt 330 de metri pe secundă pentru... [VOCI INTERPUSE] RAMESH RASKAR: --un sunet și spuneți că înseamnă 10 până la 8 metri pe secundă pentru lumină. Dar e prea complicat să te gândești la asta. Vrem niște reguli simple. Deci... PUBLIC: 10 milisecunde. RAMESH RASKAR: 10 milisecunde pentru un picior? Este o milisecundă, nu? Deci foarte ușor de reținut. Lumina parcurge un picior într-o nanosecundă. Sunetul călătorește un picior într-o milisecundă. Deci lumina parcurge o nanosecundă. Sunetul parcurge o milisecundă. Din păcate, nu există nimic care să călătorească într-o microsecundă. Dacă cineva poate, cu un nou canal de propagare fizică, care se deplasează cu un picior într-o microsecundă, mai degrabă decât milli și nano, atunci veți vedea o gamă complet nouă de aplicații. Deci ai electromagnetică, spectru P-M. Este o nanosecundă pe un picior, iar sunetul, o milisecundă pentru un picior. Deci sunetul este prea lent, iar lumina este prea rapidă în aproape tot ceea ce vrem să facem. Și aici, vrem ceva care este chiar mai rapid decât propagarea tradițională a luminii. Deci, în această cameră, dacă trimit doar un fascicul de lumină, un puls foarte îngust, până când ajunge la acel perete și se întoarce până la mine -- să spunem că este de aproximativ 20 de picioare -- mă va lua aproximativ 40 de nanosecunde pentru a reveni. Pe de altă parte, dacă vreau doar să văd unde se află cineva la câțiva metri de acel perete, atunci trebuie să încep să măsoare în picosecunde-- nu 10 până la minus 9 nanosecunde, ci 10 până la minus 12 secunde. Și de aceea trebuie să faceți acest lucru extrem de rapid pentru a putea face orice - așa că o cameră tradițională de timp de zbor se va uita doar la această ușă. Si asta e. Nu mai poți face nimic. Dar dacă doriți să priviți reflexiile, atunci trebuie să puteți rezolva timpul la o rezoluție temporală mult mai mare. Deci laserele cu femtosecunde nu sunt ceva... nu sunt exotice. Sunt folosite în OCT. Sunt folosite în microscopia cu doi fotoni. Și sunt folosite în multe dintre aplicațiile lor, dar încă nu în aplicațiile de consum. Sunt folosite în imagistica medicală. Și odată ce devin solide și ușor de transportat, putem face asta. O mulțime de LiDAR se întâmplă, de asemenea, nu în femtosecunde, ci în intervale de nanosecunde cu putere foarte mare. Deci, dacă poți să te uiți după colț în felul acesta, ce zici să te uiți în jurul unui artefact frumos ca acesta? Dacă am o sticlă... unde este sticla mea? Dacă eu, ca om, când mă uit la această sticlă, mă uit în jurul ei. Și creez o reprezentare mentală a cum arată asta. Dar dacă fac o fotografie, va fi doar dintr-o vedere [INAUDIBILĂ]. Încearcă să-mi imite perspectiva și așa mai departe. Dar reprezentarea mea mentală este de fapt așa ceva, nu? Deci, cum putem construi o cameră care ia un obiect și creează imagini? Acum, acest obiect special este simplu. Pot doar să-l pun pe un scaner plat. Și pot doar să-l rostogolesc. Dar unele alte obiecte nu sunt atât de ușoare. Acest obiect, de exemplu, care nu este complet cilindric, nu are o rază constantă în jurul axei sale de rotație. Deci, dacă îl rulez pe un scaner plat, nu voi primi asta. Așa că poate am nevoie de o cameră specială sau pot folosi camera mea existentă și pot folosi câteva trucuri interesante, trucuri de calcul pentru a crea imagini de lansare. O altă astfel de problemă. Și sunt sigur că o companie de aparate foto i-ar plăcea să aibă această funcție, deoarece aveți toate funcțiile plictisitoare -- AV, TV, panoramă, film. Și apoi, aveți modul de lansare. Deci ar fi distractiv. Și poate o poți face cu o cameră obișnuită. Sau poate o poți face cu un laser de femtosecundă, dacă ai un sfert de milion de dolari. În regulă. Deci, să facem o previzualizare foarte rapidă a restului clasei. Și aici, voi vorbi mai ales despre ce este intrarea, care este ieșirea. S- ar putea să nu intru în detaliu exact cum funcționează asta, pentru că, din nou, acestea sunt teaser-uri cu ceea ce urmează în clasă. Și la ce aș vrea să vă gândiți în timpul acestei previzualizări este cum se aplică acest lucru unei probleme la care este posibil să lucrați deja sau care sunt unele paralele cu lucruri pe care le știți deja? Și din nou, cele mai multe dintre aceste tehnici vor viza schimbarea regulilor jocului. Dacă aveți un proiect în care vă urmăriți degetele cu o cameră web ieftină și nu funcționează, pentru că atunci când lumina se schimbă sau o persoană cu o culoare diferită a pielii intră în scenă, există soluții aici. Dacă vă îngrijorează cum să urmăriți mulțimile, există soluții aici. Vrei să vezi ce se află în spatele unui sticla care este tulbure și difuză, soluția este aici și așa mai departe. Și apoi, desigur, există dispozitive cu adevărat interesante pe care le-ați putea folosi și noi forme de fotografie. Deci, iată un exemplu foarte simplu despre cum putem începe. Deci Paul [INAUDIBIL] în '92 - idee simplă. Luați un obiect, aprindeți lanterna din stânga. Aprindeți o lanternă din dreapta. Și apoi, puteți forma această imagine combinând aceste două. Cum o vei face? Aceasta arată ca o lumină albastră și aceasta arată ca o lumină roșie. Doar din aceste două fotografii, vrei să creezi asta. Da? PUBLIC: Doar amestecați canalele. RAMESH RASKAR: Exact. Doar luați canalul albastru de aici și canalul roșu de aici. Asta este. Și creează acest frumos artefact de iluminat. Deci asta va fi, de fapt, sarcina numărul 1 -- doar o sarcină de încălzire. Tot ce trebuie să faceți este să luați un obiect și să faceți două sau trei fotografii mutând sursa de lumină. Și apoi, amestecați și potriviți canalele de culoare pentru a crea artefacte de culoare foarte frumoase. Și acest lucru vă va ajuta să vă puneți în funcțiune întreaga conductă pentru un senzor. Vei avea propriul tău aparat foto. Sunteți binevenit să utilizați camera dvs. obișnuită, ca chiar și cea a unui telefon mobil. Dar, în mod ideal, ar trebui să începeți să utilizați o cameră care are mai multe comenzi manuale. Și vă va face să vă configurați MATLAB, sau Java sau Flash, orice doriți să utilizați -- C++, Open CV. Există o mulțime de modalități ușoare de a face acest lucru. Dar aș vrea să vă configurați mediul astfel încât acest tip de operațiuni să fie foarte ușor de făcut. Și acesta va fi misiunea dvs. numărul 1. Ar trebui să fie foarte simplu. Desigur, asta ai face acasă. Dar dacă ai câteva milioane de dolari, atunci așa ai proceda la Hollywood. Deci, acesta este un proiect de la Paul [INAUDIBLE] și grupul său -- un set de lucru foarte excelent , în care construiesc diferite etape de lumină. Și doar aprinde o lumină la un moment dat sau o mișcă manual. Au o cupolă cu aproximativ 150 de lumini. Și apoi, folosesc o cameră de mare viteză aici și aprind câte o lumină. Așa că pot fotografia această actriță în 150 de condiții de iluminare în 150 de cadre foarte rapid. Și apoi, pot începe de la început și așa mai departe. Acesta este un mod de a face asta. Cealaltă modalitate de a face asta este, să spunem tot ce vrei să faci -- introduceți această actriță într-o scenă care ar fi fost filmată în altă parte. Deci ea este în LA. Și vrei să o inserezi deasupra unei fotografii care a fost făcută de fapt la Milano. Acum, dacă faci doar fotografia și o suprapuni, pare foarte fals, pentru că iluminarea nu se potrivește. Așa că trucul pe care îl folosesc este că un tip pune o sferă strălucitoare în Milano și ia o hartă de mediu a acelei curți. Apoi, alimentați această imagine cu această lumină. Deci colțul din stânga este roșcat. Lumina din partea stângă a acestui dom este roșiatică dacă este gălbuie aici și așa mai departe. Deci, pentru toți acești 4 pi, aprindeți luminile în mod corespunzător. Și acum, e scăldată în lumină de parcă s-ar afla în curtea aceea din Milano. Și acum, dacă îi faceți fotografia și decupați și suprapuneți pe acel fundal, va părea mai realist. Și au făcut videoclipuri în care au luat aceste sfere strălucitoare. Și se apropie Crăciunul. Așa că vă puteți ridica sferele strălucitoare. Și doar pui sfera strălucitoare și te muți în curte cu ea. Prin urmare, capturați în mod constant harta mediului pe măsură ce vă deplasați. Și în scenă, ea stă doar într-un singur loc. Dar cupola este luminată de harta mediului care a fost surprinsă din aceste sfere strălucitoare. Deci, într-o secvență video, se pare că ea se plimbă prin acest mediu. Cel puțin, e luminată de parcă ar merge prin acest mediu. Deci acestea sunt câteva dintre trucurile care sunt folosite în prezent în producțiile majore. Deci, Matrix-- toate filmele care au venit în ultimii 10 ani și ceva folosesc acest mecanism special pentru a crea hărți care au iluminare corectă, care se potrivește cu iluminarea. Și dacă nu doriți să cheltuiți 2 milioane de dolari, reveniți la ceva cu adevărat ieftin -- pentru a crea acele siluete și așa mai departe, puteți folosi o cameră Multiflash. Deci, iată câteva camere pe care le puteți cumpăra. Asta e, cred, un pic mai mult. Da, asta e puțin mai mult. Deci cred că este vorba despre 30 de dolari. Și ce face este, lasă-mă să văd dacă... s-au stins luminile? Deci, când eliberați declanșatorul, este... dar prea ieftin pentru a pune filmul în interiorul acestuia manual. O să pun asta. Cred că nu avem baterie aici, din păcate. Dar oricum, atunci când eliberați declanșatorul, se fac patru fotografii expunând câte un orificiu. Și, în același timp, pentru că nu poate reîncărca blitz-ul atât de repede, soluția simplă a fost să puneți efectiv patru blitz-uri diferite. Deci obturatorul se stinge. Apoi, această lumină se stinge. Apoi, acest oblon se stinge. Această lumină se stinge și așa mai departe. Deci face patru poze. Acum, în loc să pui toate luminile într-un singur loc, dacă le așezi în jurul camerei, poți face ceva interesant, care ar fi fost, blițul este în stânga. Știți că într-o fotografie obișnuită obținem frânturi de umbră foarte enervante. Acum, dacă apăsați în mod intenționat blițul, astfel încât să îl puteți vedea aici. Așadar, există toate aceste bucăți de umbră. Și asta este continuă. Și probabil îl vezi în propriile fotografii. Dacă plasați blițul în mod intenționat la dreapta, atunci așchiile se deplasează spre stânga. Dacă puneți blițul în partea de sus, așchiile sunt așchii de umbre în partea de jos și așa mai departe. Deci, făcând aceste patru fotografii și analizând acele mici bucăți de umbre, vă puteți da seama unde sunt discontinuitățile de adâncime, unde primul plan este separat de fundal - nu doar întreaga persoană și peretele din spatele lor, ci și orice modificări interne. . Vedeți, pentru mâna mea de aici, va crea o graniță între mâna mea și corpul meu, indiferent cât de aproape sau cât de departe sunt de asta. Deci, făcând asta, puteți estima toate contururile formei. Și aceasta este harta de margine pe care ați obține dacă ați avea o cameră obișnuită. Și această hartă de margine o obțineți cu o cameră Multiflash. Deci, acum, dacă aveți o aplicație, doriți să urmăriți o mână sau să îndreptați un gest, în loc să luați o imagine 2D standard, dacă faceți o imagine Multiflash, obțineți contururi foarte curate. Și din acele contururi, puteți construi o aplicație XC care va funcționa foarte bine, chiar și în lumină ambientală ciudată. Și este independent de culoarea obiectului din prim-plan. Se bazează doar pe umbră. Deci, din nou, dacă doriți să vă urmăriți mâna, nu mai depindeți de culoarea pielii. Deci, puteți juca aceste trucuri pentru a depăși limitările unei camere 2D tradiționale. Lasă-mă să trec puțin înainte aici. O altă misiune la care ne vom uita este acest banc optic vertical. Și este o jucărie foarte drăguță pe care Andrew Adams de la Stanford a pus-o împreună, care este o aplicație bazată pe Flash în care puteți introduce lentile, și ocluzi, și oglinzi, și emițători de raze și așa mai departe. Și practic poate face o configurare foarte rapidă, un design optic foarte rapid al unei setări. Și ceea ce vom face este să începem cu asta. O opțiune este să începeți cu acesta codul său, codul sursă și să modificați și să inserați încă câteva elemente optice - poate o prismă, poate un grătar și așa mai departe, OK? Aceasta va fi o opțiune. Și așa cum am spus, veți avea mai multe opțiuni pentru fiecare sarcină. Deci, gândindu-ne puțin mai mult la lentile, un concept pe care îl vom întâlni destul de puțin în această clasă este câmpul luminos. Și acum, această cameră specială pe care am văzut-o dintre cele cinci pe care ni le-a arătat Rod este de fapt o cameră cu câmp luminos. Dar acesta este alcătuit dintr- o serie de camere - camere fizice. Și ceea ce vom face în schimb este să luăm o cameră obișnuită și să o transformăm într-o serie de camere virtuale. Deci, aceasta este o serie de camere fizice. Dar e scump. Și așa va lua o cameră obișnuită și o va converti într-o serie de camere virtuale. Deci așa funcționează. Într-o cameră tradițională, tu... dacă obiectul este în focalizare clară, raza de- a lungul fiecăreia dintre aceste direcții este convergentă pe un singur pixel. Deci obțineți o imagine foarte clară a punctului. Dar orice informație despre raza de-a lungul fiecăreia dintre aceste direcții se pierde complet. Deci obțineți o imagine 2D. Ai o scenă 3D. Obțineți o imagine 2D. Deci este aplatizată. Lumea este plată. Un truc pe care îl puteți face, care a fost inventat de fapt de Ted Ellison și studentul său Wong, care tocmai a plecat, încearcă să capteze strălucirea de-a lungul fiecăreia dintre aceste direcții. Deci, cum poți face asta? Doar deplasați senzorul puțin înapoi. Și în fața acesteia, ai pus o matrice de microlens. Aceasta este aceeași matrice de microlensuri pe care o utilizați în afișajele lenticulare, acele afișaje care se schimbă în funcție de punctul de vedere. Deci, dacă puneți acea matrice de microlens, atunci, după cum puteți vedea, fiecare dintre aceste raze este de fapt incidentă pe un pixel diferit. Și apoi, puteți surprinde variația de-a lungul fiecărei categorii. Acum, de ce ți-ar păsa să captezi fiecare dintre aceste raze? Se dovedește că aspectul lumii care vine printr-o lentilă poate fi complet descris geometric, complet descris de o funcție cu patru dimensiuni, care este acest câmp luminos. Și acesta este un concept foarte puternic, pentru că dacă surprindeți această reprezentare completă, atunci puteți face -- asta este tot ce puteți captura vreodată. Odată ce aveți această reprezentare 4D, o puteți manipula în multe moduri interesante. Deci Ted Ellison și [INAUDIBLE] de la Stanford, care are și o companie numită acum Refocus Imaging, construiesc acest tip de camere cu [INAUDIBLE].. Cum a făcut echipa Stanford? Au început cu o cameră de format mediu cu spate digital. Și pe spatele digital, au pus această matrice de microlensuri, unde pasul microlenselor este de 125 de microni. Deci pixelii sunt aproximativ nouă microni. Deci, sub fiecare țiglă pătrată, au aproximativ 14 pe 14 pixeli. Și din nou, revenind aici, sub fiecare microlensă, au o matrice de 14 pe 14 de pixeli. Deci ceea ce vor face acum este să ia detectorul de 16 megapixeli, 4.000 sau 4.000 de pixeli și să aibă o matrice de 292 pe 292 de pixeli - îmi pare rău, matrice de microlens. Sub fiecare microlentila, 14 pe 14 pixeli. Deci, la sfârșit, au această imagine de 116 megapixeli, care, după remodelare, vă oferă această imagine de 292 x 292 pixeli, câte 1 sub fiecare microlensă, bine? Deci au renunțat la o mulțime de rezoluții de la 16 megapixeli până la 292 pe 292, bine? Dar cu asta, putem face niște lucruri uimitoare. Putem reorienta digital complet în software. BINE? Deci ai renunțat la o mulțime de rezoluții. Dar acum, aveți control complet asupra locurilor în care vă puteți concentra. Și după cum vă puteți imagina, aceasta este aceeași întrebare pe care ați pus-o mai devreme, din teste pot estima și adâncimea. Pentru că, în funcție de momentul în care lucrurile se concentrează, pot atribui o adâncime fiecărui pixel. Deci dintr-o dată, dintr-un senzor 2D obișnuit, am o cameră care are câte camere virtuale? Aici, avem cinci pe cinci. Câte camere virtuale aici? PUBLIC: 200-- PUBLIC: 14 de-- RAMESH RASKAR: 14 de 14 camere. Ce este asta, 228? Nu, 496. PUBLIC: Dar apoi, fiecare cameră este 292 pe 292 și... RAMESH RASKAR: Exact. Are rezoluție foarte mică. Și astfel, prima plângere este, da, vă oferă toată această putere, dar rezoluție foarte scăzută. Iar argumentul în zilele noastre împotriva acestui lucru este că dacă ai o cameră de 6 megapixeli sau o cameră de 16 megapixeli, nu prea contează. Am ajuns la... avem randamente descrescătoare după șase megapixeli. Deci, de ce să nu folosiți acești pixeli pentru a capta alte informații? Deci asta îl face extrem de puternic. Iar reorientarea este doar una. Sentirea adâncimii este alta. Interacțiunea, tratarea aberațiilor din scenă - o mulțime de lucruri interesante pe care le poți face. Și din nou, aceasta începe cu o cameră statică de 16 megapixeli. Deci nu este rata video. Dar acesta este rata video, deși sunt doar 25 de camere virtuale. PUBLIC: Are microlentila vreo modalitate de a citi ceea ce este în și în afara într-un mod astfel încât să puteți combina imaginile? RAMESH RASKAR: Ai putea face asta. Din păcate, precizia de care aveți nevoie este precizia micrometrului. Deci este un pic provocator. Dar ai dreptate. Sunt sigur că atunci când camerele au fost proiectate la început, aveau deschideri fizice care nu puteau fi modificate. Și de-a lungul timpului, oamenii și-au dat seama cum să creeze deschideri variabile și așa mai departe. Așadar, crearea acestor elemente dinamice va fi cheia pentru viitoarele camere. Și oamenii mă întreabă adesea , care sunt lucrurile pe care le vei vedea în continuare în cameră? Și avem deja o gamă dinamică mare. Urmează culoarea. Și avem o mulțime de jurnaliști care pun întrebări ca aceasta -- viitorul fotografiei. O mulțime de reviste populare cu o mulțime de gunoi în el, inclusiv oameni care nu sunt credibili, pozele de acolo. Deci, pentru mine, răspunsul la această întrebare este câmpurile luminoase. Acesta va fi următorul lucru important. Dacă vă gândiți la primele cinci caracteristici care vor apărea într-o cameră, este expunerea, culoarea - numărul 3 este câmpul luminos. Așa că vom vedea cât timp va dura până să avem o cameră cu câmp luminos cu drepturi depline ca dispozitiv de consum. Și din nou, inițial, vor spune, hei, dar are doar 292 pe 292 de pixeli. Dar cred că până atunci, nu ne va păsa de pixelii din afacerea noastră. Așa că grupul meu a fost extrem de inspirat de această lucrare în 2004, 2005. Dar ne-am gândit că este foarte dificil de creat, deoarece aveți nevoie de o matrice de microlensuri. Așa că am spus, în loc să folosesc o matrice de microlens, pot doar să imprim o folie transparentă acasă și să creez această cameră cu câmp luminos? Deci asta am făcut, care se numește o cameră de câmp luminos bazată pe mască . Și așa faci. Începi cu o cameră de format mediu -- în acest caz, o Mamiya. Pe spatele digital, doar scoateți filtrul IR. Și se pare că există deja niște sticlă deasupra senzorului, care are o grosime de aproximativ 1,2 milimetri. Așa că aruncați o folie transparentă deasupra ei, puneți înapoi filtrul IR. Si asta e. Pentru aproximativ 2 USD, puteți converti o cameră de format mediu într-o cameră de câmp ușor. Și designul arată cam așa. Cameră tradițională, senzor tradițional, dar la aproximativ 1 milimetru în față , ai o mască imprimată. Foarte ieftin. Folosind asta, am reușit să transformăm această cameră 2D în ceva care surprinde o funcție 4D. Și conceptul este de fapt foarte asemănător cu heterodinul de radiofrecvență. Motivul pentru care puteți asculta mai multe posturi de radio pe o singură antenă este că toate aceste posturi transmit folosind fie modulația de amplitudine, fie de frecvență . Și apoi, în software-ul din mașina dvs., puteți să vă conectați la oricare dintre acele canale și să decodați oricare dintre acele posturi de radio. Și ceea ce facem aici este foarte asemănător. Facem asta în domeniul optic. Și așa numim heterodina optică în spațiu, nu în timp, acolo unde ai obiectul. Formează o imagine pe senzor. Dar vom lua acest semnal fotografic, care este patru-dimensional, nu bidimensional, și vom folosi acest purtător și apoi vom crea un semnal modulat. Deci, din nou, pentru cei dintre voi cu experiență în comunicare, această analogie va funcționa. Și apoi, software-- cunoscând acest purtător, îl putem demodula și recupera această matrice de lumină cu patru dimensiuni. Deci este posibil să o faci cu un cost foarte mic. Îmi pare rău, poți să aprinzi din nou luminile? PUBLIC: Acesta este aici? RAMESH RASKAR: Da. Poate celălalt. Mulțumiri. Și aceasta este o fotografie pe care am surprins-o cu camera noastră de câmp luminos bazată pe mască. Dacă măriți, părțile focalizate sunt de fapt OK. Partea de focalizare automată are o codificare cu adevărat ciudată din cauza măștii de înaltă frecvență. Dar apoi, software-- și așa arată masca, masca imprimată. Și în software, se dovedește că, aplicând un cadru adecvat de procesare a semnalului, îl putem decoda și recupera. Deci, aceasta este o transformare de frecvență 2D a unei fotografii tradiționale, în care cea mai mare parte a energiei este în [INAUDIBIL]. Și după aplicarea acestei mască de foarte înaltă frecvență în partea optică, de fapt codifică această informație - în acest caz particular, o fereastră de 9 pe 9 a transformării Fourier. Și această aliasare sau heterodyning intenționat vă permite să capturați cele două grade suplimentare de libertate. Și astfel procesul este foarte simplu. Faceți această fotografie, care este de aproximativ patru megapixeli. Îi iei transformata Fourier 2D. Îl transformi într-o funcție 4D. Și apoi, luați transformarea Fourier inversă pentru a crea aceste 81 de camere virtuale -- în acest caz, 9 pe 9. Acesta a fost 5 pe 5. Acesta este 9 pe 9. Și cel mai bun mod de a arăta acest lucru este să vedeți cum fotografia respectivă. va arăta ca atunci când există o mică paralaxă între fiecare dintre camerele virtuale. Și din nou, din aceste 81 de imagini, puteți estima adâncimea. Puteți crea imagini refocalizate și toate astea-- același lucru pe care Rod îl arăta pentru re-focalizarea de aici la infinit-- da, cred că infinit înainte și înapoi. Așa că poți face asta cu o cameră obișnuită, cu o mică modificare pe [INAUDIBLE].. Și tot software-ul este online. Și acest lucru nu va face parte din nicio misiune, dar sunteți binevenit să o preluați ca o misiune sau ca un proiect. Poate reluăm luminile și începem. Care sunt alte lucruri pe care le puteți face? După cum am spus, în ceea ce privește caracteristicile dorite ale camerei, este culoarea intervalului dinamic și apoi câmpul luminos. În ceea ce privește culoarea, Ankit Mohan, care a fost un om de știință din grup, ca parte a tezei sale, a spus el, să ne gândim la culoare nu ca la imagini multispectrale, ci mai mult ca un sintetizator audio. Dacă aveți un sistem audio și ascultați muzică rock, sau jazz, sau pop sau country, vă reglați basul și înaltele în consecință. Sau poate aveți un profil astfel încât profilul de frecvență al sintetizatorului dvs. să fie potrivit pentru acel tip de muzică. Același lucru ar trebui să fie posibil și pentru fotografie . Dacă vă aflați în pădure, ați dori să vă uitați la cea mai mare parte a canalului verde pentru a vedea cum variația diferitelor frunze și toată natura este capturată cu o variație suficientă. Poate că nu îți pasă atât de mult de soiuri și de aspectul de acolo. Pe de altă parte, dacă ești lângă un ocean, poate că îți pasă mai mult de nuanțele de albastru și așa mai departe. Deci, ce mi-aș dori să fac... și fotografi fac asta tot timpul. Ei poartă cu ei un set de filtre. Și dacă se uită la lumina soarelui larg, pun un singur tip de filtru. Daca sunt pe o plaja mai pun un filtru si tot asa. Ceea ce aș dori să fac este să creez un buton chiar pe cameră, la fel ca un sintetizator audio, care spune: boost roșu, suprima verde și creați orice profil doriți. Deci, crearea acestei lungimi de undă programabilă ar fi extrem de puternică. Deci, proiectul lui Ankit a realizat practic acest lucru, ceea ce îl numește Agile Spectrum Imaging sau imagistica cu lungime de undă programabilă. Deci este un concept foarte puternic. Și sperăm că va apărea și în camere. Vă puteți imagina, acest lucru este foarte util pentru imagistica medicală. Când mergi la dentist și ei pun... cum se numește? Smalț? PUBLIC: Ce? RAMESH RASKAR: Să-ți schimbi culoarea dintelui? PUBLIC: Albirea? RAMESH RASKAR: Da, albirea. Ceea ce este numit? Smalț? PUBLIC: Bleach. RAMESH RASKAR: Înălbitor. PUBLIC: Da, da. RAMESH RASKAR: Și problema cu asta este în cabinetul dentistului, totul arată bine. Dar te duci în altă parte, și cineva face o fotografie flash, iar tipul cu dinții falși sau dinții albiți... arată extrem de diferit. Și asta este [INAUDIBIL] pentru că profilul lungimii de undă al blițului este foarte diferit de profilul luminilor tubulare. Deci, ceea ce medicii ar dori să facă este să vadă dinții vecini în toate condițiile de iluminare diferite, astfel încât să fie în continuare potriviți, de exemplu. Și asta este adevărat pentru... Ți-am arătat vizualizatorul de vene, unde vrei să vezi venele. Și în funcție de sângele oxigenat sau dezoxigenat, de hemoglobină, vă puteți da seama ce vene ar trebui folosite pentru a înțepa acele. Și din nou, asta poate fi privit în lungime de undă foarte îngustă. Deci ei nu... în acest caz, s-ar putea să știe. Dar în diferite aplicații, este posibil să nu știe, probabil, la ce lungime de undă ar trebui să te uiți. Și astfel, prin crearea acestei camere cu spectru programabil, puteți face, din nou, lucruri foarte interesante. Deci ne vom uita la asta. Și strălucirea este o altă problemă provocatoare, nu? Dacă aveți lumină puternică a soarelui, va fi strălucire. Uneori, este pentru efect artistic. Uneori, este doar enervant. Deci, puteți face o fotografie care are aceste inele concentrice din cauza strălucirii și fie să sporiți strălucirea, să creați niște efecte brânzoase, ca și cum ar fi o tranziție curcubeu aici de la albastru la roșu, sau să suprimați strălucirea - din nou, totul dintr-o singură fotografie ? Așadar, se pare că strălucirea poate fi capturată și folosind o cameră cu câmp luminos dacă aveți o lumină puternică ca aceasta - să vedem. Aceasta este o lumină strălucitoare. Și aceasta este o altă scenă. Lumina puternică va crea o fotografie clară. Dar din cauza interreflexiei, reflexia Fresnel din lentile creează, de asemenea, un efect de strălucire și contribuie la partea greșită a imaginii. Dar, din nou, ceea ce vom învăța în această clasă este că, făcând această eșantionare 4D, aveți control complet asupra strălucirii lentilelor și asupra anumitor tipuri de strălucire. Din nou, conceptul de câmp luminos pentru o matrice de camere -- Stanford și profesorul Mark Levoy sunt liderii mondiali în gândirea câmpurilor de lumină și a camerelor cu câmp luminos. Așa că au construit această matrice uimitoare de camere, electronicele pentru optica sa și așa mai departe. În acest caz, cred că vreo 51 de camere. Și apoi, pot face lucruri foarte interesante. Deci iată o scenă. Avem aproximativ 51 de camere care privesc scena din spatele tufișurilor și copacilor. Și așa arată. Concentrează-te pe acea parte. Și făcând reorientare, puteți vedea ce se află în spatele acelor copaci. Deci asta este doar... tu faci doar o reorientare virtuală în scenă. Și făcând asta, folosind o deschidere extrem de mare, poți vedea ce se află în spatele acestor tufișuri. Și este pură reorientare. Puteți face tehnici de calcul suplimentare pentru a recupera ceea ce se află în spatele copacilor. Deci, multe lucruri în camera computațională și în fotografie sunt într-adevăr despre magie. Cum te poți uita după un colț? Cum te poți uita în spatele copacilor? Cum poți privi în interiorul corpului și așa mai departe? Deci, de aceea îmi place acest domeniu. E ca niște trucuri de magie. Și din când în când, vii cu propriul tău truc de magie. Și alteori, oamenii îți arată un truc magic. Și oameni diferiți își dau seama de moduri diferite de a realiza aceeași magie. Și de aceea este un domeniu nou atât de vibrant. Modul în care funcționează diafragma sintetică este același mod: dacă țin un ac lângă ochi, nu băgând ochiul, ci chiar lângă ochi, atunci dacă mă concentrez pe ac, îl voi vedea. Dar dacă mă concentrez departe, atunci acest ac devine pur și simplu neclar. Și acest lucru nu oclude ceea ce este în spate. Și același concept este pentru deschiderea sintetică. Este folosit în radar. Este folosit în astronomie. Și tot ce aveți este o serie de receptoare, fie că este vorba de antene, fie că este vorba de microfoane, oricare ar fi acestea. În acest caz, camere-- o serie de camere. Și dacă aveți o diafragmă foarte, foarte mare, atunci un punct care ocludea un punct în spate ajunge să fie extrem de neclar. Deci nu afectează ceea ce se află în spatele asta. Dacă aveți o cameră cu deschidere foarte îngustă, nu puteți face asta. Dar poți face asta dacă ai o cameră cu deschidere foarte mare. Așa că am văzut asta. BINE. Deci, cum rămâne cu imagistica medicală, cum ar fi tomografia computerizată? Și trecem de la fotografie la tomografie. Dar ambele înregistrează. Unul este lumina de înregistrare. Celălalt înregistrează felii. Se pare că poți folosi principii foarte asemănătoare. Deci, ce se întâmplă în tomografie? Aveți o sursă de raze X care emite într-un mod omnidirecțional. Și aveți detectoare aici. Ar trebui să folosesc acest ecran, deoarece majoritatea oamenilor sunt... care ecran este mai bun pentru majoritatea oamenilor? Acela? Îmi pare rău. PUBLIC: Da, acela. RAMESH RASKAR: Bine. O voi folosi pe acesta. Îmi pare rău, Rod [râde] PUBLIC: E bine. RAMESH RASKAR: Acesta mi-a fost convenabil. Ai o sursă de raze X. Și aveți o serie de detectoare. Și practic, când îți bagi capul în interiorul acestei radiografii sub tomografie, aparat de scanare CAT, sursa de raze X se rotește. Și detectorul se mișcă în aceeași direcție, nu? Și permiteți-mi să vă arăt un videoclip despre cum funcționează de fapt. Și să începem de la început. În regulă. A fost deschis. Deci știi ce se întâmplă. Asta se întâmplă. Imaginează-ți capul în interiorul asta. [Râsete] Bine? Asta face aparatul de scanare CAT. Și în timp ce au pus un petic pe ochi și tu doar te odihnești înăuntru, practic este un motor. E total nebunesc, bine? Este total inutil. Suntem secolul 21. [Râsete] Suntem în secolul 21. Și construim aceste dispozitive care se bazează pe principii vechi de 40 de ani. Este de necrezut. Este total ridicol. Ceea ce trebuie să facem este să regândim complet modul în care se realizează această imagine și să folosim noi metode de calcul pentru a depăși aceste dispozitive total bizare, de milioane de dolari . Așa că acesta va fi unul dintre lucrurile pe care le vom învăța în această clasă - cum putem lua principii din procesarea semnalului, fotografie, imagistica științifică și să le amestecăm și să le potrivim pentru a construi lucruri noi. Ambele erau tomografii, o altă problemă foarte interesantă. Tot ce faci este să-ți creezi gaura de foraj. Ai pus explozibili aici. Și puneți senzori aici-- sau în acest caz, un [INAUDIBIL].. Și apoi, trageți aceste bombe, efectiv. Și în funcție de cât timp durează până când sunetul ajunge la acești detectoare, îți spune care este densitatea materialului, fie că este vorba de rocă, petrol sau alte tipuri de formațiuni. Și din asta, companiile petroliere își pot da seama ce petrol există și unde se află. Astfel, puteți crea o hartă 3D a ceea ce este înăuntru. Din nou, situații de mai multe miliarde de dolari. Microscopie, deconvoluție-- folosit și în fotografie, folosit și într-un computer cu viziune artificială, despre care vom vorbi despre asta. Imagini cu deschidere codificată-- o idee care a fost folosită în astronomie, deoarece astronomie-- te uiți la razele gamma și razele X. Și nu puteți construi lentile pentru ca acestea să formeze o imagine. Deci puteți fie să creați o imagine cu o gaură a cerului, fie să utilizați o deschidere acoperită, astfel încât să puteți colecta mai multă lumină. Acum, această idee -- vom afla despre asta -- poate fi folosită și pentru fotografie. Deci, ceea ce a făcut grupul nostru a fost, am folosit o deschidere codificată în obiectiv. În loc să avem o deschidere clară, asemănătoare unui disc, am pus o... abia o poți vedea. Îmi pare rău. Ar trebui să meargă pe aici. [Chicote] Ai o deschidere codificată, care arată ca o mască în formă de cuvinte încrucișate. Și din asta, puteți face o fotografie, din nou, care ar putea fi nefocalizată, și apoi să o reorientați digital. Deci aceasta este o fotografie cu autofocus. Aceasta este o fotografie focalizată. Și poți surprinde o strălucire în ochi sau chiar o șuviță de păr. Din nou, o schimbare foarte mică în cameră. Și inițial, vorbeam despre viziunea biologică de succes. Dacă te gândești la cea mai simplă viziune biologică posibilă, care este un detector cu un singur pixel într-o lume, nu? Doar un singur pixel. Se află în ape noroioase, mlăștinoase, în căutarea hranei sau menținându-și orientarea. Nu are nevoie de o cameră cu drepturi depline, are doar un detector de pixeli. Știe doar dacă există lumină, nu există lumină, dacă există lumină, cât de mult este asta. Deci știi când este întuneric, când este zi, când este noapte, în ce direcție este mai multă lumină, care este mai puțină lumină. Dar chiar și acel detector de un singur pixel are în față niște optice foarte interesante. Are acest pigment de ecranare foarte intrigant în față. Poate cineva să ghicească care este motivul? Cum beneficiază să ai un pigment aleatoriu care blochează lumina din direcții diferite? PUBLIC: Pentru orientare? RAMESH RASKAR: Pentru orientare. Deci, dacă acest vierme vrea să mențină o... dacă există o sursă de lumină și dacă senzorul a fost emisferic, atunci dacă acest vierme se mișcă puțin, nu vor fi prea multe schimbări. Dar dacă au un pigment de frecvență foarte înaltă, dacă acest vierme se mișcă chiar și puțin, ar fi o schimbare mare în iluminare, nu? Parcă ai o mască de foarte înaltă frecvență și te uiți la soare. Pe măsură ce te miști, lumina urcă și coboară. Deci viermele știe că atâta timp cât menține același nivel de lumină, își menține orientarea. Asta e tot ce trebuie să facă. PUBLIC: Mărește și intervalul dinamic efectiv al senzorului său? RAMESH RASKAR: Este posibil. Publicul: Deoarece o densitate neutră filtrează de-a lungul anumitor direcții și... RAMESH RASKAR: Este posibil. Este posibil. Poate că atunci când se uită într-o direcție, este prea luminos. Deci încearcă să blocheze asta. Nu știm. Și dacă citiți această carte, există o carte frumoasă numită Animal Eyes de Land și Nilsson. Avem o clasă întreagă despre ochii animalelor. Cred că este clasa a șaptea , dacă îmi amintesc bine. Și vom discuta despre toate tipurile diferite de ochi de animale și de ce o fac, fie că este vorba despre vulturi sau creaturi terestre, creaturi subacvatice, viermi și toate astea. Și sincer, majoritatea acestor sisteme vizuale biologice se bazează pe ipoteze. Și sunt verificate într- un echipament foarte, foarte științific, dar în același timp, foarte primitiv. Și unul dintre proiectele grozave ar fi să luați câțiva dintre acești viermi și să îi puneți într-o configurație de iluminare controlată pentru a verifica cu adevărat dacă așa funcționează. Ar fi foarte distractiv. Voi oferi viermii. Nu vă faceți griji. [Râsete] Deci diafragma pătrată este oarecum similară. Permiteți-mi să trec peste această parte, pentru că am vorbit puțin despre cum sunt aceste măști. Bine, codare front de undă. Acesta este un concept care a fost inventat de Cathey și Dowski în 1995 pentru modelarea luminii sau modelarea frontului de undă al luminii care intră. Deci, aveți o configurație tradițională de imagine. Ai un obiect. Ai un senzor. Ai niște lentile. Ceea ce au propus ei este plasarea unui strat optic suplimentar între ele, care nu este o lentilă sau o prismă, dar are grosime variabilă sau indice de refracție variabil, OK? Cel mai simplu mod de a te gândi la asta este că lumina din partea superioară ar putea călători cu o singură viteză. Amintiți-vă, dacă aveți un pahar cu grosime diferită sau indice de refracție diferit , lumina va încetini. Și când coboară pe cealaltă parte în aer, se poate întoarce la un picior pe? PUBLIC: Nanosecundă. RAMESH RASKAR: Nanosecundă, foarte bine. Dar înainte de asta, va călători cu puțin mai puțin de un picior pe nanosecundă, nu? Dacă este 1,5, va călători 1 cu 1,5, 1/2 picior pe nanosecundă. Deci, oricum, prin adăugarea de sticlă de grosime diferită sau indice de refracție diferit , fiecare dintre aceste raze va fi ușor defazată una cu cealaltă. Deci, atunci când se combină pe detector, vor interfera fie constructiv, fie distructiv. Și din asta, vei forma imagini noi, nu? Deci așa au explicat ei. Și dacă citești ziarele, din păcate, sunt foarte greu de înțeles. Și ceea ce veți realiza este că, în loc să trecem la matematică pentru optică și așa mai departe, în această clasă, vom folosi diagrame cu raze foarte simple și vom înțelege cum funcționează acest lucru într-o manieră foarte vizuală. BINE. Deci, practic, ceea ce face camera de codare a frontului de undă este, într-o cameră tradițională, razele converg către un singur punct. Și obțineți o imagine clar focalizată. Deci, dacă senzorul intră și nu se focalizează, obțineți o neclaritate mare. În cazul camerei cu codificare în front de undă , de fapt, nu obțineți niciodată un punct ascuțit. Ceea ce obții este, practic, gândește-te să iei o mulțime de paie și toate acestea convergând într-un singur punct, să le iei și apoi să le răsuciți astfel încât să iasă din nou ca paiele. Dar între ele, există o parte în care toate sunt... secțiunea transversală a acestora este aproximativ... OK? Și făcând asta, se dovedește, pentru o gamă de adâncime suficient de mare , defocalizarea este echivalentă. Și vom studia acest lucru în detaliu și cum funcționează acest lucru și cum puteți utiliza aceleași tehnici pentru noi tipuri de fotografie și imagini științifice. Acum, acesta este și un subiect foarte fierbinte în ochelarii de vedere pe timp de noapte, apropo, unde vor să poarte ochelari de vedere pe timp de noapte, care atunci când privești departe, este foarte clar. Și din nou, ochelarii de vedere pe timp de noapte au deschideri foarte mari. Iar când te uiți mai atent, dacă vrei să citești o hartă, de exemplu, ar trebui să fie în continuare focalizată. Deci, cum creezi un dispozitiv pasiv care se poate concentra pe infinit și foarte aproape în același timp? Și au folosit și codarea frontului de undă. Wow, abia văd asta. În regulă. Acesta este un proiect numit „Decoding Depth via Defocus Blur”. Acesta este din Colorado de la Rafael [INAUDIBIL] și [INAUDIBIL]. Și acest lucru este foarte contraintuitiv. Dacă iei un punct de lumină... și mi-aș dori să pot face acest experiment. O pot face aici, dar va dura ceva timp. Dacă luați o lumină punctuală și formați o imagine cu acest tip anume... PUBLIC: Vrei o lanternă mică? RAMESH RASKAR: Da. Mulțumiri. Deci, după cum puteți vedea aici, acesta este planul imaginii, nu? Pe măsură ce îl mut înăuntru și în afara, forma lui se va schimba - în lumina reflectoarelor. Acum, imaginați-vă... și asta se întâmplă în partea de jos a imaginii. Pe măsură ce vă concentrați bine, obțineți un loc mic. Pe măsură ce scapi de focalizare, ai un disc mai mare. Dar tipul de optică proiectat de acest grup, când ești concentrat, vezi două puncte care sunt în stânga și în dreapta unul față de celălalt. Iar când ieși din focalizare, aceste două puncte se rotesc într-un sens sau altul. Dacă sunteți mai aproape decât celălalt focus, acesta se rotește într-un fel, dacă este departe de celălalt focus, îl rotește pe celălalt. Deci, această funcție de răspândire a punctului de rotație este un concept foarte puternic. Și chiar acum, îl folosesc în microscopie pentru a rezolva mărgele fluorescente la precizie nanometrică. Dar ar putea fi folosit și în fotografie. Nimeni nu știe cum să o facă. Acesta ar putea fi unul dintre proiectele dvs. de cercetare. Și putem obține unele dintre aceste prototipuri de la colegii noștri. Deci este foarte distractiv să te joci. Un alt lucru interesant la care ne vom uita este relația dintre optica Fourier și optica cu raze. Acum, în liceu, am fost învățați, există dualitate de particule și unde și multă confuzie. Și în liceu, trebuie să răspundem la întrebări despre ce fenomene pot fi arătate în mod particule și ce poate fi arătat în utilizarea modelului de propagare a undelor. Și unul dintre răspunsurile standard a fost, oh, dacă există interferență sau difracție, atunci poate fi explicat doar cu optica Fourier, nu cu natura particulelor luminii. E prea simplist. Se dovedește că puteți arăta cu adevărat că există duale unul altuia și puteți explica difracția și interferența și toate aceste mecanisme folosind pur și simplu propagarea razelor. Și așa cu Sadek-- numele lui nu este aici-- Sadek O și Josh [ INAUDIBIL],, acesta este-- pentru inginerie mecanică, avem un proiect în care am creat un așa-numit câmp de viață augmentat , care poate susține de fapt toate efectele opticii undei, de asemenea. Câmpul de lumină tradițional pe care tocmai l-am descris mai devreme, unde puteți captura cu o serie de camere și așa mai departe, puteți face această reprezentare a unghiului de poziție și reprezentarea în patru dimensiuni . Și la acel moment, am susținut că, dacă puteți captura această funcție de intrare 4D, ați capturat tot -- tot -- geometric care a trecut prin obiectiv. Deci este o reprezentare completă a luminii. Și unii oameni ar spune, wow. Dar atunci, nu captezi faza. Și nu captezi toate celelalte lucruri. Dar se dovedește că folosind aceeași configurație exactă, puteți captura și faza. Reprezentarea Fourier include de fapt amplitudinea și faza frontului de undă de intrare. Și așa, pur și simplu, folosind o terminologie matematică diferită, am mărit această prezentare Fourier ușoară pentru a reprezenta, de asemenea, pentru a modela și efectele frontului de undă. Așa că vom studia asta puțin mai târziu. Dar fotografiile de genul acesta? Dacă te uiți la acest încălzitor, creează aceste fluxuri frumoase de aer cald. Și, de asemenea, această lampă de la nava lampă. Din nou, încercăm să vizualizăm ceea ce nu poate fi văzut cu ochiul liber. Așadar, aceasta este cunoscută sub numele de fotografia Schlieren, care, din nou, se uită la schimbări foarte minore în calea optică. În acest caz, din cauza căldurii, într-o zi fierbinte pe o autostradă, vezi mirajul. Dar asta se întâmplă la temperaturi extrem de ridicate. Acum, chiar și la temperaturi nu atât de ridicate , puteți captura acest miraj și puteți crea o focalizare foarte frumoasă. Deci aceasta este fotografia studenților. Și vom studia asta. Polarizarea este frumoasa. Este posibil să fi folosit polarizarea pentru a fotografia cerul sau pe apă. Dar fotografia subacvatică poate fi îmbunătățită dramatic prin polarizare. Deci vom studia asta. Vom studia, de asemenea, niște tipuri noi de senzori, nu doar senzori bidimensionali, ci și acești alți senzori - o cameră cu un singur pixel, detecție comprimată. Câți dintre voi au detecție hardware comprimată? Dreapta? Există mult hype despre asta. Și din nou, dacă citești ziarele, uneori, este foarte dificil să urmărești exact ce încearcă să spună și cum se face. Dar, după cum veți vedea în această clasă, veți obține întreaga idee de detecție comprimată în mai puțin de cinci minute. Și vom trece prin ceea ce funcționează, ceea ce nu funcționează. Și, de fapt, Rohit lucrează la un proiect care, sperăm, va arăta că detecția comprimată nu este de fapt o idee atât de grozavă pentru imagistica. Dar este bun pentru altceva. Și vom studia ce este acel „altceva” atunci când proiectul lui și al lui Rashad ajunge la un stadiu matur. Deci idei foarte interesante acolo. Așa că ideea inițială a fost de a crea o cameră cu un singur pixel. În crearea unei camere megapixeli, aveți un singur pixel care va prelua o combinație codificată a luminii primite. Aceasta poate fi o scenă. Se concentrează asupra întregii matrice de oglinzi reflectorizante. Și de obicei vei răsturna această oglindă. Deci lumina pe care o colectați va fi un produs al scenei cu acest vector. Și dacă schimbi aceste flip-uri, primești o altă sumă. Veți face o sumă liniară a luminii primite și veți prezice un milion de astfel de măsurători. Puteți reconstrui o fotografie de megapixeli. Dar afirmația acestui grup de la Rice este că nu trebuie să luați de fapt un milion de citiri. S-ar putea să scapi cu doar 10.000 sau 100.000 de citiri. Astfel, puteți face o fotografie megapixeli cu posibil doar 10.000 de pixeli ai unei camere. Și vom analiza asta și ce parte a afirmației este adevărată și ce parte a afirmației necesită mai multă analiză. Și veți vedea, de asemenea, că acest lucru poate fi folosit în multe alte situații. Deci, de exemplu, grupul meu a construit o cameră stroboscopică care poate fi folosită pentru laringoscopie, unde într-un laringoscop, folosiți stroboscopul de foarte mare viteză pentru a încetini pentru a vizualiza mișcarea forței vocale. Dar tocmai am venit cu o nouă metodă care este dramatic de simplă și folosește dramatic mai puțină lumină. Așa că nu îți arzi gâtul când doctorul se uită la forța ta vocală. Și asta se bazează pe detectarea comprimată. Așa că lasă-mă să mă opresc aici, pentru că suntem aproape la 4:30. Și ne vom întoarce. Vom reveni și ne vom uita la câteva dintre aceste alte proiecte. Așa că acestea sunt genul de sarcini de proiect pe care le veți vedea-- reiluminând, prima care este deja descrisă. Fotografie duală, unde poți citi cartea adversarului tău. Banc optic virtual, captarea câmpului de lumină, imagistica de mare viteză, imagistica termică, imagistica multispectrală, imagistica de gamă și așa mai departe. Și apoi, un proiect final complet deschis, pe care îl poți alege în orice domeniu. Aceasta este prima misiune. Instrucțiunile vor apărea pe pagina web Stellar. Vă rugăm să vă asigurați că aveți foaia de înscriere. S-a dus în jur? OK, asigurați-vă că numele și e-mailul dvs. sunt pe foaia de înscriere. Dacă nu primiți un e-mail de la mine până luni dimineață, vă rugăm să-mi trimiteți un e-mail, ceea ce înseamnă că nu am putut citi corect adresa dvs. de e-mail. Deci da, acestea vor fi câteva dintre sarcinile pe care le veți face. Și acesta este programat pe 25 septembrie. Și fiecare clasă începând de la următoarea clasă, vom avea un voluntar care ia notițe pentru clasă și le postează , pentru că o mare parte din discuția noastră va fi pe tablă și așa mai departe. Voi trimite instrucțiuni specifice. Deci avem nevoie de un voluntar pentru săptămâna viitoare. Vrei să faci asta? PUBLIC: Da. RAMESH RASKAR: Cum te cheamă? PUBLIC: Sam. RAMESH RASKAR: Sam. Bine, Sam se va oferi voluntar săptămâna viitoare. Și vom decide cine va face asta încă o săptămână. [CONVERSAȚII SECUNDARE] PUBLIC: [INAUDIBIL]? RAMESH RASKAR: Îmi pare rău? PUBLIC: Aveți un [INAUDIBLE] din [INAUDIBLE]? RAMESH RASKAR: Probabil că nu, pentru că majoritatea oamenilor vor fi-- mulți oameni, nu majoritatea-- dar mulți oameni vor asculta. Deci, din câte știu eu, nu va depăși limita. Dar dacă există, există un capac. Nu cred că va ajunge în campus. Există un plafon de autorități. Eu nu [INAUDIBIL]. [CONVERSAȚII SECUNDARE] Și vom vedea câteva dintre aceste demonstrații data viitoare.