Următorul conținut este furnizat sub o licență Creative Commons. Sprijinul dumneavoastră va ajuta MIT OpenCourseWare să continue să ofere gratuit resurse educaționale de înaltă calitate. Pentru a face o donație sau pentru a vizualiza materiale suplimentare din sute de cursuri MIT, vizitați MIT OpenCourseWare la ocw.mit.edu. RAMESH RASKAR: Un fel de rezumat al multor lucruri despre care am vorbit. Deci, dacă vă amintiți la început, a spus el, puteți începe doar cu o groapă. Și apoi se cam dezvoltă cu lentila. Dar chiar și de aici, puteți coborî două părți diferite, fie ochi compuși, în care fiecare senzor sau set de senzori au propria optică, cum ar fi un fel de paie sau aceeași lentilă -- îmi pare rău, același pixel ar putea obține o imagine de la mai multe lentile, ca aici, nu? Deci asta este suprapunerea. Deci aceasta este o poziție și aceasta este suprapunere. Și acel concept de poziție sau suprapunere se aplică tuturor celor trei tipuri, tehnici bazate pe umbre sau refracție sau reflexie. Așa că am văzut asta ultima dată și vom vedea cum... avem deja câteva proiecte care sunt inspirate de viziunea biologică. Știi, Matt încearcă puiul. Și cred că va fi... [Râsete] Va fi foarte popular. Și eu cred că Santiago... unde este Santiago? Da, triunghiul lui... pistonul, cam... deci niște idei foarte grozave. Așa că mă bucur că multe dintre aceste concepte se reunesc în proiectele finale. Așa că astăzi, vom vorbi despre imagistica codificată. Și conceptul de aici este foarte simplu, bine? Așa că voi începe cu acesta, și anume că ai un taxi care curge foarte repede. Și doriți să faceți o fotografie în așa fel încât să puteți recupera detaliile clare ulterior în software. Deci, este o formă de co-design între modul în care captezi imaginea și modul în care procesezi imaginea. Într-o cameră de film obișnuită, sau chiar este o cameră digitală, faci fotografia și, practic, acesta este sfârșitul poveștii. Și aici, încerci să faci ceva inteligent cu privire la modul în care este făcută fotografia. Deci, desigur, există și alte oportunități de a captura acest lucru. Puteți fie să faceți o fotografie cu expunere foarte scurtă. Dar asta va fi foarte întunecat. Dacă luați un ISO ridicat, puteți recupera unele informații, dar totuși destul de întunecate. Sau puteți face doar o fotografie cu expunere lungă ținând obturatorul deschis. Dar apoi veți obține o fotografie neclară, care este bine expusă, dar multe dintre detaliile de înaltă frecvență se pierd. Și apoi, dacă încercați să aplicați o oarecare deblurring, veți obține un rezultat care arată ca acesta, care este destul de rezonabil. Puteți vedea numărul unu la asta, cred, Thomas Train. Dar ai o mulțime de artefacte de banding și multă repetiție și zgomot aici. PUBLIC: Deci, ce sunt acele lentile? RAMESH RASKAR: Acest obiectiv? Deci, când încercați să recuperați aceste informații, începeți să obțineți aceste artefacte de banding. Și vom vedea în următorul slide, de ce se întâmplă asta. Deci, ceea ce se întâmplă aici este că, dacă aveți o fotografie clară, dacă aveți o fotografie neclară, o puteți reprezenta practic ca o fotografie clară, unde există o convoluție a fotografiei clare cu un fel de filtru de convoluție, OK ? Deci, dacă te uiți la... unde este punctul meu laser? Dacă te uiți la asta-- vârful literei unu aici, a fost estompat de o anumită cantitate de pixeli în direcția orizontală. Și dacă țineți obturatorul deschis și mai mult timp, acesta se va estompa corespunzător mai mult. Deci aveți practic o convoluție 1D care convertește această imagine în această imagine. Și, desigur, scopul este, de obicei, că aceasta este o fotografie pe care o faci și pe care ai dori să inversezi și să obții această fotografie. Deci cineva ar spune, OK, acest convertit cu asta îmi dă asta. Deci, doar [INAUDIBLE] folosind același filtru și poate îl vei primi înapoi. Asta nu funcționează pentru că ceva numit diviziune era 0. Și modul de a gândi la asta este în domeniul Fourier, deoarece convoluția în domeniul imaginii, domeniul nostru principal, este înmulțirea în Fourier - doar transformarea Fourier standard. Deci, dacă luați transformata Fourier a acesteia și o înmulțiți cu transformata Fourier a acesteia, veți obține transformata Fourier a acesteia, OK? Deci, să presupunem că facem această fotografie. Găsiți transformata Fourier aici. Înmulțiți asta cu transformata Fourier a unei funcții cutie, care este o sincronizare. Deci ceea ce înseamnă este că voi lua frecvența cea mai joasă, înmulțiți cu acea valoare. Voi lua următoarea frecvență, o să o înmulțesc cu această valoare. Următoarea frecvență, înmulțiți cu această valoare și așa mai departe, nu? Vom înmulți doar fiecare dintre frecvențele din imagine cu amplitudinea transformării Fourier a acesteia. Și puteți vedea deja că frecvențele inferioare vor fi păstrate, dar frecvențele mai mari vor fi foarte atenuate. Dar se întâmplă și ceva ciudat. Chiar și unele dintre frecvențele inferioare sunt de fapt setate la 0, ceea ce înseamnă că în această fotografie, aceste frecvențe lipsesc cu totul. Au fost suprimate. Deci nu este un filtru trece-jos tradițional. Este un filtru trece jos în care unele dintre frecvențele și mai joase sunt și ele anulate, ceea ce înseamnă că dacă am încercat să recuperez din această fotografie, această fotografie, nu există nicio șansă pentru că deja m-am atenuat și am pierdut toate acele frecvențe. Deci, în momentul în care faci fotografia, daunele sunt făcute. Și nu puteți face nimic pentru a recupera acele frecvențe, deoarece în domeniul Fourier, tot ce trebuie să faceți este să luați transformata Fourier a acesteia și să împărțiți la transformata Fourier a acesteia, care este aceasta. Și îți va da [INAUDIBIL], OK? Dar transformata Fourier are niște zerouri, așa că nu puteți împărți acele frecvențe la 0 și recuperați o imagine. Deci, vinovat aici este într-adevăr această funcție a casetei, care este echivalentă cu -- când eliberați declanșatorul, deschideți-- eliberați butonul declanșator -- deschiderea obturatorului și menținerea acestuia deschis pe durata expunerii și închiderea acestuia. Dar acesta este cel mai firesc lucru de făcut. Dar se pare că nu este cel mai eficient. Și dacă schimbi asta? Dacă ai schimba asta? Și în loc să țineți obturatorul deschis pe toată durata, îl deschideți și îl închideți într-o secvență binară atent aleasă. Deci de ceva timp, oblonul a fost deschis, apoi oblonul a fost închis. E deschis de ceva timp. Din nou, este închis. Aici, este închis de ceva timp, deschis pentru o perioadă scurtă de timp. Și așa mai departe. Așa că, la sfârșit, veți primi o singură fotografie. Dar acum s- a întâmplat ceva magic pentru că în primul rând, dacă te uiți la acest număr unu, vei vedea că nu mai este la fel ca înainte. Are... se pare că are aceste replici. Și motivul pentru care este mai bine este că luați transformata Fourier a acesteia. Este de fapt plat, ceea ce înseamnă că păstrează toate frecvențele din imagine. Deci, putem fi siguri că, în această fotografie, toate frecvențele spațiale - frecvențe joase, frecvențe înalte - toate sunt păstrate. Desigur, sunt atenuate. Nu este la fel de mare ca... nu este 1.0. Este redus. Poate este 0,1 sau cam asa ceva. Deci toate sunt atenuate, dar mai există o speranță de a recupera această fotografie din asta pentru că, la numitor, nu vom fi văzut. Deci, desigur, dacă încercați să implementați acest lucru mecanic, în cazul în care deschideți obturatorul și apoi încercați să închideți obturatorul mecanic, asta va fi problematic. Deci, ceea ce am făcut a fost că am folosit un LCD -- de fapt, un LCD feroelectric -- care devine opac și transparent. Și în vechile ecrane de realitate virtuală sau chiar în unele dintre jocuri, ai acești ochelari de vedere care pâlpâie la 60 de herți pentru timp, secvențial, astfel încât să poți vedea ochiul stâng față de, cum ar fi... pentru că sunt aceiași ochelari. Și un LCD tradițional, din păcate, nu are un contrast foarte mare. Și Simon descoperă asta încă o dată. Dar LCD-urile feroelectrice au un contrast de 1.000 la 1. Deci, atunci când este opac, cantitatea de lumină care trece prin, în comparație cu când este transparentă și cantitatea de lumină prin care trece, raportul este 1 din 2.000. Deci, când opriți acest LCD feroelectric, este cu adevărat, foarte opac. Da. PUBLIC: N-ai putea să faci un videoclip de mare viteză sau pur și simplu un videoclip [INAUDIBIL] și să-ți scoți cadrele? RAMESH RASKAR: Deci întrebarea a fost, de ce să nu capturați pur și simplu videoclipuri de mare viteză și să luați toate aceste cadre, corect, și apoi să le puneți împreună? Problema este că fiecare cadru va fi extrem de întunecat. Deci, practic, adunați mult zgomot. Fiecare cadru este dominat de zgomot. PUBLIC: Da, da. RAMESH RASKAR: Deci, când obturatorul este transparent, acesta trece. Când obturatorul este opac, lumina nu trece. Și asta este întrebarea ta 1010. Deci, din nou, ideea este foarte simplă. În loc să țină obturatorul deschis pe toată durata și să obții o fotografie bine expusă, obturatorul este deschis doar jumătate din timp. PUBLIC: Există o problemă acolo. Suportul pentru reprezentarea domeniului Fourier al acelei funcții pe care o descrieți acolo este infinit, nu? Deci trunchiați asta pentru a-- RAMESH RASKAR: Nu este infinit pentru că mai aveți o lățime. PUBLIC: Corect, dar aveți frecvențe înalte infinite acolo din cauza condițiilor ascuțite, nu? RAMESH RASKAR: Da, te poți gândi... Adică, poți să te gândești că acesta merge la infinit. Dar aproape că a mai rămas energie. Deci, deși merge la infinit, nu mai rămâne multă energie. PUBLIC: Dar când ajungi să inversezi procesul, de aceea încă nu primești imaginile perfecte pentru... RAMESH RASKAR: În acest caz. PUBLIC: --și în acest caz. Încă ai pierdut o frecvență înaltă, nu? RAMESH RASKAR: Deci nu ați văzut încă rezultatele pentru asta. PUBLIC: Tu arăți textul. RAMESH RASKAR: Da. Deci, așa arată în acest caz. Dar este un experiment foarte controlat într-un laborator. Deci iei jucăria și o muți într-un mod foarte controlat. Și asta este ceea ce obții într-o cameră tradițională. Și asta este ceea ce obții în obturatorul flutter. Deci acestea sunt fotografii reale. Și, da, ai dreptate. Adică, mai primești ceva zgomot. Și de fapt, dacă poți asocia asta cu adevărul de bază, vei vedea că este în regulă, dar nu este perfect. PUBLIC: Da, deci să presupunem că ai luat 0-urile din [INAUDIBIL], nu? Și tocmai l-ați înlocuit cu ceva care este destul de aproape de 0, dar nu de 0. Și dacă inversați procesul... RAMESH RASKAR: De aici, asta este ceea ce obțineți. Publicul: Asta este... OK... RAMESH RASKAR: Există o învățare profundă despre asta. PUBLIC: OK. RAMESH RASKAR: Da, și aceasta este pierderea acestor frecvențe, de asemenea, apare ca aceste artefacte la frecvențe regulate, la intervale regulate. Deci, din nou, acesta-- acesta nu merge la infinit până la capăt. [INAUDIBIL] Se taie și corespunde lățimii. Lățimea acestui post era foarte mică decât ieri erau foarte departe. BINE? Da? PUBLIC: Filtrul depinde de distanță? RAMESH RASKAR: Filtrele depind de mai mulți factori. Deci, dacă jucăria ta se mișcă sau taxiul tău se mișcă foarte lent, atunci nu este nevoie să-- în acest caz, secvența a fost de aproximativ 51-- de fapt, 52 vector lung. Deci, să presupunem că timpul de expunere este de aproximativ 104 milisecunde. Este deschis timp de două milisecunde. Aici, este deschis timp de patru milisecunde, oprit pentru două milisecunde, patru milisecunde, două. Poate că este oprit timp de opt milisecunde, două și așa mai departe. PUBLIC: Da, dar... RAMESH RASKAR: Dar cu o lungime a vectorului de 52. PUBLIC: Acest filtru este în timp? RAMESH RASKAR: În timp. PUBLIC: Și te gândești la filtrul din spațiu? RAMESH RASKAR: Corespunde automat filtrului în spațiu. PUBLIC: Da, deci [INAUDIBIL] depinde de distanță, dacă... RAMESH RASKAR: Da, viteza, vrei să spui. PUBLIC: --a obiectelor îndepărtate. RAMESH RASKAR: Da. Deci, estomparea dvs. reală din imagine poate să nu fie exact 52 de pixeli. Poate fi de 10 pixeli. Ar putea fi de 100 de pixeli. Deci vectorul tău 52 se va întinde sau se va micșora în funcție de cât de repede se mișcă obiectul. Și spui că depinde și de cât de departe este obiectul în spațiu, deoarece obiectele se mișcă mai rapid. Și mai ales trebuie să vă gândiți la mișcarea spațiului imaginii, deoarece viteza în lumea reală și - distanța pe care o obțin -- o împărțiți pentru a normaliza la distanță. Deci, trebuie să vă faceți griji doar cu privire la distanța spațiului de imagine. Da. Daţi-i drumul. PUBLIC: Ați putea obține un efect similar dacă ați avea, cum ar fi, în loc de un obturator cu glugă, ar putea avea intermitent? RAMESH RASKAR: Da, exact. Deci, dacă ești într-o cameră întunecată, poți doar... dacă ești într-o cameră întunecată, atunci poți doar să aprinzi lumina stroboscopică, în loc să deschizi și să închizi obturatorul. PUBLIC: Cred că am putea avea o demonstrație mobilă a acelei scene. RAMESH RASKAR: [râde] Ei bine, nu știu cât de repede poți... PUBLIC: Ei bine, problema este că nu poți [INAUDIBIL].. RAMESH RASKAR: Da. Deci, care sunt unele... haideți să ne uităm la câteva imagini, de fapt. Deci iată un demo. Cred că ți-am mai arătat-o. Acesta este pe Broadway. Aceste femei încearcă să descopere marca mașinii și numărul plăcuței de înmatriculare . Care este numărul de înmatriculare? PUBLIC: 458. [VOCI INTERPUSE] PUBLIC: 468. PUBLIC: Ceva. RAMESH RASKAR: Și compania? PUBLIC: [? Încă o dată. ?] RAMESH RASKAR: Da. Deci obțineți un rezultat rezonabil. Dar revenind, care sunt limitările acestei metode? Da. PUBLIC: Trebuie să știi mișcarea sau direcția mișcării. RAMESH RASKAR: Nu, trebuie să cunoașteți funcția de răspândire a punctului, cum este creată estomparea. Dacă mașina se mișcă de la stânga la dreapta față de la dreapta la stânga, trebuie să știi că, deoarece modul în care funcția de distribuire a punctelor va fi impusă scenei va fi diferit. PUBLIC: Încă inspectați iluminatul. RAMESH RASKAR: Ai doar lumina... foarte important, nu? Deci această imagine este aproximativ la jumătate mai strălucitoare decât aceasta. Ce altceva? PUBLIC: Bănuiesc că ar trebui să existe o accelerație puțin mai mică a... toți ar trebui să se miște la fel... RAMESH RASKAR: Exact. Deci orice se mișcă trebuie să se miște cu o viteză constantă. Dacă am făcut 100 de milisecunde, crește viteză, atunci presupunerea dvs. că vectorul de 52 de lungime se va mapa la o versiune întinsă sau micșorată a lui 52 nu este validă. Unele părți vor merge mai repede și mai încet. Ce altceva? PUBLIC: [INAUDIBIL] RAMESH RASKAR: Îmi pare rău? PUBLIC: Dacă obiectul se mișcă în spațiu, [INAUDIBIL] distanță și apoi [INAUDIBIL].. RAMESH RASKAR: Da, deci tu... deci, dacă se mișcă într-o perspectivă, de exemplu, nu este atât de rău pentru că poți roti imagine. Și din nou, va deveni... deci nu e accelerație. Este încă o viteză constantă. Este o accelerație în măsurare, dar în lumea reală, este încă o viteză constantă. Deci te poți juca cu acele trucuri. Puteți fie să mergeți în spațiul obiectului, fie să vă întoarceți în spațiul imaginii pentru a vă asigura că nu există accelerație. Totul este liniar. PUBLIC: Deci, mai funcționează această tehnică dacă vă mișcați în mai multe direcții simultan pe toată durata? RAMESH RASKAR: Deci, dacă aveți mai multe mașini, de exemplu, și toate sunt independente, atunci este în regulă pentru că pot spune că această mașină merge în acest sens. Mașina aia merge așa. Atâta timp cât se mișcă în linie dreaptă cu o viteză constantă, ești în regulă. Dar dacă cele două mașini se suprapun, ce se întâmplă? Modelul nostru eșuează din nou. Dacă două mașini se suprapun parțial în timpul expunerii, este posibil, dar este mai dificil pentru că nu știi exact cât de repede se mișcă cele două mașini. Da. PUBLIC: Ne pare rău, ar putea fi nevoie să știm cât de repede se mișcă mașina atunci când configurați obturatorul? RAMESH RASKAR: Nu, când ești... OK, deci când configurați obturatorul, dacă mașina se mișcă foarte lent și nu vă așteptați să se estompeze cu 52 de pixeli și vă așteptați să se estompeze cu doar 10 pixeli, apoi folosirea unei secvențe de 52 este exagerată. Poate ar trebui să folosești o nouă secvență care are doar aproximativ 10 sau 11 lungime, nu? Deci este ca... PUBLIC: OK, dar asta doar ca să poți obține mai multă lumină. RAMESH RASKAR: Nu, asta pentru a fi cel mai optim pentru acea setare, nu? Deci este ca și cum ați stabili un timp de expunere. Când fac o fotografie, camera decide automat care ar trebui să fie timpul de expunere. În mod similar, ar trebui să vă uitați la viteza cu care se mișcă lucrurile, poate cu un Doppler cu ultrasunete sau orice altceva. Și spune că lucrurile nu se mișcă deloc. Deci nu ar trebui să folosesc deloc obturatorul flutter. Până când se mișcă foarte încet, poate ar trebui să folosesc o secvență lungă de 10. Dacă lucrurile se mișcă mult, poate ar trebui să folosesc o secvență de 52. Și pentru a vă răspunde la cealaltă întrebare, unde trebuie să faceți este când rezolvăm sistemul, trebuie să știm cât de lungă este neclaritatea, ceea ce este adevărat și în alte cazuri . Trebuie să știi cât de mult este neclaritatea. Un alt dezavantaj major este să presupunem că vreau să iau această sticlă. Și dacă o rotesc și o estompez în mișcare, nu va funcționa. Pentru orice punct din față în care îl privești, va funcționa. Dar punctul care era în spate, că toate cele 52 de secvențe -- poate pentru primele 10, a fost oclusă. Iar restul de 42, s-a văzut. Trebuie să știi exact când acel punct a devenit vizibil în timpul acelei ferestre 52. Deci, în general, tehnica funcționează bine atunci când lucrurile se mișcă natural. Dar dacă cineva dorește să facă acest tip de experiment sau să mute lucrurile în spatele unui ocluder și să se mute, acestea sunt scenarii foarte provocatoare. PUBLIC: Puteți combina atât măștile orizontale, cât și cele verticale [INAUDIBILE]? RAMESH RASKAR: Vertical, orizontal este bine. Poți... nu contează. S- ar putea să se miște pe verticală. Practic, funcția de răspândire a punctelor - funcția de estompare va fi mai degrabă verticală decât orizontală. PUBLIC: Da, nu, dar dacă aveți o mișcare combinată, verticală și orizontală, trebuie să codificați asta cu o mască? RAMESH RASKAR: Nu, nu, nu. Deci, să presupunem că cele două mașini-- una se mișcă-- PUBLIC: [INAUDIBIL] în diagonală față de [? engleză?] fel, nu? RAMESH RASKAR: În regulă. Atâta timp cât este într-o singură direcție, este în regulă. Așa că lasă-mă să-l desenez. Publicul: Dar dacă faci o viraj strânsă, treci prin, sau... RAMESH RASKAR: Da, exact. Deci trebuie să presupunem că punctul... deci presupunerea de bază este că, dacă luați orice punct din scenă, acesta se mișcă în linie dreaptă, să spunem. Și dacă aveți un obiect și fiecare punct al acelui obiect se mișcă în linie dreaptă, OK. Nu contează în ce direcție și ce viteză. PUBLIC: Deci acest lucru nu ajută deloc la stabilizarea imaginii dacă cineva ține camera. RAMESH RASKAR: De asemenea, ajută. Deci, dacă ai... să presupunem că ai o formă de cameră. Și fac o poză unui LED și creează o curbă așa, din cauza acestui tip de formă. Dacă știu curba aceea, poate pot pune un giroscop. Apoi pot, din nou, să-mi dau seama. Deci problema aici este într-adevăr funcția de răspândire a punctelor sau funcția neclară este foarte critică. Și asta vrem să studiem aproximativ jumătate din clasă. Și conceptul este foarte, foarte, foarte interesant pentru că lumina este liniară. Deci, în cele din urmă, este foarte liniar. Ceea ce se întâmplă cu un punct se întâmplă cu restul obiectului. Deci, dacă am o mașină care se mișcă și vă spun cum se comportă exact un punct al mașinii din imagine, vă pot spune automat cum se comportă restul mașinii în imagine, deoarece se va comporta... toate din el va avea aceeași imagine răspândită. Deci poți fie... pentru experimente, poți doar să pui un LED pe mașină și să vezi cum se mișcă acel LED. Și asta îți spune totul. Și sunt sigur că folosești acest truc în alte scenarii în care te uiți la un impuls foarte mic și vezi cum este răspunsul. Există, de asemenea, un răspuns la impuls. Pentru cei dintre voi în audio, ar putea dori să verificați și să vedeți cum este camera [INAUDIBLE].. Și când încercați să găsiți viteza unei mașini, [INAUDIBLE], un impuls foarte mic. Și răspunde și se întoarce. Da. Funcția de distribuire a punctelor pentru timpul dvs. de zbor. Deci, acesta este același concept aici. Vrei doar să suni lider mondial, să faci o poză și să vezi cum funcționează. Și întreg acest câmp al dimensiunii de ordine este în principiu ingineria funcției de răspândire a punctelor. Deci, dacă luați o cameră obișnuită, o cameră cu film și faceți o fotografie, nu aveți control asupra modului în care se răspândește lumina - dacă ceva se mișcă sau o focalizare are un spectru de culori diferit. Și astfel, o dimensiune de ordine înseamnă, practic, că doriți să controlați modul în care ceva se răspândește pe imagine. Deci vom proiecta activitatea camerei. Deci, în acest caz particular, un punct care se mișca a creat o neclaritate ca aceasta. Și prin proiectarea funcției de răspândire a punctului de timp, nu mai arată puțin așa. O să arate așa, bine? Va arăta ca la modă [? înţelept. ?] Și apoi se dovedește că acesta este mai ușor de tratat decât acesta. Deci, acesta este conceptul de bază , proiectarea sau schimbarea activă a funcției de împrăștiere a punctelor. Deci, acest lucru este foarte contraintuitiv pentru că ați spune, lăsați-mă să construiesc cel mai bun obiectiv și cel mai bun timp de expunere. Și așa cum mimează ochiul uman. Și odată ce am asta, am cea mai bună imagine posibilă. Dar când vine vorba de extragerea efectivă a informațiilor din acea scenă, se dovedește că trebuie să modificați strategic modul în care funcționează camera, astfel încât toate informațiile să fie într-un fel păstrate. Acum problema este că, chiar și după ce ești foarte atent și ai surprins acea imagine, tot va fi oarecum deranjată. Va fi amestecat. Dar aici intervine co-designul. Deci, odată ce ai această imagine, există o oarecare speranță, există o tehnică de calcul, care îți va permite să mergi de aici în aici. Și acesta este ceea ce separă un ochi de animal de un ochi de calcul, deoarece în majoritatea scenariilor, un ochi de animal va face poza și va încerca să-i dea cel mai bun sens. Dar un ochi computațional va aplica multă procesare la acest lucru și va putea recupera asta. Din câte știu eu, animalele nu au circuite de deconvoluție sau circuite de învățare profundă. Pot să mă uit la o imagine neclară și să îmi dau seama. Adică, asta a fost o provocare pentru tine, nu? Dreapta. Deci avem ochi destul de sofisticați, dar încă nu suntem capabili să aflăm în profunzime ce este asta. Dacă aveți cunoștințe anterioare despre cum arată sigla Volkswagen, poate puteți spune: OK, poate asta a fost. Dar, pe de altă parte, dacă îți dau asta, ești imediat dispus să crezi că această fotografie este o versiune neclară a acestei fotografii. Și așa cum te gândești la asta, atunci când mergi de aici în aici, informațiile se pierd. Când treceți de aici în aici, încercăm să recuperăm câteva informații. Deci, trecerea de la o fotografie clară la o fotografie neclară este ușor pentru noi, deoarece trebuie doar să pierdem unele informații sau să ne imaginăm cum ar arăta dacă o parte din informații ar fi eliminate din această imagine. Așadar, scopul imaginilor codificate este de a veni cu mecanisme inteligente, astfel încât să putem capta lumina, dar nu doar prin conversia fotonilor în electroni, ci modulând efectiv acești fotoni, fie blocându-i, fie atenuându-i, fie îndoindu-i și așa mai departe. Așa că de aceea o cameră de calcul calculează nu doar în silicon, ci și în optică. OK, deci asta am putea face pentru a păstra informațiile în caz de estompare a mișcării, nu? Și circuitul este foarte, foarte simplu. Doar luați pantoful fierbinte al blițului și acesta se declanșează. Când pierzi obturatorul, acesta declanșează circuitul. Și apoi parcurgeți codul de care vă pasă. Ce putem face pentru estomparea defocalizării, adică pentru estomparea mișcării? Ce poți face pentru estomparea defocalizării? Din nou, dorim să proiectăm funcția de împrăștiere a punctelor. PUBLIC: Codare spațială. RAMESH RASKAR: Codare spațială. Cum ați aplica codificarea spațială? PUBLIC: Diafragma codificată? RAMESH RASKAR: deschidere codificată. Deci aceasta este expunere codificată, deschidere codificată -- foarte ușor. Și tot ce vei face este să pui un fel de cod în deschiderea obiectivului. Și așa a început, de fapt, în zilele... în imagistica științifică, în special în astronomie, deschiderile codificate sunt foarte bine cunoscute. Și aceia dintre voi ați asistat miercuri la prelegerea profesorului Han , despre asta a vorbit, deschiderile codificate. Așa că urmăresc asta de mult, mult timp. Și m-am gândit, trebuie să fie util pentru ceva în fotografie. Și așa am spus, OK, să încercăm să punem o deschidere codificată în cameră și să vedem dacă ne putem ocupa de focalizare și așa mai departe. Și asta a fost în 2004. Și am încercat timp de șase luni și pur și simplu nu a funcționat. A fost cu adevărat frustrant... foarte, foarte frustrant. Și apoi, într-o bună zi, am spus: OK, dacă poți face asta în spațiu, sunt sigur că putem face asta și în timp . Și așa am făcut asta și asta a funcționat imediat, în câteva săptămâni. Așa că am mers înainte și am construit tot acest sistem. Și asta a fost doar o hârtie milimetrată. Și apoi am spus: OK, să ne întoarcem și să ne gândim la asta. Ce se întâmplă? De ce nu obținem rezultate bune? Așa că a durat aproape doi ani pentru a realiza că pentru a pune această diafragmă codificată într-o cameră, există doar câteva locuri în care o poți pune pentru a obține rezultate bune. Deci, din asta a rezultat acest experiment special. Deci am un coleg, Jim Kobler, la MG Edge. Și într-o zi, mi-a arătat... acesta este obiectivul lui, apropo. Îmi spunea povestea că pescuia cu camera lui și o creatură a ieșit din apă, un fel de aligator. Și și-a pierdut echilibrul, iar barca s-a răsturnat cu susul în jos. Cumva, a reușit să se răstoarne. Și aligatorul a plecat. Dar i-a deteriorat complet camera care era cu el și pur și simplu nu ar funcționa. Așa că și-a scos obiectivul, care este un obiectiv Canon standard. Și a spus, hai să-l deschidem până la capăt. Așa că a rupt toate pagubele. Avea tot noroiul în el și așa mai departe. Și apoi mi-a arătat chestia asta așa cum este. Și a fost foarte fascinant pentru că acesta este un obiectiv de film standard , care, desigur, poate fi folosit și cu o cameră digitală. Și acesta este un obiectiv cu distanță focală fixă. Este un obiectiv cu lungime focală de 100 de milimetri. Și când te concentrezi cu asta, funcționează în moduri foarte interesante. În primul rând, nu are un singur element de lentilă. Are mai multe elemente de lentile. Deci, atunci când schimbi focalizarea, trebuie să facă niște lucruri cu adevărat interesante. Trebuie să se ocupe de aberația cromatică, aberațiile geometrice, cum ar fi distorsiunea radială și așa mai departe. Deci trebuie să mute toate aceste lentile cu rapoartele corespunzătoare, bine? Așa că voi trece asta și veți vedea că există aceste crestături pe această lentilă care sunt într-un mod parabolic. Deci, când am scris asta, lentila internă - lentila cea mai exterioară și instrumentele lentilei cele mai interioare sunt în același loc. Dar toate lentilele interioare se mișcă cu un anumit raport. Este uimitor felul în care este structurat, nu? Deci, lentilele multiple se mișcă de fiecare dată când mut asta. Și se mișcă pentru că sunt ghidați prin aceste grupuri. Dar există o anumită locație care nu se schimbă în acest obiectiv și aceasta este diafragma. Așa că am spus, să ne uităm la această deschidere. Și pe atunci, era încă un obiectiv cu aspect rezonabil. Așa că ne-am dus în laboratorul nostru și am tăiat până la capăt. Și puteți începe să puneți noi deschideri în acest plan. Așa că poți să deschizi acel tip și să începi să pui această deschidere. Acum se dovedește că centrul de producție al acestui obiectiv este proiectat foarte atent de producătorii de camere pentru a fi același plan în care ați pus diafragma. Așa că atunci când schimbați f-stop-ul și îl micșorați și îl creșteți, totul se întâmplă în centrul proiecției. Toată lumea știe proiecția centrală? Deci, când te gândești la o cameră vizuală, faci această presupunere foarte simplistă. Este o gaură și există un senzor. Și când puneți o lentilă, presupunem că centrul lentilei este proiecția centrală, că întotdeauna se poate presupune că aceasta merge în acel punct. Când ai o grămadă de lentile, ca aici, unde este centrul protecționismului? Este aici sau aici sau aici sau aici? Și, desigur, există... puteți lua o colecție de aceste lentile și puteți crea un singur centru de proiecție pentru camerele normale. Pentru lentilele profesionale, nu este adevărat. Dar pentru camerele normale, ai proiecția centrală. Dar, din nou, presupuneți conceptual că toate razele trec prin acel punct, deoarece puteți înlocui toată această problemă cu o singură lentilă într-un [INAUDIBIL]. Deci găsirea acelui avion este de fapt o problemă dificilă. Și privit în retrospectivă, este foarte ușor. Dacă producătorii de lentile pun totul acolo, ar trebui să punem o deschidere înregistrată și în același plan. Așa că inițial am spus, o, hai să-l punem în față. Să-l punem în spate. Am încercat toate acele lucruri. Dar asta creează o neclaritate care nu este constantă pe toată imaginea. Și are o mulțime de probleme. Dar plasându-l acolo, se dovedește că obții aceeași neclaritate. Deci, ce se întâmplă exact dacă faci o fotografie a unei lumini punctiforme și totul este o focalizare clară? Nu se schimbă nimic, bine? Dacă aveți doar o deschidere deschisă și faceți o fotografie a unei lumini punctuale, aceasta arată ca un disc. Acum, ce se va întâmpla când puneți acest cod, cum ar fi masca 7 pe 7, și faceți o fotografie nefocalizată? Ce se va întâmpla cu LED-ul? PUBLIC: Va arăta ca un cod. RAMESH RASKAR: Va arăta ca codul, nu? Și de ce... de ce se întâmplă asta? Deci, să ne gândim la focalizarea [INAUDIBILĂ]. Deci avem obiectivul nostru, nu? Și avem un punct de lumină. Și vom pune un cod aici. Când este în focalizare clară, nu contează cu adevărat care este codul. Practic, vorbești despre jumătate de lumină, așa că fotografia va fi o jumătate de pătrat. Dar în afară de asta, pare o focalizare obișnuită. Și de aceea, dacă aveți niște praf pe obiectiv și așa mai departe, de obicei, nu contează decât dacă aveți praful pe lentila frontală, deoarece operațiunea centrală este aici. Deci, dacă praful era peste aici, nu se va întâmpla nimic. Imaginea va fi puțin mai întunecată. Dar dacă praful este tot în față, atunci începi să vezi distanța. Oricum, atunci când este în focalizare clară, vedeți doar rostul. Dar să spunem că autofocalizarea ta aici. Ce vei vedea? Veți vedea exact același [INAUDIBIL].. Deci [? ray ?] intră. Este blocat. Această rază intră. Trece prin. Această rază intră. Este blocată. Această rază trece prin și așa mai departe. Deci, practic, vei vedea la fel [? barcă. ?] Dacă puneți senzorul până aici, veți vedea întregul cod. Dacă începeți să vă îndepărtați, codul se va micșora. Și în cele din urmă, când îl pui aici, obținem un alt cod. Exact asta se întâmplă aici. Când este focalizare automată, vedem doar codul, bine? Apropo, aceasta este aceeași idee din spatele unui alt proiect, care este [INAUDIBIL]. Așa că ideea a apărut în același timp despre cum să se întâmple acest lucru. BINE. PUBLIC: Nu ar trebui să fie încă neclară imaginea acestui cod acum ? Cum, deci, acestea sunt, practic, diafragme multiple pe care le vedeți? RAMESH RASKAR: Da, deci fotografia de aici nu este nimic... fotografia de aici pe care o vezi este încă neclară. Doar că este neclară într-un mod ușor diferit... ciudat. Aici, este neclar cu acea formă. Fiecare punct este estompat cu această funcție de răspândire. Și nu puteți vedea nimic pe diagrama de rezoluție. Dar aici, dacă îl promovez pe tipul ăsta... nu, asta nu va funcționa pentru că sunt într-un mod diferit. Dacă mă uit la această imagine, vei vedea că... deci aceasta este o fotografie clară. Este neclară cu discul. Și este încețoșat cu această funcție. Puteți vedea deja că pare să păstreze puțin mai multe informații. Dar tot... nu vei putea cu ochiul liber. Nu veți putea să vă dați seama care sunt modelele de bază. Dar se dovedește că, după estompare, poți. În regulă, atunci poți face aceste trucuri simple, în care persoana de care ești interesat nu este concentrată. Dar apoi vă puteți reorienta digital. Deci aceasta este fotografia de intrare și fotografiile de stoc, bine? Așadar, exact același truc, care este în cazul mișcării, am creat o funcție de răspândire punct care a fost proiectată într-o singură dimensiune. Și aici, proiectăm o funcție de distribuire a punctelor care este bidimensională. Deci, aici, știm că transformata Fourier a acestui vector 1D de 52 de lungime este de bandă largă. Are energie la toate frecvențele. Ce putem spune despre asta? Este complet transformat. Ce putem spune? Este încă 7 pe 7. Deci transformata sa Fourier este de asemenea 7 pe 7. Când are 52, transformata sa Fourier are 52 lungime. PUBLIC: Este mai distribuit în loc să fie doar aproape de centru. RAMESH RASKAR: Deci, în 1D, asta este ceea ce am văzut, nu? Transformarea sa Fourier este plată. Deci sunt 52 de intrări aici și aproape toate sunt la fel. Acum spunem, gândiți-vă la problema în 2D. Și care este transformata Fourier a acesteia? Deci, mai întâi, pentru aceasta, transformata Fourier este... după cum vedem, este neagră. Și apoi, dacă iei asta în 2D, deci cum este codul? Îți dau un indiciu. Dacă iau doar o deschidere pătrată, una tradițională, și iau o transformare pătrată, va arăta... transformata Fourier a acesteia arată cam așa. [INAUDIBIL] Deci, transformarea Fourier a acesteia... dacă iau secțiunea transversală aici, va arăta la fel. Același lucru aici pentru o deschidere pătrată. Și acum spui că pentru acest articol în formă de cuvinte încrucișate ar trebui să fie ușor. Va arăta exact ca acesta. Deci, o transformată Fourier de 7 pe 7 va avea un vârf în mijloc. Deci transformata cu adevărat Fourier va avea un vârf în mijloc. Dar restul valorilor vor fi constante. Și asta este magia unui cod de bandă largă. Deci, dacă plasăm un cod de bandă largă, cu siguranță avem posibilitatea de a recupera toate informațiile. Deci pare foarte, foarte lung, nu? Dacă tot ce am vrut să fac a fost să creez o fotografie de pe care să pot estompa pentru a obține o fotografie clară, de ce trebuie să mă gândesc la toată această teorie, nu? Și motivul este că, atunci când ne gândim la funcția de răspândire punct, este doar procesarea tradițională a semnalului. Este o convoluție și așa mai departe și este mult mai ușor să ne gândim la convoluție și deconvoluție în domeniul frecvenței decât în ​​domeniul primar. Și în teoria comunicării, totul este [INAUDIBIL].. Ne gândim la frecvențele purtătoare ale posturilor de radio în frecvențe. Noi spunem că canalul meu FM este la 99 megaherți, 100 megaherți și așa mai departe. Și ne gândim la benzile de gardă și la benzile audio și la tot ce este interesat de domeniul frecvenței. Și asta pentru că este procesarea semnalului. Este același lucru care se întâmplă aici. Și convoluția, deconvoluția-- mult mai ușor de gândit în domeniul frecvenței. Deși toate analizele din domeniul frecvenței, la sfârșit, soluția este foarte ușoară - doar fluturați obturatorul sau puneți o deschidere codificată. Soluție extrem de simplă pentru a realiza asta. Deci toate acestea sunt lucruri bune despre diafragma codificată. Care sunt unele lucruri rele despre diafragma codificată? Care sunt unele dezavantaje aici? Este foarte asemănător cu [INAUDIBIL].. PUBLIC: Jumătate din lumină. RAMESH RASKAR: Deci jumătate din lumină. Foarte bun. Și atunci vorbești cu oameni care construiesc camere și le spui, ei spun, nu, nu, nu. Asta nu este permis. Nu stinge lumina. Da. PUBLIC: Bokeh-urile sunt un fel de bucurie? RAMESH RASKAR: Bokeh-urile sunt... depinde de dvs.... Adică, pentru consumatorul tău obișnuit, nu știu dacă asta contează. Dar ai dreptate. Dacă te uiți la ceva care este... avem lumini strălucitoare în scenă. La distanță, fă- ne fotografia falsă. Toate vor arăta așa. PUBLIC: Sau ai putea pune inimi în ea, sau, cum ar fi... PUBLIC: Corect, da, mă gândeam că poate... PUBLIC: Vreau să spun, asta este total posibil. [Râsete] RAMESH RASKAR: Așadar, o problemă de artă interesantă este cum creezi... cum creezi o mască care arată vizual estetic, dar este și inversabilă din punct de vedere matematic. PUBLIC: Da. RAMESH RASKAR: Există dezavantaje? Sau provocări? Nu chiar un dezavantaj. Amintiți-vă, în cazul mișcării, trebuia să știm cât de mult este mișcarea. Ce trebuie să știm aici? PUBLIC: Știm cât de mult este neclaritatea. RAMESH RASKAR: Cât de mult este neclaritatea. Și care este această funcție? În orice caz, planul de focalizare este ascuțit. Când este în afara planului de focalizare, este neclară. Dar dimensiunea neclarității depinde de ce? PUBLIC: Belt. RAMESH RASKAR: Centura. Dar nu doar adâncimea -- adâncimea din planul focalizării, nu? Deci, acesta este un parametru suplimentar pe care l- ați estima cumva. Poate că poți folosi un telemetru sau ceva de genul ăsta, sau doar un software. Există metode pe care le poți folosi. PUBLIC: Nu încercați să presupuneți ceva de genul că trebuie să vedem acest contrast? RAMESH RASKAR: Da. PUBLIC: Da. RAMESH RASKAR: Ai putea face asta. Nu merge asa de bine. dar ai dreptate. Ar fi și un alt mod de a încerca asta. PUBLIC: Puteți maximiza marginile dure din imagine. RAMESH RASKAR: Exact. Așa ai face, ca, într-un câmp ușor, când am făcut reorientarea. Acesta este trucul pe care l-am folosit. Am spus, OK, lasă- mă să încerc să mă concentrez. Nu-mi pasă de adâncime. Când este vorba de o focalizare clară, marginile mele, trebuie să fie adâncimea potrivită. Din păcate, nu merge în acest caz. Și nu vom intra în detaliu, dar motivul principal este că, pentru că are o diafragmă codată, indiferent de locul în care te concentrezi, tot pare că are frecvențe foarte înalte. Deci asta îl face provocator. Da. PUBLIC: Cum ați venit cu modelul? RAMESH RASKAR: Ah, exact. Deci, trebuie să găsiți acest model de 7 pe 7 sau chiar cazul precedent, modelul 52. Și iei o secvență aleatorie. Luați o transformată Fourier pentru a vedea dacă este plată. Dacă nu este plat, treci la următorul. PUBLIC: Oh, deci aceasta este forță brută? Nu există o formulă destul de matematică pentru asta? RAMESH RASKAR: Deci inițial, asta am făcut. Am spus, wow, nu poate fi atât de rău. 2 la 50... Adică, are 52 de elemente. Și îi cunosc pe unii dintre ei. Vreau să le iau doar pe cele în care aproximativ jumătate dintre ele sunt... PUBLIC: 1s. RAMESH RASKAR: --1s și jumătate dintre ele sunt 0. Deci nu poate fi atât de rău. Așa că am scris un script MATLAB. Și am spus, până vin mâine dimineață, voi găsi un cod foarte bun. Și m-am întors dimineața următoare. Nu se întâmplase nimic. Am așteptat toată ziua. Încă mai rula. Și nu a ieșit niciodată din asta. Deci 2 52 este destul de provocator. PUBLIC: Da. Unde îți este [? canu ?] cluster? Avem nevoie de ea. RAMESH RASKAR: Da, deci... îmi pare rău? PUBLIC: Unde este [? canu ?] cluster? Avem nevoie de ea. RAMESH RASKAR: Exact. Dar chiar dacă folosești un cluster, este totuși un număr destul de mare. Deci puteți face o aproximare. Deci, puteți începe cu un cod și puteți face o coborâre în gradient și așa mai departe. Da. PUBLIC: [? Mai tare ?] [ ? marca?] cod sau ceva? Este aplicabil aici? RAMESH RASKAR: Mhm. Deci, de fapt, după ce am făcut aceste două proiecte, am participat la prelegerea profesorului Han despre imagistica computațională, pe care, apropo, o recomand cu căldură. Este grozav. Și există toate aceste teorii despre cum să creați diferite coduri pentru diferite aplicații. Asa de [? Mai tare ?] [? mark?], despre care am aflat acum câteva săptămâni sau așa-numitele coduri de bandă largă, toate au soluții polinomiale și asta și asta. Nu există soluții bune pentru 2D. Dar pentru 1D, există câteva soluții foarte bune pentru a veni cu asta. Și chiar și pentru 2D, pentru anumite dimensiuni, se numesc încă unul 4 sau încă trei 4 pentru că numerele prime pot fi încă unul 4. Practic, când împărțiți la 4, restul poate fi 1 sau 3. Și există anumite secvențe care sunt proprietăți matematice frumoase, dintre care secvențele ar putea avea proprietăți de bandă largă și care nu. Deci se pare că nu poți... se întâmplă puțină înșelăciune aici. Deci, nici aici nu puteți folosi codul de bandă largă pentru a vă oferi cel mai bun rezultat. Le puteți numi bandă largă pentru că comportamentul lor este bandă largă. Dar codul tradițional se numește cod MURA, M-U-R-A, Multiple Uniform Redundant Array. Au inventat nu cu mult timp în urmă, poate acum 20, 30 de ani. Și au folosit în CDMA și în multe alte aplicații de imagistică astronomică . Și au proprietăți similare de a fi... dacă iei un cerc pentru a te transforma, este bandă largă. Problema este că, în multe dintre aceste exemple, multe dintre aceste aplicații, convoluția ta este de fapt circulară. Așa că aplici filtrul, iar apoi când ieși de pe margine, aplici filtrul la începutul semnalului. Acest filtru special nu este de fapt circular, dar este liniar. Așa că atunci când aplici filtrul aici, când începi să aplici filtrul la sfârșitul imaginii, nu te întorci în fața imaginii pentru că, clar, dacă pun un LED aici, scapi de focalizare. Dacă pun un LED aici, vei primi doar jumătate din asta. Restul reprizei este doar blocat. Nu va apărea magic aici. Deci, aceasta este diferența dintre convoluția liniară și convoluția circulară. Se pare că, pentru convoluția circulară, potrivirea este foarte curată și frumoasă și mai lină . Sau pentru convoluția liniară, nu există un mecanism bun. Așa că am venit cu propriul nostru cod numit cod RAT, R-A-T, care este după trei sferturi. Oscar [INAUDIBIL]. PUBLIC: Deci cum ai găsit codul? RAMESH RASKAR: Făcând cercetări. PUBLIC: Doar fac cercetare? RAMESH RASKAR: Da. PUBLIC: OK. RAMESH RASKAR: Dar nu este o căutare cu forță brută. PUBLIC: Da. A fost un inteligent. PUBLIC: Și dacă ați include suficientă umplutură acolo, nu ați putea folosi convoluția circulară? RAMESH RASKAR: Da, vreau să spun, convoluția circulară-- Adică convoluția liniară este practic o convoluție circulară cu o mulțime de umplutură de 0. PUBLIC: Da, pentru că ai spus că atunci matematica ar fi mai ușoară, nu? RAMESH RASKAR: Dar atunci e prea mare. Adică, găsirea unui cod lung de 7 sau poate de 30 este OK. Găsirea unui cod lung de 1.000 este aproape imposibilă. PUBLIC: Deci diferența dintre MULA și asta este doar pe margini? Sau este peste tot în imagine? RAMESH RASKAR: Este doar faptul că una este convoluție liniară și alta convoluție circulară. PUBLIC: OK. PUBLIC: Da, și un alt lucru este că este destul de uimitor că [INAUDIBIL] pentru că dacă începi să ai modele foarte simple pe un pătrat, cum ar fi, să zicem, dacă desenezi acest pătrat și te așezi pe acest pătrat, vei primi intrarea gratuită. formă și ai tot... RAMESH RASKAR: Da, peste tot. Deci, da, așa că se pare că puteți alege o secvență aleatorie și să obțineți o proprietate similară. Dar, de fapt, nu funcționează. Șansele ca o secvență aleatorie să facă ceea ce trebuie pentru tine sunt foarte, foarte mici. AUDIENTĂ: În loc de [INAUDIBIL].. [Râsete] PUBLIC: Oamenii de astronomie folosesc deja... RAMESH RASKAR: Mhm, da. PUBLIC: Sau foloseau asta pentru [INAUDIBIL]? RAMESH RASKAR: Deci, în astronomie, aveți o convoluție circulară, deoarece folosesc fie două plăci de oglindă și un senzor, fie o placă de oglindă și doi senzori. Deci întreaga circumvoluție circulară. Deci în regulă. PUBLIC: Dacă te-ai săturat de imagini [INAUDIBILE] codificate astronomic. RAMESH RASKAR: Repetă asta. PUBLIC: Dacă plasați masca la deschidere, dar utilizați o singură diafragmă... RAMESH RASKAR: Corect. PUBLIC: Deci, dacă crezi asta... RAMESH RASKAR: Dacă ai diafragmă, vei primi un răspuns în frecvență cu adevărat oribil, din păcate, pentru că dacă pui două plăci, asta înseamnă că anumite frecvențe se pierd. PUBLIC: [INAUDIBIL] impresionant. Se spune că, dacă înțeleg bine acest lucru, practic, luând coeficientul DC, reconstruiești aproape totul. Este... RAMESH RASKAR: Nu, nu, nu, nu coeficient DC pentru că dacă te uiți aici, tot spațialul mare... Adică, întreaga imagine nu este o singură valoare. PUBLIC: Da, dar uită-te la asta. Acesta este spectrul tău... RAMESH RASKAR: Corect. Nu, dar există o valoare diferită de zero la alte frecvențe. PUBLIC: Da, da, câteva. Dar... RAMESH RASKAR: Nu, nu, asta este foarte important. PUBLIC: Da, dar luând asta, ai putea obține o aproximare foarte bună. RAMESH RASKAR: Da. Dar dacă... pentru un consumator naiv, această fotografie... uită-te la această parte, bine? Această fotografie și această fotografie arată aproape la fel, nu? Și amintiți-vă, în această fotografie, multe dintre acele frecvențe se pierd. Și în această fotografie, acele frecvențe nu se pierd pentru că toate frecvențele sunt păstrate. Dar asta pentru că ochii noștri nu sunt foarte pricepuți să se gândească la care ar putea fi imaginea originală, având în vedere fie aceasta, fie cea anterioară. Deci, având în vedere acest lucru, vă pot provoca că nu sunteți capabil să preziceți că are toată această structură, nu? De aici, nu poți prezice că ai structura. PUBLIC: Deci cum ați descrie masca ca? Practic, împrăștiați energia într-un set [INAUDIBIL] pe mai multe frecvențe, dar coeficienți foarte mici. Este... RAMESH RASKAR: Exact. Este vorba despre... în funcție de cod, este aproximativ 1/10 sau 1/20 din puterea inițială a acelei frecvențe. Deci obțineți o atenuare semnificativă. Deci rezultatele nu sunt perfecte. Dacă te uiți aici, corect, nu sunt rezultate perfecte, fie că sunt aici sau aici. Uita-te la asta. Nu aș numi-o calitate fotografie încă. PUBLIC: Da, nu. RAMESH RASKAR: Dar dacă aplicați foarte simplu, dar este o resursă brută. Nu există filtrare medie sau netezire sau altceva. Este pur și simplu x este egal cu b, x este egal cu o bară oblică inversă b. PUBLIC: Doar faptul că masca, cred, vă oferă echilibru. RAMESH RASKAR: Da, e distractiv. Ceea ce este uimitor la imagistica codificată este că matematica este elegantă și frumoasă și uneori complicată, dar implementarea este foarte ușoară. La final, tot ce trebuia să fac a fost să pun acest cod sau să-l declanșez și foarte ușor de explicat. Șeful meu anterior spune că cele mai bune idei sunt cele care sunt ușor de explicat, dar greu de conceput. Bine, deci să mergem mai departe. OK, lasă-mă să termin asta. Deci, există doar o modalitate de a-- am văzut doar două moduri de a proiecta funcția de răspândire a punctelor, una în mișcare și una în focalizare, nu? Dar sunt multe altele. Pe unele dintre ele le-am văzut pe parcursul semestrului, unde poți pune, de exemplu, un filtru special în lentilă, astfel încât să obții neclarități care sunt independente de asta. PUBLIC: Ramesh, lasă-mă să- ți mai pun o întrebare. RAMESH RASKAR: Da, mergeți mai departe. PUBLIC: Ai avut această mască binară, nu? RAMESH RASKAR: Mhm. PUBLIC: Ce se întâmplă dacă masca nu era deloc? Dacă aveți câteva informații de la consiliu, astfel încât să puteți configura aproximativ [INAUDIBIL].. RAMESH RASKAR: Corect. PUBLIC: Deci ce ai avea? RAMESH RASKAR: Deci aceasta este o întrebare foarte bună. Deci... să vedem. Lasă-mă să scot asta mai întâi. Deci, dacă funcția a fost -- dacă funcția a fost continuă -- deci, în caz de flutter shutter, nu am avut prea multe de ales. Este fie opac, fie transparent. Este una sau alta. PUBLIC: Da, da. RAMESH RASKAR: Dar în cazul deschiderii, da. Nu trebuie să fie opac sau transparent. Ar putea fi o valoare continuă. Și inițial, de fapt, eu și coautorul meu, Amit Agrawal -- un tip foarte deștept -- am avut întotdeauna aceste argumente despre că poate continuu este mai bine. Poate binar este mai bine. Și a continuat să creadă că continuu este mai bine. Dar se dovedește... și încă nu suntem de acord cu asta, apropo. Și nimeni nu a notat asta. Se pare că, pentru orice cod continuu, există un cod binar corespunzător care va face o treabă la fel de bună, până acum. Și asta pentru că într-un cod binar, poți să te joci cu funcția de fază. Nu voi merge la detalii. Dar pentru că aici, vă arătăm doar amplitudinea transformării Fourier, dar nu și fața. Deci ai acel grad suplimentar de libertate cu care te joci. Deci, dacă joci cu faza potrivită, atunci se dovedește că poți avea întotdeauna o funcție binară. Mike? PUBLIC: A încercat cineva să combine diafragma codificată și codul [INAUDIBIL]? RAMESH RASKAR: Este o idee grozavă. Oamenii vorbesc despre asta, dar nimeni nu a făcut-o. Este doar unul dintre acele lucruri. Este doar unul dintre acele lucruri. Parcă ne-am săturat de asta, așa că nu vrem să o facem. Dar cred că merită încercat. Și pentru că acestea sunt neclare de mișcare ortogonale. Deci, iată un experiment de gândire grozav. Deci întrebarea lui Mike a fost, ar putea exista ceva care se mișcă, deci este mișcarea neclară, dar este și nefocalizată. BINE? Le puteți folosi pe ambele în același timp și puteți înregistra? PUBLIC: Da. PUBLIC: Cum rămâne cu lățimea luminii? RAMESH RASKAR: Da, este un sfert din lumină, dar să nu ne facem griji pentru asta. BINE. [Râsete] Explicați. PUBLIC: Există tehnologii ortogonale, practic. RAMESH RASKAR: Exact. Deci este uimitor pentru că mișcarea este timpul, iar accentul este spațiul. Sunt complet ortogonale. Deci te poți juca cu el. E foarte interesant. Publicul: Dar totuși, mișcarea este reprezentată de spațiu pe... RAMESH RASKAR: Da, în cele din urmă, va avea o proiecție 2D. PUBLIC: Da. RAMESH RASKAR: Deci e foarte interesant. În regulă? Deci, funcția de răspândire a punctelor, deși eu și echipa mea am fost primii care au făcut asta într-un domeniu de viziune grafică, oamenii au încercat să facă asta de la mijlocul anilor '90 în imagistica. Și a existat o lucrare foarte clasică a lui Cathey și Dowski și alții pentru așa-numita codare a frontului de undă. Și o mare parte este de fapt folosită în camerele telefoanelor mobile. Și ceea ce fac ei este că pun această mască de față între obiect -- lângă lentilă, astfel încât -- și am văzut asta la începutul orei -- pentru ca imaginea să nu fie niciodată clară. În loc de asta, este ca un set de paie. Imaginați-vă că acestea sunt toate paiele care vin. Și doar le răsuciți. Deci cel de sus merge în partea de sus... Îmi pare rău, în partea de jos. Cel de jos merge sus. Și când te gândești la secțiunea transversală a tuturor paielor, este un fel cilindric, când toate se unesc. OK, o să iau toate aceste paie, sau poate șiruri, dacă vrei să te gândești la asta. Și o să le răsucesc astfel încât să rămână cilindrice. Așa că dacă îmi pun senzorul aici, dacă imaginea este defocalizată cu această lățime, dacă pun un senzor aici, este încă defocalizat, dar cu aceeași lățime. Deci, indiferent unde vă aflați, imaginea este defocalizată, dar în aceeași cantitate. Și spui, ei bine, ce-i bine în asta? Este întotdeauna în afara focalizării. Dar se pare, codarea frontului de undă , așa cum o numesc ei, dar vă puteți gândi la asta acum știm ce câmp luminos. Deci acesta este doar un câmp luminos unic al scenei. Se pare că din asta, puteți recupera imagini. Ca, deci aceasta este deschidere deschisă. Îmi pare rău, nu am o poză. Dar am discutat despre asta în clasă, așa că sper să vă amintiți asta. Mi-a ratat poza aceea. Am văzut asta chiar în prima clasă, apropo. Și beneficiul acestui lucru, se dovedește, este că păstrează frecvențele spațiale și are avantajul că, indiferent de pași în care vă aflați, aveți aceeași neclaritate de focalizare. Așadar, dezavantajul diafragmei codificate a fost că trebuie să știți care este adâncimea pentru a putea estompa. Dar acum, deoarece este independent de adâncime, puteți doar să aplicați aceeași deconvoluție și să obțineți o imagine mai clară. Deci, indiferent dacă mă țin în fața camerei, dacă sunt aici sau aici sau la infinit, am aceeași cantitate de neclaritate. Aceeași funcție de distribuire a punctelor. Și din asta, pot deconvoluta și obține o adâncime extinsă de câmp care merge de la foarte aproape de obiectiv la infinit. Deci OmniVision, care a cumpărat această companie, optica cu ceriu, care poartă numele lui Cathey, Dowski și cineva... aceștia sunt cei doi profesori de la Colorado. Iar ultimul, l-am uitat. Tocmai a fost cumpărat de OmniVision, care este un mare telefon mobil... Adică, o mare companie de imagistică. Majoritatea afacerilor sunt telefoanele mobile. Și au achiziționat compania și i-au concediat imediat pe toți oamenii deștepți care au inventat asta. Este foarte trist pentru că acea parte este terminată. Deci au vrut doar tehnologia. Și este în multe camere. Există o altă companie numită Tessera, care are o soluție foarte asemănătoare. Dar ceea ce fac ei este -- acesta, practic ceea ce face -- și am discutat despre asta, cred că, la început, codarea frontului de undă -- este pur și simplu adaugă aici, astfel încât această parte a obiectivului să se concentreze pe o imagine aici. Această parte a lentilei se va concentra pe aceasta. Acesta se concentrează aici. Partea superioară a obiectivului are o lentilă de focalizare scurtă. Se concentrează aici. Al doilea se concentrează aici. Al treilea se concentrează aici. Al patrulea se concentrează aici. Al cincilea se concentrează aici. Aici. Si aici. OK, deci dacă vă puteți imagina că obiectivul principal are o anumită distanță focală. Și vom adăuga doar un pic de distanță focală suplimentară , care este... de aceea aveți distanța focală F1, F2, F10. Și apoi [INAUDIBIL]. Și aceasta este întorsătura despre care vorbeam. Acesta a fost [INAUDIBIL]. Dar în această regiune, grosimea va fi un bonus. Așadar, puteți fie să vă gândiți la asta ca la adăugarea de bețe de chibrit pe partea de sus a lentilei principale - sau modul în care o fac este că pun de fapt o singură foaie care arată așa, un strat suplimentar de suport, o mască de față. Și o mască de față înseamnă practic că schimbi fața luminii care intră. Și, după cum știți, dacă aveți o bucată de sticlă și trece lumina, va încetini aici și apoi din nou [INAUDIBIL].. Asta înseamnă că practic ați încetinit lumina. Și acolo este sticla [INAUDIBIL].. Dacă o ai în partea de sus a lentilei, ca cele două, nu încetinește atât de mult. Dacă mergi la mijloc , încetinește pentru totdeauna. De aceea, după cum am aflat la început, dacă ai ceva foarte departe, acest lucru încetinește puțin. Deci ăia merg aici. Asta trece aici. Și totul merge pur și simplu cu operațiuni. Dar [INAUDIBIL] această bucată suplimentară de sticlă, spui, voi accelera și încetini într-un mod ușor diferit [INAUDIBIL].. Aceasta este soluția optică siriană sau [INAUDIBILA], care este cumpărat de fapt ca altă companie. [? Australia--?] uitând numele. Soluția este foarte asemănătoare. Sunt sigur că se luptă în instanță chiar acum. Aceeași soluție. În loc să-l punem pe acest tip, asta va adăuga doar niște pahar suplimentar, dar mai ales într-o formă minoră. Este doar [INAUDIBLE] pe acela. Deci, practic, aceeași soluție, dar creând distanțe focale diferite pentru diferite [? parteneri. ?] PUBLIC: Da. Deși ai spus, adică, există această porțiune acolo, unde dacă ai o altă neclaritate [INAUDIBILĂ], nu? RAMESH RASKAR: Corect. PUBLIC: Dar ce este estompat? La fiecare bucată, sau unde este? RAMESH RASKAR: Independent de adâncime, obțineți aceeași neclaritate. PUBLIC: Da, dar vezi, unii tipi se concentrează, să zicem... RAMESH RASKAR: Într-un unghi? Chiar nu contează. Nu contează cu adevărat pentru că, la fel ca într-o cameră tradițională, chiar dacă punctul nu este pe axă, ci în afara axei, veți primi același lucru-- veți primi în continuare un disc, corect, pe care l-am văzut în... - PUBLIC: Da, primești doi, dar cred că imaginea dată, pe măsură ce o muți înainte și înapoi, vei obține o culoare diferită, deoarece... Adică, o cantitate diferită de amestec de-- RAMESH RASKAR: O formă diferită, vrei să spui, sau o culoare diferită? PUBLIC: Culoare diferită. RAMESH RASKAR: Nu chiar. PUBLIC: Pentru că uită-te la asta. Dacă tipul venea de sus, va ajunge la un moment dat. RAMESH RASKAR: Dar toate au aceleași... Adică, vrei să spui, din cauza aberației cromatice? PUBLIC: Nu, doar din cauza geometriei, cel puțin mie mi se pare. RAMESH RASKAR: Folosind culoarea sau forma? Pentru că doar pentru a fi clar că nu adăugăm nicio culoare aici. Adăugăm doar un pahar. PUBLIC: OK. BINE BINE. RAMESH RASKAR: Adăugăm doar un pahar. Deci pictăm razele, dar culorile sunt, pentru toate scopurile practice, că ar fi aceleași. PUBLIC: Da, ceea ce am descoperit este că poate unele puncte din scenă ar fi... asigurați-vă că chiar și o bucată de... RAMESH RASKAR: Da, efectul este foarte scăzut, totuși, amintiți-vă. Efectul este extrem de scăzut. Așa că poate aveți un pixel și vă încețoșați cu 10 pixeli sau [INAUDIBLE]. Nu este un efect global. Deci această imagine, poate... această diagramă anume este înșelătoare pentru că se pare că acest punct va merge până la capăt. Dar acest lucru este foarte îngust. Iar estomparea este de numai aproximativ 10 pixeli, indiferent unde ai [INAUDIBIL]. Deci poate asta a fost problema. Deci, dacă aveți un punct de acces, tot va crea o imagine neclară de 10 pixeli. Deci, acesta este, din nou, foarte contraintuitiv, în cazul în care te duci pentru a face imaginea neclară intenționat. Doar că este încețoșată peste tot. Și apoi l-am văzut și pe acesta foarte devreme, în care funcția de răspândire a punctelor -- de obicei, când ceva intră și nu se focalizează, arată ca un punct. Și atunci când nu se focalizează, arată ca un disc. Dacă nu se focalizează în alte moduri, tot arată ca un disc. Dar acest grup de la, din nou, la Colorado are... când este o atenție clară, vezi două uși pentru similitudine. Și dacă intri și îndepărtezi, atunci cele două puncte [INAUDIBILE]. Așa că o numesc funcție de răspândire a punctului de rotație. PUBLIC: Este același grup care a dezvoltat [? cadru? ?] RAMESH RASKAR: Nu este același grup, ci aceeași universitate și același cartier. PUBLIC: Care a fost raționamentul pentru dezvoltarea funcției de răspândire a punctului de rotație? RAMESH RASKAR: Întrebarea lui Doug este, care este beneficiul asta? PUBLIC: [INAUDIBIL]? [Râsete] RAMESH RASKAR: L-ar fi folosit până acum. PUBLIC: Da. RAMESH RASKAR: Care este beneficiul funcției ciudate de împrăștiere a punctelor? PUBLIC: Știi dacă nu ești concentrat în ce direcție. PUBLIC: Da. RAMESH RASKAR: Da? PUBLIC: Din punctul focal. RAMESH RASKAR: Ăsta e unul. Publicul: Și știi că... RAMESH RASKAR: Dar știi cu cât? PUBLIC: Da, știi cât de mult pentru că... RAMESH RASKAR: Pentru că este un unghi. PUBLIC: --rotatie. RAMESH RASKAR: Deci, scopul aici a fost indiferent unde te afli, funcția ta de distribuire a punctelor este aceeași. Scopul aici este exact opus. Dacă deplasați ușor focalizarea, obțineți o funcție de distribuire a punctelor foarte diferită . Deci pe acesta îl folosesc la microscopie cu colorant fluorescent. Deci, când te uiți cu un microscop, în funcție de adâncimea particulei etichetate, funcția de răspândire a punctului va arăta foarte diferit. Deci, puteți estima adâncimea uitându-vă la orientarea acestor două puncte. Deci e foarte interesant. PUBLIC: Dar nu poate acel tip să continue până la capăt? La un moment dat, nu poți... RAMESH RASKAR: Nu, nu funcționează. După un anumit moment, vor rămâne la fel. PUBLIC: OK. RAMESH RASKAR: Acesta este doar în [? dulce?] regiune. Publicul: Deci au fost capabili să reconstruiască structuri neuronale tridimensionale, sau... RAMESH RASKAR: Da, de aceea primesc multă presă. Și fac o muncă uimitoare, [INAUDIBLE].. Deci au o mulțime de colaborări, iar acum sunt capabili să măsoare dimensiunea z până la aproximativ 10 nanometri. PUBLIC: Wow. RAMESH RASKAR: xy rămâne microscop tradițional de 1 micron, 1/2 micron. Dar dimensiunea z este de 10 nanometri. Este foarte nou. Încă lucrează la multe dintre aceste concepte. BINE? Deci, să ne uităm pe scurt la detecția comprimată, deoarece este ceva cu care ar trebui să fii familiarizat. OK, deci iată o idee care a primit multă publicitate. A fost chiar „The 10 Emerging Technologies” al unei reviste foarte reputate. Sper că nu crezi nimic din aceste lucruri. E o idee foarte tare , apropo. Și ca om de știință, îmi place foarte mult. Dar când cineva ca Technology Review sau Wired Magazine spune, Top 50, Top 10, bineînțeles, aș vrea să fiu inclus printre ei. Dar, în același timp, pentru că, știi, are efecte secundare bune. Ei bine, oricum, această cameră cu un singur pixel a fost listată ca unul dintre cele mai mari lucruri în 2005 de către Technology Review, o revistă care îmi place foarte mult, apropo. Și ideea este că, în loc să faci o singură fotografie, ceea ce vei face este să presupunem că asta e scena ta. Trebuie să porniți... să luați un singur fotodetector și să-l îndreptați către un set de micrometri. Și în cel mai simplu caz, ceea ce vei face este să oprești toate micrometrele, acea lumină merge așa. Și există doar un micrometru, ca acesta. Deci un singur fotodetector -- asta este ca fotografia duală pe care am văzut-o chiar la început, unde puteți vedea acel card. Dacă doar pornesc acest micrometru... apropo, acesta este ceea ce se află în proiectoarele dvs. DLP, afișările micrometrului de procesare digitală a luminii Texas Instruments . Deci este foarte ușor disponibil. | primiți doar lumină din scenă pentru acel pixel. Deci această scenă este imaginea pe această mică matrice. Și vrei doar să pornești acest pixel. Și apoi următoarea imagine, vei activa următorul pixel și așa mai departe. Și pe rând, dacă treci prin acest milion de pixeli, vei obține o imagine de un milion de megapixeli, nu? Dar, desigur, lumina va fi foarte mică dacă porniți doar un pixel. Așa că acum, vom face câteva multiplexări [INAUDIBILE], pe care le-am văzut cu câteva cursuri în urmă, în care mergi să pornești peste jumătate dintre ele, să faci o citire, să transformi o altă combinație aleatorie a jumătate dintre ele și să faci o fotografie. , și așa mai departe. Și, din nou, după... acum aproximativ jumătate dintre ei contribuie la fotodiode. Deci fotodioda este foarte bine expusă și puteți face o citire de expunere foarte scurtă. Și, din nou, dacă faci milioane de astfel de citiri, poți recupera această imagine. Acesta este conceptul. PUBLIC: Crește exponențial numărul de citiri pe care trebuie să le faci? RAMESH RASKAR: Nu, doar liniar. Dacă sunteți pe 2 megapixeli, atunci trebuie să luați 2 milioane [? poze. ?] În regulă? Așa că afirmația făcută de acest grup la Universitatea Rice a fost că, dacă vreau o imagine de un milion de pixeli, nu trebuie să fac cu adevărat un milion de citiri. Pot face mult mai puțin de un milion de citiri. Și pretenția este că imaginați-vă dacă ați avea această fotografie ca JPEG. Într-un compozit, ar putea să ocupe doar aproximativ zeci de mii de octeți. Deci, să presupunem că ocupă 10.000 de octeți. Deci, dacă pot reprezenta imaginea cu 10.000 de octeți și am de gând să fac o fotografie și să o comprim până la 10.000 de octeți, nu pot măsura direct doar 10.000 de valori în scenă, astfel încât să economisesc tot, OK? Așa că pot face această fotografie în mod eficient cu doar 10.000 de pixeli, dar pot recrea o imagine de un milion de pixeli. Și aici apare conceptul de detectare prin compresie sau imagistica comprimată. Vrei să faci ceva cu o rezoluție mult mai mare, dar să-l recuperezi într-un mod comprimat, unde faci fotografia cu un hardware și comprimă software-ul. Îl vei comprima în timp ce simți. Deci, cum arată matematic? Deci, să vedem. Să vedem dacă există o modalitate ușoară de a explica acest lucru într-un timp mai scurt. Deci acesta este trucul pe care îl vom face. Vom lua aproximativ jumătate din pixel și vom măsura intensitatea și așa mai departe. Deci astea sunt măsurătorile noastre. Deci imaginea noastră necunoscută este x. Și vom lua multe dintre aceste proiecții. Aceasta este matricea [INAUDIBILĂ], pentru cei familiarizați. Și acestea sunt măsurătorile noastre. Așa că vom spune că, având în vedere aceste măsurători, îmi voi recupera imaginea inițială. Acum, când te gândești la o imagine naturală, pretenția este că dacă folosești doar DCT, niște coeficienți foto, atunci poți să comprimi imaginea și să le reprezinți cu foarte puțini octeți, doar 10.000 de octeți pentru un megapixel. Deci, să presupunem că coeficienții tăi Fourier sunt aici. Și aceasta este imaginea ta. Asta înseamnă că dacă pun aici doar o transformată Fourier, atunci pot converti coeficienții în imagine. Iar numărul de valori necesare pentru a reprezenta o imagine este mult mai mic decât milioanele de valori necesare aici. Deci avem un milion de valori aici, dar aici doar aproximativ 10.000 de valori. Și afirmația este că, folosind această înțelegere, imaginea mea poate fi reprezentată într-o bază de transformare -- în acest caz, baza Fourier -- folosind foarte puțini coeficienți, poate fi exploatată în timp ce simt. OK, asta este optica ta. Aceasta este harta ta. Vedeți dacă îl am pe diapozitivul 5. Deci, aceasta este teoria detecției compresive, că, folosind o anumită bază, pot transforma imaginea și măsura în [? măsurătorile dvs.? Și există anumite cazuri în care este cu adevărat adevărat. Aveți semnale care pot fi comprimate foarte ușor. Un exemplu foarte clasic este în comunicare, în care, dacă faci radio software, unde ai o bandă uriașă de frecvențe, și radio software -- în loc să-l reglezi cu electromagnetic, doar captezi întregul semnal. Și apoi software, puteți asculta orice post. Și teoria colierului spune că dacă banda ta este, nu știu, de 100 de megaherți, atunci trebuie să o captezi cu un semnal care are o lățime de bandă de 100 de miliamperi. Dar știm că în comunicare, nu toate benzile sunt de fapt ocupate. Multe dintre benzi sunt goale. Doar anumite frecvențe au semnal. Așa că oamenii au venit cu mecanisme foarte inteligente, în care își dau seama că nu trebuie să captezi un semnal de 100 de megaherți. Doar unele dintre ele sunt de fapt activate. Trec prin transformarea Fourier pentru că în comunicare, asta e firesc. Și făcând asta, ei sunt capabili să probeze acest efect al unui radio software cu un detector care nu trebuie să măsoare un semnal de 100 de megaherți. Se pare că pentru imagini, acest lucru nu funcționează. Și asta pentru că nu există nicio transformare care să vă permită - nicio transformare liniară care să vă permită să reprezentați o imagine cu foarte puțini coeficienți. Când faci JPEG, se transformă în frecvență. Dar după aceea, face multe alte lucruri. Spune, din punct de vedere perceptiv, frecvențele mai mari nu sunt la fel de importante, așa că le voi reprezenta cu mai puține grile de cuantizare. Sau anumite valori sunt prea mici. Am de gând să le trunnesc. Deci, toată această operație - schimbarea benzilor de cuantizare, trunchierea sau pragul, sunt toate operații neliniare. Nu sunt operații liniare. Deci, se pare că nu există nicio transformare care să vă permită să reprezentați o imagine cu mai puțini coeficienți. Deci, în general, această schemă nu funcționează. Dar vei continua să vezi oameni care vin la tine și spun, știi , am acest lucru magic pe care tocmai l-am auzit sau compresiv imaginea ceva, și asta doar va rezolva o problemă. Există anumite imagini, cum ar fi desenele animate, care pot fi reprezentate cu foarte puține mostre, deoarece au regiuni plate, limite clare și fluctuații. Dar o imagine naturală, din păcate, nu poate fi transformată atât de ușor. Și poți vorbi cu Rohit, iar el îți va spune toate detaliile despre pericolele [? compozitii. ?] PUBLIC: Deci, camera cu un singur pixel este doar o ipoteză, dar nu... RAMESH RASKAR: Da, dar în același timp, a fost prima care le-a permis oamenilor să vizualizeze sau să conceptualizeze în mintea lor ce compresiv simțirea ar putea face. PUBLIC: Această idee este grozavă, dar cât de fezabilă sau cât de important este să ai un singur senzor în loc să ai detecție cu săgeți largi? Deci, ceea ce obține acest lucru este, practic, să vă permită să construiți o cameră cu un singur senzor. Dar chiar vrem ca doar să facă detecție comprimată? RAMESH RASKAR: Din punct de vedere științific, dacă cineva poate construi acest lucru și arăta că puteți lua mai puține măsurători și puteți recupera imaginea, aceasta este o descoperire. Cum o utilizați? Sunt de acord cu tine că, în ceea ce privește implementarea practică, poate aceasta este cea mai bună aplicație, poate nu este și așa mai departe. Dar acesta este un fel de motiv de afaceri. PUBLIC: Va fi mai rapid decât o serie de senzori? RAMESH RASKAR: Din nou, din punct de vedere al practicii, amândoi aveți dreptate. Sunt foarte puține beneficii. Dar dacă faci doar detecție compresivă, îți dai seama că este un câmp foarte, foarte activ. PUBLIC: Deci, din nou, poate un alt tip de percepție, dar care sunt trăsăturile -- cum ar fi, ce fac oamenii în fotografia computațională pentru extragerea trăsăturilor în același mod în care creierul procesează anumite trăsături de [INAUDIBIL] liniar pentru a face o comprimați mai bine detectarea contextului și a imaginii? RAMESH RASKAR: Vrei să spui comprimarea unei imagini sau detectarea cu mai puține mostre? PUBLIC: Detectare cu mai puține mostre. RAMESH RASKAR: Da, așa că totul este inclus în acest concept de detecție compresivă. Dacă vă gândiți la un B1 și B2 și la procesarea vizuală, există o mulțime de muncă care a fost făcută în ultimii 30 de ani. Există treabă bună și la CSAIL. Dar asta e doar software. PUBLIC: Corect. RAMESH RASKAR: Și poate vă întrebați, putem folosi mecanisme de detectare care sunt similare cu creierul nostru, astfel încât să nu... PUBLIC: Nu trebuie să faceți niciun software. RAMESH RASKAR: Exact. Secretul succesului filmului, al fotografiei de film, este că, dacă cineva ți-ar fi dat această problemă înainte de inventarea filmului, că există o scenă-- și vreau să-ți dau o senzație a aceleiași scene-- timpul schimbat sau spațiul deplasat. Există atât de multe moduri prin care poți rezolva această problemă. Puteți începe cu o reproducere a unei fotografii sau puteți atinge retina. Puteți accesa V1, V2. Puteți interfața asta în orice moment în conductă pentru viziunea umană. Dar cea mai simplă soluție este să creezi acea fotografie pe o suprafață pasivă și să lași creierul să facă din nou această procesare. Și așa este ca o simplă potrivire de impedanță. Dacă pot să văd scena și să o înțeleg, pot să o prezint așa cum este și să o las să treacă. Și așa am tratat fotografia în tot acest timp. Este o înregistrare a experienței vizuale, ceea ce este grozav pentru oameni, dar nu este atât de grozav pentru computere, deoarece computerele nu înțeleg nimic din toate astea. Și ceea ce spui este că ceea ce le pasă computerelor sunt toate aceste caracteristici de nivel înalt. Și de aceea ne întoarcem la planșa de desen și spunem, să construim camere care să nu imite ochiul uman, ci să extragă de fapt mai multe informații, cum ar fi [? deschideri?] că scoatem camera bliț, sau informații suplimentare cu camere cu câmp luminos sau camere multi-spectrale și așa mai departe. PUBLIC: Deci ce fel de... așa că Brett întreba, de ce ai vrea să faci [? exact? ?] Când trebuie să reduceți numărul de măsurători [INAUDIBIL]? Și cred că una dintre probleme [INAUDIBILĂ].. Nu știu. Dezbaterea despre dacă este cu adevărat mai bine sau nu este fotografia? [INAUDIBIL] RAMESH RASKAR: Tomografie, da. PUBLIC: Da, când trebuie să recuperezi cerul, vrei să faci cât mai puține măsurători posibil. Deci, dacă puteți reduce acel [INAUDIBIL], acesta este unul dintre [? implicaţii?] ale acesteia. RAMESH RASKAR: Corect. PUBLIC: Această bucată de cameră... într-adevăr, face asta. RAMESH RASKAR: Dar beneficiul tomografiei, pe care l-am studiat în ultimele două prelegeri, este că este un semnal foarte dimensional. Și astfel, de obicei, într-un semnal de dimensiuni înalte, există o rată de dispersie mai mică. Sunt doar câteva locuri. Dacă te gândești să faci o scanare CAT a corpului tău, există doar patru sau cinci tipuri de materiale. Există mușchi. Există sânge. Tot ceea ce. Sunt doar cinci sau șase lucruri. Este ca un desen animat. PUBLIC: Exact. Mi se pare interesant pentru că testul... RAMESH RASKAR: Este un desen animat 3D. Publicul: Dar dacă te uiți la asta, arată exact ca un desen animat... niște haine albe, niște haine negre, niște... RAMESH RASKAR: Exact. Și de aceea senzorul compresiv funcționează foarte bine acolo. PUBLIC: Deci compresiv este ceva folosit în ceva comercial în prezent? RAMESH RASKAR: Mulți oameni primesc granturi. PUBLIC: Oh. [Râsete] RAMESH RASKAR: Este un motiv suficient de comercial? AUDIENTĂ: Nu. Dar, de asemenea,... RAMESH RASKAR: Dacă pui aceste două cuvinte, șansele tale se îmbunătățesc cu 50%. PUBLIC: Mă gândeam la acest album interesant care, cred, se extinde la tot ceea ce vorbiți voi, băieți. Deci, detectarea compresivă vă permite să luați mai puține măsurători. Dar problema este că trebuie să aveți de fapt mai multe informații despre scenă înainte de a efectua măsurarea, care este o altă măsurătoare. RAMESH RASKAR: Deci, de fapt, pentru a clarifica, măsurătorile sunt făcute într-o manieră neadaptativă. Deci nu trebuie să știi nimic despre scenă pentru a face aceste măsurători. Aceasta este de fapt o putere a... PUBLIC: Vreau să spun, dacă vrei să reușească efectiv... RAMESH RASKAR: Dar când reconstruiești, trebuie să știi ceva despre scenă. Trebuie să știți în ce bază de transformare este de fapt rară. Deci este rară când luați o transformată Fourier? Este rară când faci o transformare [INAUDIBILĂ]? Este rar când luați degrade? Ca și în ceea ce privește desenele animate, sunt doar degrade. Deci trebuie să știi asta atunci când faci reconstrucție. Dar avantajele sunt că, în momentul capturii, folosesc doar această bază aleatorie sau baza Fourier -- Adică, un fel de bază [INAUDIBILĂ] modificată. Pot să merg înainte și să eșantionez specificațiile. Și în software și reconstrucție, nu îmi fac griji cu privire la unele informații anterioare despre scenă, ceea ce este grozav. PUBLIC: Ei bine, cred că în cazul în care faci doar un stil de captură stabilit, te limitezi în ce fel de scene vor fi compatibile cu acea captură. Așa că, de exemplu, dacă aș avea doar o scenă care este toată albă, atunci ar fi suficient doar una capturată. RAMESH RASKAR: Da, dar asta pentru că știi ceva despre scenă. PUBLIC: Exact. Exact. Deci... RAMESH RASKAR: Dar dacă ai această situație în care nu știi nimic despre scenă, vei folosi exact aceeași procedură, de exemplu. PUBLIC: Da, dar nu o faci, atunci pierzi beneficiul de a face mai puține fotografii. RAMESH RASKAR: Nu, afirmația este că, chiar dacă nu știi nimic despre scenă, faci foarte puține măsurători. Tot ce știi despre scenă este că, odată ce i-ai transformat, unele se transformă, este foarte rară. Poate fi reprezentat într-un loc complex. PUBLIC: Așa că îmi amintesc, de fapt, o mapare matematică pentru aceasta, în care reducem dinamic numărul de capturi pe care trebuie să le faceți în timp ce îl capturați. RAMESH RASKAR: Dar asta este o măsură adaptativă... o măsură adaptativă. PUBLIC: Da. RAMESH RASKAR: Pentru că odată ce faci o poză, spui, lasă-mă să văd ce nu am surprins. Așa că lasă-mă să-l iau pe următorul. Aceasta este o problemă foarte diferită. PUBLIC: Da. Ei bine, oricum, codul se află în chestia cu fotografia duală . RAMESH RASKAR: Da, cineva a făcut fotografii duale cu senzori compresivi. PUBLIC: Și este adaptativ. RAMESH RASKAR: Și funcționează foarte bine pentru că, din nou, este un semnal cu dimensiuni mari, cameră 2D, proiector 2D. Este cu patru dimensiuni, dar ceea ce încercați să recuperați este bidimensional. Deci funcționează din nou. Deci tomografia este aceeași. Este captura 4D pentru reprezentare 3D. OK, deci îmi pare rău că nu luăm o pauză. Ar trebui să luăm o pauză de 30 de secunde înainte de a trece la două subiecte foarte mici, adică cum să scriem o lucrare și o listă de dorințe pentru fotografie.