Următorul conținut este furnizat sub o licență Creative Commons. Sprijinul dumneavoastră va ajuta MIT OpenCourseWare să continue să ofere gratuit resurse educaționale de înaltă calitate. Pentru a face o donație sau pentru a vizualiza materiale suplimentare din sute de cursuri MIT, vizitați MIT OpenCourseWare la ocw.mit.edu. DOUGLAS LANMAN: Deci, discuția de astăzi este despre imagistica computațională, care, după cum veți vedea, puteți lua o mulțime de inspirație din această lucrare. Și aș dori doar să menționez că multe dintre aceste diapozitive au venit de la cursul SIGGRAPH al lui Marc Levoy. Deci, dacă doriți mai multe detalii, accesați site-ul său web și puteți vedea materialul original de curs pentru acest lucru. Deci ideea de bază este că știința științifică este într-adevăr condusă de tehnologia noastră. Acest lucru nu este surprinzător pe nimeni din cameră. Exemplul clasic pe care Marc Levoy l-a pus aici este că dacă ai Leeuwenhoek, plus microscop echivalează cu microbiologie. Și, într-adevăr, într-un anumit sens în științe, așteptați ca noi tehnologii să facă noi descoperiri. Așteptăm să punem sateliți. Așteptăm ca păsările să nu mai ruineze Large Hadron Collider. Tehnologia este ceea ce așteptăm. Deci întrebarea pe care și-o pune Marc Levoy este care este cel mai important instrument din ultimul secol. Probabil, în ceea ce privește știința, ce ar pune unii oameni? Dacă ai putea alege doar un singur lucru pe care să-l iei pe o insulă pustie, unde ei fac știință, ce ai lua? RAMESH RASKAR: Cuptor cu microunde. PUBLIC: Computer. DOUGLAS LANMAN: Exact. Aceasta nu este o știre pentru nimeni că computerul este într-adevăr cel mai bun dispozitiv științific. Și ce putem face cu adevărat cu asta? RAMESH RASKAR: Știi, au întrebat oamenii din populația generală care este cea mai importantă tehnologie care le-a schimbat viața? Și au spus telecomandă și cuptorul cu microunde. DOUGLAS LANMAN: Cuptorul cu microunde sau un cuptor cu microunde cu telecomandă este cel mai bun produs. Așa că profesorul Horn a spus - și acest lucru este, desigur, foarte asemănător cu ideile acestei clase - că imagistica computațională este pur și simplu metode de imagistică în care calculul este inerent în formarea imaginii. Și atunci când ne uităm la imagistica medicală și la imagistica științifică, într-adevăr, aceasta este povestea cheie a secolului al XX-lea. Și așadar, în o parte din această discuție, vă voi arăta care este modul modern de a face o parte din imagini folosind tomografia computerizată. Și vă voi arăta cum au făcut asta acum 100 de ani, înainte de a avea putere de calcul, cum au făcut asta folosind calculul mecanic. Și cred că acesta este un proces interesant, pentru a vedea cum calculul a revoluționat cu adevărat modul în care facem fotografii în medicină și știință. Și așa că, dacă ne uităm dincolo de cutia în care ne aflăm , care este optica -- cea mai mare parte a ceea ce vorbim în fotografia computațională este codarea frontului de undă, fotografia câmpului luminos, holografia, lucruri pe care le-ai uitat la temele tale. Dar dacă deschideți puțin cutia, aceleași idei vin într-adevăr dintr-un domeniu mult mai larg. Așa că prima parte despre care voi vorbi este imagistica medicală. Cred că povestea cheie în imagistica medicală este tomografia. Într-adevăr, aceasta este problema centrală. Cum luați o imagine în secțiune transversală a unui obiect în mod neinvaziv? Și poți face asta în două moduri. Puteți utiliza tomografia cu transmisie sau reflexie. Vom vorbi despre ambele. Și apoi, acea poveste se repetă în științe. Odată ce au înțeles tomografia, au spus: OK, putem rezolva toate aceste probleme. Ne putem uita la geofizică. Aceleași metodologii pot fi aplicate acolo, ceea ce se întâmplă cu adevărat în optică acum. La sfârșitul anilor '90, au găsit această legătură între tomografie și optică. Și apoi, dintr-o dată, ai fotografie în câmp luminos. Geofizica a făcut asta. Cam în anii '80, ei au descoperit acea legătură și au inventat toate aceste metode pentru măsurarea discretă în subteran. Și apoi în Fizica Aplicată, vom vorbi despre momentul în care problemele devin mult mai dificile. Pentru fotografia în câmp luminos, ne uităm la optica cu raze. Odată ce începem să luăm în considerare optica coerentă sau tomografia cu împrăștiere, atunci problemele devin cu adevărat interesante. Și cred că pentru aceia dintre voi care lucrează la proiectele finale, se uită cu adevărat la tomografia cu împrăștiere și legătura ei cu fotografia de câmp luminos este locul în care există câteva idei interesante. Și sperăm că unii dintre voi se gândesc deja la asta pentru proiectele voastre. Și apoi, vom sări departe de tomografie. Din nou, voi vorbi despre toate aceste lucruri. Dar apoi, vom trece la altceva, care este în biologie, povestea nu este tomografie, neapărat. Din nou, cum poți face o poză în secțiune transversală? Dar trucurile sunt foarte diferite. Așa că vom vorbi despre microscopia confocală, deconvoluție și învățare profundă, pe care unii dintre voi probabil le-ați văzut deja. Și ultimul domeniu în care voi ajunge este astronomia, de unde provine cea mai mare parte a muncii mele . Multe dintre aceste idei, în special în științele biologice, implică optica refractivă. Și apoi, ne vom uita la modul în care puteți face imagini fără refracție. Și din nou, pentru raze X, raze gamma. Dar nu poți construi optica refractivă. Și atunci, intri în ideile de imagistica cu deschidere de cod și imagistica interferometrică. Și apoi, restul sunt lucruri pe care le-ați văzut deja. Cum construiești panorame? Cum faci fotografii în câmp luminos? Și deci acesta este un exemplu grozav de imagistică medicală și ideea de tomografie. Și deci afirmația problemei este foarte simplă. Vrei să imaginezi în mod neinvaziv în interiorul unui obiect viu. Și, desigur, dacă vreunul dintre voi a fost la scanerul CT de la spital, s- ar putea să-i fi pus să producă imagini ca aceasta. Deci întrebarea este, cum poți face asta fără pur și simplu să deschizi o persoană și să faci o fotografie? Și așa, în general, aceasta implică practic să luați ultimii 100 de ani de matematică și să rezolvați o problemă inversă. Vom vorbi despre ce este acea problemă inversă. Apoi, sunt alte moduri. În loc să inversăm un sistem, putem, bineînțeles, să folosim endoscoape, microscopia cu imagini termice pentru a măsura pur și simplu direct în interiorul corpului. Și cred că lucrul cheie aici este să observăm că matematica din spatele tomografiei, toate aceste dispozitive sunt în esență aceleași. Scanere CT, aparate RMN, scanere PET, ultrasunete, toate folosesc aceeași matematică de bază. Singura diferență este lungimea de undă a radiației de ordinul zero. Și, desigur, celelalte domenii principale sunt EEG și MEG. Și așa că dacă te gândești la proiectarea dispozitivului medical neinvaziv , prima problemă pe care o ai este radiațiile ionizante. Scanerele CT folosesc raze X, în timp ce RMN-urile folosesc unde radiale. Deci acesta este primul beneficiu major. Dar, într-adevăr, celelalte probleme la care trebuie să ne gândim sunt din nou, minimizarea invazivității, nu introducerea dispozitivelor sau sondelor și, de asemenea, îmbunătățirea rezoluției spațiale temporale și, în sfârșit, a face aceste lucruri foarte ieftine pentru lumea în curs de dezvoltare. Deci, acum, să trecem la ce este tomografia. Ei bine, este un cuvânt grecesc, de origine greacă. Și este pur și simplu cuvântul tomos, sau „o secțiune” sau „tăiere”, plus fotografie, grafică, fotografiere. Deci este o imagine în secțiune transversală a unui obiect. Deci, dacă aveți o funcție volumetrică în tomografia 3D, vom lua o parte din acea funcție 3D și vom returna o imagine 2D. Acesta este scopul nostru. Întrebarea este, cum exact putem face asta în mod non-invaziv. Și este o idee foarte simplă. Ideea este... asta descriu eu... cunoscută sub numele de tomografie cu transmisie. Există și tomografie prin reflexie, dar vom ajunge la asta mai târziu. Deci ideea tomografiei cu transmisie este că avem o funcție de densitate, să spunem că corpul nostru uman. Și absoarbe radiațiile electromagnetice. Și așa vom pune o sursă cu un singur punct în scenă, cum ar fi o sursă de raze X, o vom face să emită izotopic în lume și o să punem un plan de film sensibil la raze X pe o parte a obiectului. Și speranța noastră este că o anumită lungime de undă a radiației pe care o putem găsi se va transmite balistic prin obiect. Deci va exista puțină împrăștiere, dar absorbție. Deci, de-a lungul unei raze date de la sursă la planul nostru de film, radiația electromagnetică - fotonii, dacă vreți - va călători pur și simplu prin obiect. Și singurul lucru care se întâmplă este că sunt oarecum atenuate de obiect. Aceasta este presupunerea noastră. Acum, desigur, în lungimea de undă vizibilă, asta nu este adevărat pentru corpurile umane. Nu poți face asta. Și de aceea au ales raze X, pentru că sunt ușor de generat, ușor de construit detectoare. Și în cea mai mare parte, corpurile umane satisfac ipotezele de împrăștiere. Și deci, dacă te uiți înapoi la istoria scanerelor CT, dacă ne întoarcem cu 30 până la 40 de ani, într-adevăr, ai două tehnologii care concurează una împotriva celeilalte. Dar ideea de bază este aceeași. Vom avea o funcție volumetrică, cum ar fi corpul nostru. Și vom face multe proiecții despre asta. Deoarece încercăm să estimăm o funcție tridimensională, trebuie să facem un sistem bine poziționat invers. Deci, trebuie să eșantionăm cumva variația. Deci, o singură imagine va lua doar o proiecție bidimensională. Dar apoi, dacă mutăm sursa într-o nouă poziție, vom obține o nouă proiecție. Dacă luăm un set complet de proiecții, sperăm că există suficiente date pentru a inversa acel sistem. Și vom vedea cum faci asta. Dar, într-adevăr, înainte de a inventa tomografia simplă cu fan-beam, a existat de fapt o idee concurentă. Motivul pentru care a devenit popular este că inversarea matematică este de fapt mai ușoară. Și ideea este că în loc să creăm o sursă punctuală de raze X, avem un tub catodic care generează raze X. Și apoi le colimăm, să zicem cu o serie de fani principali. Și apoi, obținem un set de fascicule paralele. Deci aceasta este problema tomografiei cu fascicul paralel, care este într-adevăr cea mai ușor de rezolvat matematic. Dar acum, că avem o mulțime de putere de calcul, este foarte ușor să rezolvăm acest sistem, care este mai ușor de construit mecanic, și anume să avem surse punctuale de raze X care se rotesc în jurul pacientului. Deci acesta este setul nostru de date. Este pur și simplu un set de proiecții. Deci, acum, avem o problemă de matematică. E foarte simplu. Există o funcție de densitate de bază. Și din nou, o rază va trece prin această funcție de densitate. Evaluezi integrala dreaptă. Și asta va fi absorbția. Și sarcina noastră este să inversăm acel set de integrale de linie, pentru a recupera funcția de densitate. Deci, dacă luăm doar cazul proiecției simple cu fascicul ventilator, avem o sursă de raze X care este culminată, o placă de film pe partea opusă și se rotește la 180 de grade în jurul pacientului. Și asta vă oferă ceea ce este cunoscut sub numele de transformarea radonului. Poate că acest lucru sună familiar pentru mulți dintre cei din cameră. Deci, această transformare a radonului, din nou, este pur și simplu proiecția funcției de densitate de-a lungul unei direcții date. Deci acesta este setul de date pe care vi-l va oferi un scaner CT, în cea mai mare parte. Și apoi, dacă comparați asta cu proiecția fan-beam, unde vă puteți imagina, apoi puneți o sursă punctiformă în colț și apoi rotiți-o, în cea mai mare parte, arată aproape identic. Este doar această ușoară transformare neliniară a proiecției fasciculului paralel. Deci, acum că avem o putere de calcul suficientă, este foarte ușor să reeșantionăm acest set de date pentru a fi echivalent și apoi să folosim transformarea inversă a radonului pentru a rezolva. Dar încă nu știm cum să inversăm această problemă. Dacă vă dau această imagine, ce algoritm puteți aplica pentru a recupera imaginea originală? Așa că acolo a fost cu adevărat perspicacitatea. Așa că recomand... RAMESH RASKAR: Să ne asigurăm că toată lumea este de acord cu noi în procesul de avans. Toată lumea este clar cum treci de la prima imagine la a doua imagine? PUBLIC: Așteaptă. Acesta la acela? DOUGLAS LANMAN: Da. RAMESH RASKAR: De la primul la al doilea, acesta este cel mai simplu. DOUGLAS LANMAN: Este clar? Adică, doar mecanic, este foarte ușor de simulat. Imaginează-ți că această linie este sursa noastră de raze X colimate. Deci emite doar raze paralele de-a lungul axei y. Și acesta este avionul nostru de film. Și așadar, dacă doar simulez lumina care trece prin aici de-a lungul unei raze date, execut integrala de linie a acestei funcții. Asta îmi oferă absorbția de-a lungul acelei raze. Deci o rază dată ar fi un unghi și o poziție de rotație. RAMESH RASKAR: Deci prima coloană a acelei imagini din mijloc... DOUGLAS LANMAN: Este... RAMESH RASKAR: - este prima imagine. DOUGLAS LANMAN: --proiecție cu fascicul paralel. Și apoi le-am roti ușor pe ambele, să zicem la 90 de grade. Asta ne-ar aduce deja aici. Luăm o altă proiecție. Acum, obținem doar seria de proiecții în funcție de unghi. RAMESH RASKAR: Ai vreun film, din întâmplare? DOUGLAS LANMAN: Nu am un film în acesta, nu. Da, o să ajungem la final. Probabil ar trebui să pun asta mai devreme. Și astfel, proiecția fan-beam este, de asemenea, foarte simplu de simulat. În loc de o sursă linie, avem o sursă punctuală în acest colț sau în centru aici. Și avem un set de grinzi de ventilator care se sting. Și apoi, le rotim și pe acestea, motiv pentru care obțineți această transformare neliniară. Deci acesta este setul nostru de date de intrare. Acum încercăm să inversăm sistemul și să trecem de la una dintre imaginile potrivite înapoi la imaginea originală. RAMESH RASKAR: Și aceasta este o problemă comună în multe situații de imagistică virtuală, nu? Pentru că, așa cum a spus Doug, nu vrei să tai pacientul. Deci toate observațiile tale sunt din exterior, dar vrei să deduci ce este înăuntru. Deci, din observațiile externe, doriți să deduceți ceea ce este intern pacientului, sau unui obiect, sau unui puț de petrol. DOUGLAS LANMAN: Corect. Așa că acum, vom trece la matematică. Există într-adevăr un rezultat frumos. Și din nou, dacă lucrează cineva la asta, ar trebui să te uiți la Slaney și Kak. Au o carte foarte drăguță care este online. Cred că s-a epuizat acum, dar întreaga carte este online și aceste cifre sunt acolo. Dar, într-adevăr, ideea de bază din spatele asta... și probabil ați văzut asta în temele dvs. în fotografia de câmp luminos. Cred că te-ai reorientat, bănuiesc? RAMESH RASKAR: Mm-hmm. DOUGLAS LANMAN: Nu știu dacă ai făcut reorientarea domeniului Fourier, sau doar... RAMESH RASKAR: Nu, doar [INAUDIBIL].. DOUGLAS LANMAN: OK. Deci ai făcut reorientarea shift-and-sum. Și se pare că acesta este primul exemplu. Din nou, Marc Levoy a pus inițial aceste diapozitive împreună. Și a avut o lucrare foarte frumoasă... Cred că era 2005, teza. Dar ideea a fost că, pentru reorientarea ta lexicală, ai făcut schimbarea și suma, ceea ce este costisitor din punct de vedere computațional. Folosind teorema de proiecție Fourier, puteți îmbunătăți de fapt timpul de rulare al acelui algoritm. Probabil vei vedea asta odată ce ajungem la asta. Să ne gândim din nou la problema tomografiei. Avem această funcție de densitate în 2D. Să analizăm asta în 2D pentru început. Deci avem o funcție de densitate a lui x și y. Deci aceasta este funcția noastră de absorbție. Și apoi, vom face o proiecție. Din nou, aceasta este o proiecție cu fascicul paralel de-a lungul unui unghi. Și deci dacă proiectăm doar de-a lungul y, atunci proiecția de-a lungul y este pur și simplu integrala acestei funcții peste y. Are sens? Deci proiectăm această funcție pe axa x. Dreapta? Este primul nostru. Este evident. Acum, întrebarea este, să ne uităm la o analiză în domeniul Fourier a acestei probleme. Deci, să luăm transformata Fourier bidimensională a funcției noastre de densitate inițială. Și așa poți scrie asta. E foarte simplu. Toată lumea își amintește asta. Transformarea Fourier este funcția celor doi parametri de frecvență. Este pur și simplu funcția originală înmulțită cu această exponențială complexă, care este suma coeficienților din fiecare direcție. Și iată ideea cheie. Ceea ce ne-ar plăcea să facem este să relaționăm cumva proprietățile acestei transformări Fourier cu o secțiune din domeniul nostru principal. Și deci acesta este într-adevăr trucul frumos din spatele teoremei de proiecție Fourier. Să ne uităm doar la această felie 1D de-a lungul axei frecvenței F în domeniul Fourier. Și astfel încât acesta este doar dat prin înlocuirea lui 0 cu y în expresia noastră anterioară. Deci, în esență, acești kx și ky pot fi gândiți ca un vector. Și îl selectăm doar pe cel de lângă x. Și aici, vezi că termenul nostru y renunță. Și ceea ce ne oferă acest lucru este transformata Fourier de-a lungul axei kx, doar o secțiune 1D. Deci, următorul pas este într-adevăr acolo unde se întâmplă toată magia. Este doar regruparea termenilor în acea integrală. Deci, dacă te uiți la asta, poți vedea că este separabil. Și astfel putem face integrarea y, o regrupăm și apoi să facem transformarea Fourier. Și așa că acum, puteți doar înlocui prima expresie și obțineți acest rezultat foarte frumos. Deci poate cineva interpreta asta? Vezi ce înseamnă asta? Vă pot explica , dar ar fi bine să văd dacă oamenii urmăresc. RAMESH RASKAR: Așa că nu uitați, am început cu primul rând p de x, ceea ce înseamnă că este fotografia făcută de-a lungul direcției x. Dacă punem un senzor, obținem o fotografie px. Și apoi, treci prin toată matematica. A doua ecuație este transformata Fourier. A treia ecuație este transformată Fourier de-a lungul axei y? DOUGLAS LANMAN: De-a lungul, aruncându-l. Deci este transformata Fourier de-a lungul x. RAMESH RASKAR: Da, împreună cu x. Și apoi, ceea ce obțineți înapoi în partea de jos este termenul px, care a fost fotografia originală cu care ați început. DOUGLAS LANMAN: Corect. Deci, privind această expresie, există acum această relație între domeniul frecvenței, transformata Fourier sau o funcție de densitate și funcția originală. Vedeți care este această relație aici? Ce înseamnă această zicală. PUBLIC: Secțiunea este doar transformarea Fourier a fotografiei originale. DOUGLAS LANMAN: Exact. Foarte bun. Deci teorema de proiecție Fourier-slice-- aceasta este ideea cheie. Este că, dacă iau o felie 1D a funcției mele de densitate, iau transformata Fourier -- transformată Fourier 1D -- este egală cu o felie a transformării Fourier 2D. Deci avem această perspectivă. Deci, cum ai putea folosi asta pentru a ne rezolva acum problema? Să ne întoarcem. Vedeți cum ați putea folosi asta pentru a trece acum de la această imagine, care este o proiecție cu fascicul paralel, înapoi la densitatea originală? Poate cineva descrie aproximativ algoritmul? PUBLIC: Luați doar inversul? DOUGLAS LANMAN: Ia ... ce vrei să spui? De? PUBLIC: --din toată axa p. Și apoi reconstruiți toate feliile de... DOUGLAS LANMAN: OK, deci... deci iată imaginea ta. Care este primul pas? PUBLIC: Ia linia, o linie. RAMESH RASKAR: Fiecare coloană de aici este un px. DOUGLAS LANMAN: OK. Grozav. PUBLIC: Și luați-le pe toate, luați inversele, inversul px, inversul pentru transformare. DOUGLAS LANMAN: Pentru transformata Fourier. PUBLIC: Da. DOUGLAS LANMAN: OK. PUBLIC: Și apoi, veți obține kx. DOUGLAS LANMAN: Da. PUBLIC: Și apoi, continuați să rotiți toate kx-urile pentru a genera [INAUDIBIL].. DOUGLAS LANMAN: Este absolut corect. Grozav. Și apoi ultimul pas? PUBLIC: [INAUDIBIL]. DOUGLAS LANMAN: Exact. Așa că permiteți-mi să rezumam asta. Grozav. Exact asta fac ei. Deci algoritmul este foarte simplu acum. Vom obține o felie pentru fiecare unghi. Deci pur și simplu luați proiecția, luați transformarea Fourier 1D și inițializați un acumulator care este tot zerouri. Atribuiți transformarea Fourier, apoi rotiți-vă sursa și receptorul. Luați o nouă felie, transformată Fourier 1D , atribuiți-o și veți construi tot acest spațiu. După o rotație completă de 180 de grade, veți fi populat întregul volum. Și vei inversa transformarea Fourier și vei primi totul înapoi. Deci cred că am o imagine aici despre cum funcționează. Da. Deci tocmai ați descris corect acest algoritm. Deci acum puteți vedea în principiu procedura pe care am schițat-o. La fiecare pas, ne vom popula acumulatorul. Odată ce este plin, putem inversa transformarea Fourier 2D și obținem imaginea noastră. Deci, care sunt unele probleme pe care le puteți vedea? Acesta este manualul -- și există din nou manualul -- soluția la transformarea inversă a radonului. Deci, care sunt unele limitări pe care le puteți vedea deja, practic? Dacă ați construi un scaner CT care să folosească acest algoritm, care ar fi unele dintre limitări? RAMESH RASKAR: Rezoluția unghiurilor la care poți lua... DOUGLAS LANMAN: Exact. Deci vedeți că problema aici este că trebuie să populam complet această transformare. Trebuie să populăm complet transformarea Fourier 2D înainte de a face transformarea inversă, altfel vom avea date și artefacte lipsă. Are sens? Și astfel, această perspectivă este cu adevărat la baza tomografiei. Puteți vedea o mulțime de limitări. Deci primul pe care l-ai menționat este rezoluția. Te referi la rezoluție unghiulară, cred. Deci, dacă am construi un scaner CT care să facă o proiecție la fiecare cinci grade, sau la fiecare 20 de grade, ne-ar rămâne o mulțime de zerouri în acest set de date. RAMESH RASKAR: Dacă luăm la fiecare 20 de grade, umpleți această imagine doar la fiecare 20 de grade. Sunt 20, 40, 60, 80 și așa mai departe. DOUGLAS LANMAN: Deci vă puteți imagina că vor fi uriașe. Aproape de origine, vei fi bine. Reconstrucția ta de joasă frecvență va fi în regulă. Dar detaliile dvs. de înaltă frecvență vor fi pierdute sau necunoscute. Veți avea multe zerouri aici. Deci, asta implică deja că scanerele CT trebuie să aibă un set foarte dens de rotații. Sau, trebuie să aveți ceva înainte despre scenă. Dar asta e o problemă. Care este altă problemă pe care o poți vedea? Deci, dacă aș construi un scaner CT, de exemplu, care ar putea scana doar un set limitat de unghiuri, nu o rotație completă de 180 de grade , atunci ați avea și o mulțime de date lipsă aici. Și deci acesta este al doilea. O eșantionare unghiulară suficientă este o problemă cu scanarea CT. Celălalt este linia de bază limitată. Dacă mă rotesc doar peste un set mic de unghiuri, pentru că poate în orice sistem pe care îl folosesc, este dificil să mă rotesc peste o rotație completă de 180 de grade, atunci nu voi putea obține o reconstrucție completă. Deci, într-adevăr, țineți cont de aceste două limitări ale scanării CT. Trebuie să aveți suficientă densitate unghiulară și suficientă linie de bază. Și de fapt se mapează direct la problemele cu camerele cu câmp luminos . Dar apoi, să ne întoarcem din nou și să ne gândim la [INAUDIBIL]. Deci, din nou, algoritmul nostru este că ne rotim sursa și receptorul în jurul obiectului. Dacă este vorba de tomografie cu fascicul ventilator sau cu fascicul paralel, ajungi la același lucru, unde iei Fourier, transformă 1D și le atribui domeniului de frecvență. Și s-ar putea să avem niște zerouri. Dar există o a treia problemă, pe care nu am descris-o. Și o puteți vedea aici. Din nou, algoritmul a fost inițializat și acumulat toate zerourile. Luăm transformata Fourier 1D după ce am acumulat, apoi rotim, adăugăm următorul , adăugăm următorul, adăugăm următorul. O puteți vedea chiar aici cu opacitatea. Am făcut toate acestea egale și puteți vedea că construim această densitate foarte mare în centru. Are sens? Și astfel, când am transformată Fourier inversă, în esență, termenii mei de joasă frecvență au fost amplificați. Și așa vom pierde contrastul de margine, dacă nu facem nimic aici. Deci, a treia problemă pe care am identificat-o cu transformarea inversă a radonului este că nu puteți evalua pur și simplu acest acumulator și transformarea inversă. Deci iată un exemplu. Deci, dacă o luați doar la fiecare 30 de grade, puteți vedea față de 5, față de 1 grad. Există o diferență uriașă în densitatea eșantionării unghiulare. Dar apoi, întoarce-te. Avem această problemă în care avem acest punct fierbinte în centru. Și deci, dacă te uiți la asta, merge în inversul frecvenței radiale. Deci, pe măsură ce merg mai sus în frecvența radială, nu am această problemă la fel de mult. Deci, soluția... este aici, dar vrea cineva să- mi spună care este soluția pentru a rezolva punctul fierbinte? PUBLIC: [INAUDIBIL]. DOUGLAS LANMAN: Înmulțiți cu inversul, nu? Deci inversul e interesant. Deci inversul direct al acestei funcții este pur și simplu omega în sine, valoarea absolută a omega. Deci, ca filtru în domeniul frecvenței, înseamnă pur și simplu înmulțire cu un câștig, care este proporțional cu raza ta, departe de centrul imaginii. Deci, ce fel de filtru este acesta? PUBLIC: Bypass. DOUGLAS LANMAN: Filtru bypass, nu? Deci algoritmul ne spune că ne înmulțim cu acest filtru de ocolire, ceea ce înseamnă că ceea ce facem în domeniul principal este că ne ascuțim. Are sens? Ne convocăm cu un filtru de ascuțire. Și asta adaugă și alte probleme. Practic, acest filtru amplifică zgomotul de înaltă frecvență. Așa că, în general, în scanarea CT în anii ’80 și ’70, practic, au examinat apodizarea acestui filtru, ținându-l la o anumită frecvență, astfel încât să nu amplificați în mod arbitrar frecvențele înalte. Deci, din nou, aceasta este soluția manuală. Dar conține toate ideile CT. Și, cu siguranță, cum se aplică câmpurilor luminoase, toate aceste idei există și ele. În reorientarea câmpului ușor , trebuie să aveți aceste filtre pentru a preveni aliasarea. În refocalizarea câmpului luminos , aveți nevoie de o linie de bază pentru a eșantiona câmpul dvs. de lumină și cetera. Deci, pentru cei dintre voi care lucrează la proiecte finale, ar trebui să încercați cu adevărat să vă gândiți la legătura cu tomografia. RAMESH RASKAR: Ai de gând să vorbești despre dinți? DOUGLAS LANMAN: Oh, da. Îmi pare rău, aproape că am ratat asta. Deci, întreaga presupunere pe care am făcut-o la început este că am putea găsi o lungime de undă a luminii, sau radiație electromagnetică, care călătorește pe o traiectorie balistică prin obiectul nostru. Dreapta? Deci obiectul nostru devine semi-transparent și pur și simplu absoarbe. Dar acest lucru nu este valabil pentru corpul uman, în cea mai mare parte. În interiorul oaselor, pielii și în diferite celule, este în cea mai mare parte adevărat că razele X călătoresc pe o traiectorie balistică. Există unele împrăștiere pentru os pe care trebuie să le gestionați. Dar poate cineva să ghicească ce sunt acestea aici? PUBLIC: Acestea sunt umpluturi. DOUGLAS LANMAN: Da. Deci problema cu umpluturile este că sunt metalice. Și astfel ei, în cea mai mare parte, împrăștie și absorb razele X. Și așa veți vedea că obținem aceste artefacte unde, în esență, avem date lipsă. Și atunci când reconstruim, obținem aceste halouri în jurul obiectelor. Da. PUBLIC: Cred că se numesc Starburst în [INAUDIBIL].. DOUGLAS LANMAN: OK. Așa că primești aceste explozii, care au de-a face cu numărul tău de mostre pe care le-ai luat. Pentru că puteți vedea modelul stelelor, ca la 30 de grade. Dacă aveți un unghi limitat, puteți obține de fapt modele de explozie de stele. Îl poți vedea și în cel din stânga. Și atunci întrebarea este cum gestionați aceste funcții de ocluzie? Și există câteva metode simple și mai complicate pentru a gestiona acest lucru. Dar scanerele CT moderne, în cea mai mare parte, pot acum scana obturații folosind algoritmi relativ simpli. Și așa că acum, punând toate acestea cap la cap, am rezolvat problema în câmpie. Deci, acum, putem construi un scaner CT pentru a face sarcina de scanare volumetrică. E foarte simplu. Vom rezolva problema în mod repetat în două dimensiuni. Și câți de aici au făcut o tomografie? Oricine? Nu? Dreapta. Cei mai în vârstă dintre noi au făcut tomografii, cred. Deci cred că asta este grozav. RAMESH RASKAR: Volumul? Avem volumul pentru asta. DOUGLAS LANMAN: Deci, dacă intri pe YouTube. Acesta este un scaner CT deschis. Așa că poate ar trebui să o opresc și să mă întorc la început, doar pentru a explica ceea ce vezi. RAMESH RASKAR: Pune audio aici. DOUGLAS LANMAN: Oh. Să vedem. Vom vedea. RAMESH RASKAR: Sunetul este foarte important. DOUGLAS LANMAN: Așa că radiologii de la spital trebuie să demonteze scanerul CT periodic și să-l inspecteze pentru a deteriorări, pentru că în esență este un motor de înaltă calitate, ca un motor cu reacție. Așa că veți vedea într-un minut de ce General Electric și alți producători de motoare industriale cu reacție produc scanere CT. Dar acesta este scanerul CT cu capacul scos. Și, practic, pacientul stă întins pe această targă. Și sunt traduse încet prin această gogoașă. și veți vedea, acesta este x-ul. Este puțin neclar în alambic, dar vezi că aceasta este sursa de raze X. Este o sursă punctuală, deci aceasta este o proiecție cu fan-beam. Și aici, cu o grămadă de ventilatoare deasupra, sunt detectoarele de raze X pentru că generează multă căldură. Și, practic, acest lucru se va roti în jurul pacientului pe măsură ce pacientul traduce încet. Deci, în cadrul pacientului, sursa de raze X se va deplasa pe această spirală. Și la fiecare orientare, va fi nevoie de o proiecție cu fan-beam. Și puteți reeșantiona acele date, dacă aveți o spirală suficient de densă , pentru a fi doar un set de proiecții cu fascicul paralel. Fiecare dintre aceștia aplică în mod independent transformarea inversă a radonului . Nu este exact ceea ce fac ei. Dar dacă ar fi să implementați acest lucru în MATLAB, ar fi practic suficient de bun. Și atunci, veți obține această serie de imagini în secțiune transversală. Apoi, puteți face pur și simplu segmentare și prag, de exemplu, regiunile cu densitate mare corespund osului, alte proprietăți corespund rețelelor de vase de sânge. Deci, acestea sunt elementele de bază ale scanerului CT. Așa că radiologii și tehnicienii trebuie adesea să demonteze asta pentru a o inspecta. Și veți observa că acest lucru este destul de înfricoșător cu capacul scos. Și puteți asculta ce spun radiologii în timp ce inspectează asta. Deci, din nou, se învârte. [SUNET DE ÎNVĂRTARE] TEHNICĂ PE VIDEO: La naiba. [Râsete] DOUGLAS LANMAN: Deci, dacă îți faci vreodată o scanare CT, asta se întâmplă. Dar, desigur, cel mai sigur loc este în interiorul gogoșii. Afară e problema. PUBLIC: În afara camerei. DOUGLAS LANMAN: În afara camerei este un loc mai bun. Puteți vedea că sunt o mulțime de probleme pe care trebuie să le rezolve, mecanic. Deci au... seamănă mult cu un hard disk. Au aici codificatoare optice, care urmăresc viteza de rotație. Și apoi, au ceea ce se numește inele colectoare. Pentru că, practic, una dintre evoluții, crezi sau nu, a fost doar obținerea datelor de pe acești detectoare. Și astfel, de fapt, rulmenții sunt folosiți ca un circuit pentru a transmite doar date prin rulmenți. Și credeți sau nu, asta a fost o mare perspectivă și un patent uriaș. Înainte, de fapt, se puteau roti o singură dată, iar firele se încurcau. Așadar, a avea mecanismul de transfer al rulmenților cu inel colector a fost marea evoluție care a făcut posibile scanerele CT de milioane de dolari . Și așa că majoritatea acestora au costat 1.000.000 de dolari. Și în timp ce vizionați asta, doar pentru a sublinia, din nou, povestea pe care încerc să vă dau este că această idee de bază despre tomografie și transformarea inversă a radonului vă oferă aproape toate dispozitivele medicale de scanare de care eram atât de mândri. din secolul al XX-lea. Știi, desigur, radiografiile ți-au făcut tomografie. Dacă treceți la raze gamma, obțineți SPECT. Dacă te uiți la tomografia cu emisie de pozitroni, este doar o lungime de undă diferită a luminii. Și din nou, dacă trecem la ultrasunete-- așa că devenim acustici-- atunci când intri în ultrasonografie, care este o versiune a modului de reflexie a acesteia. Puteți reformula toate aceste ecuații, în loc să fie transmisie, să fie un mod de reflexie. Și asta este [INAUDIBIL], dar de fapt nu voi intra în asta. Așadar, mesajul final este să alegeți lungimea de undă, să aplicați transformarea inversă a radonului și, de asemenea, puteți face imagini neinvazive. RAMESH RASKAR: Deci, ca un experiment de gândire, poți vedea o relație între acest motor cu reacție nebun și o cameră cu electroni? Vom reveni la asta, dar... PUBLIC: Un fel. RAMESH RASKAR: -- ține asta în fundul minții tale. PUBLIC: Luați doar transformata Fourier. [Râsete] RAMESH RASKAR: Asta este. Asta e tot ce este. DOUGLAS LANMAN: Asta este. RAMESH RASKAR: Și imaginează-ți acum, camera cu câmp luminos este compactă și ceva ce poți purta în buzunar. Întrebarea este, puteți purta aparatul de scanare CAT în viitor, în buzunar? DOUGLAS LANMAN: Corect. Așa că vom reveni la puzzle-ul lui Ramesh la sfârșit și vom vedea dacă a rezolvat cineva. [Râsete] Deci, înainte de a continua, există un diapozitiv mai târziu pentru care trebuie să explic asta. Am explicat doar versiunea domeniului de frecvență a acesteia. Și așa, din diverse motive, dacă nu aveți un FFT rapid -- ceea ce faceți, desigur, acum -- există un algoritm de domeniu pur spațial. Așa că nu uitați, algoritmul nostru a fost să preia toate aceste proiecții, să ia transformările Fourier 1D și să populeze transformarea Fourier în invers. Dar puteți face acest lucru fără a lua vreodată o transformată Fourier. Vede cineva cum ai face asta? Deci este un algoritm de domeniu pur spațial. Obțineți setul de proiecții și reconstruiți direct funcția de densitate. PUBLIC: Doar acumulezi proiecțiile? DOUGLAS LANMAN: Cum? Să revenim la imaginea noastră. Deci, dacă vă dați seama, folosesc exagerat metoda socratică. Dar îmi place ca băieții să-și dea seama, pentru că știu deja răspunsurile. Deci dai aceste date. Nu există transformări Fourier acum. Cum ai de gând să te întorci la asta? RAMESH RASKAR: Fără transformată Fourier, de data aceasta. DOUGLAS LANMAN: Nu? Aceasta este problema B în finală. Partea A a fost transformata Fourier. Acum, nu ai voie. RAMESH RASKAR: La mijlocul mandatului, vrei să spui. DOUGLAS LANMAN: La mijlocul mandatului, OK. RAMESH RASKAR: Care este săptămâna viitoare... va fi o întrebare despre tomografie. DOUGLAS LANMAN: Da. PUBLIC: Eu doar filmez în întuneric. DOUGLAS LANMAN: Asta e grozav. PUBLIC: Dar cred că aș lua primul [INAUDIBIL].. Și de atunci... nu, așteptați. De fapt, rotație [INAUDIBIL]. Așa că voi lua primul rând așa. RAMESH RASKAR: Prima coloană. DOUGLAS LANMAN: Rând sau coloană? Ce vrei? RAMESH RASKAR: Prima coloană este prima fotografie. DOUGLAS LANMAN: Prima coloană este prima proiecție. PUBLIC: Oh. OK, prima coloană. DOUGLAS LANMAN: OK, ai prima coloană. PUBLIC: Și apoi, practic, voi crea raze care sunt reprezentative pentru acele densități vectoriale individuale și doar le voi arunca înapoi. DOUGLAS LANMAN: OK. PUBLIC: Atunci, voi lua următoarea coloană. Și apoi, cred că este un unghi ușor diferit. Așa că voi... DOUGLAS LANMAN: Doar să- i împușc înapoi. Deci veți începe cu un acumulator, din nou, toate acestea sunt zerouri. PUBLIC: Da, toate sunt zerouri. DOUGLAS LANMAN: Aceasta este estimarea ta inițială. Publicul: Și voi lua o singură linie din asta și, practic, voi completa totul cu asta. DOUGLAS LANMAN: Deci o să iei acea valoare și doar o vei replica. PUBLIC: Practic. DOUGLAS LANMAN: OK. PUBLIC: Și apoi, voi face asta pentru al doilea, dar într-un unghi. DOUGLAS LANMAN: Bine? PUBLIC: Și o voi normaliza. DOUGLAS LANMAN: Da. PUBLIC: Și sper că voi obține ceva care seamănă cu craniul. DOUGLAS LANMAN: OK, acesta este algoritmul. Se numește retroproiecție filtrată. Poți demonstra de ce este corect? [Râsete] Înțeleg toată lumea de ce ar funcționa asta, chiar și intuitiv? Intuiția funcționează destul de bine aici. Imaginează-ți că tocmai am avut un cerc mare aici. Absorb 50%. Este doar un cerc, nu? Deci ceea ce voi vedea aici va fi doar un dreptunghi mare, nu? RAMESH RASKAR: Cilindru mare. DOUGLAS LANMAN: Corect. La o anumită valoare, va fi 50% peste tot în interior și 0 în exterior. Dreapta? Deci, dacă folosesc algoritmul lui Kevin, mai întâi, acumulatorul meu va fi totul -- totul aici va fi 50%. Apoi, mă voi întoarce și centrul va începe să devină mai sus. Așa că voi obține acel model de explozie pe care l-am văzut mai devreme. Deci intuitiv, funcționează. Dar din punct de vedere matematic, de ce funcționează? Și cred că, din nou, acum poți folosi transformata Fourier, este ușor de văzut. Pentru cei familiarizați cu transformata Fourier, este destul de directă. Să revenim la... așa că de fiecare dată când aveți o problemă cu domeniul Fourier, folosiți întotdeauna aceleași trucuri. Luați felii sau folosiți perechi de transformate Fourier. Și așa știm că felia de aici este echivalentă cu proiecția. Deci, dacă aș avea o felie, o anumită funcție-- din nou, felia fiind această valoare-- și aș lua transformarea sa inversă 2D doar a unei felii, ce aș obține? PUBLIC: [INAUDIBIL]. DOUGLAS LANMAN: Da. Nu este ușor de văzut. Așa că dă-mi niște... așa că dacă doar încep și am acumulatorul meu... Sper că poți vedea asta. Am kx. Am ky. Și am o felie, vom spune, de-a lungul x. RAMESH RASKAR: Există un comutator chiar lângă tine în partea dreaptă. DOUGLAS LANMAN: Și această funcție de-a lungul -- dacă aș fi doar să o reprezint -- aș avea kx față de ceea ce numim s din kx. Vom spune că este o funcție continuă. Așa că aș avea o funcție aici. Și acum, ceea ce întreb este dacă iau transformata Fourier inversă , cum arată această funcție în domeniul primar, care este x și y? PUBLIC: Este constantă între una dintre aceste alte dimensiuni [INAUDIBIL]. DOUGLAS LANMAN: Corect. Pentru că acest tip, poți scrie ca o funcție F de kx ori funcția delta a ce? De voi, nu? PUBLIC: Da. DOUGLAS LANMAN: Și știm că perechea de transformată Fourier a unei funcții delta este... PUBLIC: Totul este constant. DOUGLAS LANMAN: Totul este constant, absolut. Grozav. Deci, obținem transformarea Fourier 1D este chestia asta. Și apoi, valorile sunt pur și simplu transformarea Fourier inversă a funcției 1D, aici. Deci obținem niște valori diferite aici. RAMESH RASKAR: Luminos în mijloc și nu atât de luminos în centru. DOUGLAS LANMAN: Deci asta ajunge la motivul pentru care Kevin a spus că poate cunoștea deja algoritmul. Dar, din punct de vedere matematic, deci nejăm. Și acum, dacă ne rotim, îl avem pe acesta, care vine acum ca un nou frotiu de-a lungul unui nou unghi pe care probabil l-ați greșit , dar... și deci este liniaritatea. Puteți scrie transformarea Fourier totală, F din kx, ky este egală cu suma tuturor unghiurilor dumneavoastră ale acestei funcții F de, o vom numi doar unghiul delta al altei funcție a unghiului. Și apoi, prin liniaritatea transformării Fourier, ajungem aici. Obținem o sumă peste unghiurile transformării Fourier inverse a acelui lucru. Liniaritatea transformării Fourier, care vă oferă... are sens pentru toată lumea? Deci, doar aplicând proprietățile pe care deja le cunoașteți despre transformarea Fourier, puteți argumenta de ce este corectă folosind teorema de proiecție Fourier-slice. Dar dacă rezultatul final este, nu trebuie să luați nicio transformă Fourier. Totuși, trebuie să aveți acel filtru de ascuțire. Pentru că poți vedea că vei acumula prea multă greutate în centru. Dar, în afară de acel pas de pre-filtrare, acel pas de ascuțire, retroproiecția filtrată va rezolva problema. Deci, acest algoritm pe care tocmai l-am descris, în loc să utilizeze transformarea Fourier 2D inversă, se numește retroproiecție filtrată, deoarece primul pas este să filtrați toate proiecțiile. Al doilea pas este proiectarea lor înapoi. Îi mânjiți, așa cum a descris Kevin. Deci există două moduri de a rezolva transformarea inversă a radonului. Puteți lua transformata Fourier 2D sau puteți utiliza retroproiecția filtrată. Așa că acum, vom trece la o parte din munca mea pe care o voi completa. Deci ideea pe care Marc Levoy a avut-o prezentând acest lucru la SIGGRAPH este să ne inspirăm din imagistica medicală și științifică, astfel încât să putem face camere foto mai bune. Dacă suntem fotografie computațională prin oameni de optică, cum putem demonstra această idee? Și așadar, una dintre limitările pe care Ramesh le-a identificat cu tomografia computerizată, de ce nu o putem pune în buzunar, este că avem o mulțime de părți mobile. Avem aceste surse de raze X care se mișcă în jurul obiectului. Deci întrebarea este cum putem elimina sursele de raze X în mișcare ? Și așa că doar ca un experiment de gândire, voi explica rapid ce am făcut. Practic, aceasta este o altă versiune a CT pe care o găsiți adesea, unde, în loc să avem o sursă punctuală rotativă, avem pur și simplu o matrice liniară de surse. Și apoi, avem un avion de film [INAUDIBIL] detector de raze X pe o parte a unui obiect. Și apoi, pur și simplu comutăm aceste surse la viteză foarte mare. Pentru că o singură sursă poate fi activată la un moment dat, altfel va trebui să se suprapună proiecțiile. Și deci există o limitare cu acest design, deoarece aveți un unghi limitat. Dacă te gândești la asta ca la un scaner CT, am trecut doar peste o mică valoare de referință. Dar folosind tomografia modernă, asta nu este o problemă atât de mare. Puteți utiliza reconstrucția de bază limitată. Prin urmare, principala limitare a acestui tip de dispozitiv este cât de repede puteți porni și opri sursele. Și se dovedește că este foarte dificil și costisitor să faci asta. Deci, ceea ce ne-am dori este să avem un algoritm în care pur și simplu avem o serie de surse punctuale pe tot timpul. Dar ceea ce vei avea este pe detector, vei avea o suprapunere liniară. Veți avea mai mult de o proiecție suprapusă. Deci, acum, aveți o problemă matematică interesantă, care este modul în care inversați acele serii de proiecții pentru a reveni la setul de date tomografice. Și pe măsură ce numărul surselor punctuale crește, acea inversare devine prost poziționată. Și așa că ceea ce am făcut a fost că am inserat o mască aici. Și deci acesta este practic un panou de plumb cu găuri găurite în el. Și acum, puteți optimiza acest model de găuri, astfel încât problema inversă să fie bine pusă. Deci, din nou, scopul nostru este să obținem setul de proiecții, dar toate se suprapun. Deci, acum, vom proiecta o mască pentru a inversa acel sistem. Și așa că, dacă doriți să căutați acest lucru, avem o lucrare SIGGRAPH despre aceasta numită Câmpuri scuturi. Dar asta este ideea de bază. Punând această mască aici, puteți evita sistemul. Și dacă te gândești la asta foarte simplu, este ca un televizor 3D. Ai putea face față a ceea ce se numește o barieră de paralaxă aici. Deci ai doar o serie de găuri. Și apoi, dacă fiecare gaură este separată de dimensiunea imaginii acestei matrice, atunci obțineți doar o serie de camere pinhole și puteți inversa acel sistem. Dar, desigur, nu trece multă lumină. Deci îl puteți optimiza și găsi măști mai bune. Deci, pentru că nu ne place să lucrăm cu raze X, pentru că nu am vrut cancer, am construit această lungime de undă invizibilă. Și, deci, ceea ce puteți vedea este ca acesta este ca un scaner CT construit pentru 100 USD. Deci avem o serie de LED-uri, care servesc drept surse de raze X. Avem un obiect opac, un manechin din lemn. Și apoi, avem ceea ce simulează un senzor de format mare. Așa că acesta este un truc -- poate unii dintre voi îl folosiți și în temele pentru acasă. Pentru a face un detector foarte mare, puteți folosi o cameră și doar o foaie de hârtie ținută între sticlă. Așa că facem o fotografie din spate. Dacă ar fi să aprind un LED , aș vedea o umbră. Pentru a obține o imagine a unei umbre, parcă aș avea un senzor uriaș. Deci, acesta este un mod ieftin de a face senzori uriași. Și apoi, punem aici o foaie subțire de sticlă cu masca noastră de înaltă frecvență. Și așa acum, ajungem la problema vederii computerizate. Așa arată când luminile sunt aprinse. Deci puteți vedea umbrele multiplex. Și apoi, acesta este modelul magic pe care l-am folosit de fapt, de care puteți vedea de ce, dacă citiți lucrarea. Dar din nou, dacă te gândești doar la asta ca la o problemă matematică, avem un set de proiecții care sunt toate suprapuse. Încercăm să inversăm și să obținem umbrele individuale. Și se dovedește că prin introducerea acestui model de înaltă frecvență, acea inversare devine bine pusă. Așa că vă las pe voi să vă gândiți de ce. RAMESH RASKAR: De asemenea, poți... dacă te întorci la imaginea anterioară. De asemenea, vă puteți gândi la asta ca și cum ați sta în fața unui aparat cu raze X. Și fiecare dintre acele umbre ar fi umbra pe care ai avea-o în fața aparatului cu raze X. Și pe măsură ce mutați sursa de raze X, veți obține una dintre acele fotografii. Se vor muta. În afară de aici, toate sursele sunt pornite în același timp. Și astfel obțineți această proiecție simultană a razelor X. Deci întrebarea este din această fotografie, cum pot rezolva toate umbrele originale? DOUGLAS LANMAN: Și aici, puteți vedea cum arată setul de date. Deci nu vezi nimic acolo. Dar apoi, doar inversând acel sistem de ecuații, poți de fapt să scoți, din acea singură imagine, toate umbrele individuale. Deci este ca și cum ai avea 36 de proiecții într-o singură imagine. Așa că avantajul cheie aici este că nu luminizăm niciodată. Așa că putem înregistra acest lucru la fel de repede cu cât camera poate înregistra imagini. Deci, pentru tomografia cu viteză foarte mare, în loc să rotim sau să strobocem sursele de lumină, putem avea doar sursele de lumină aprinse tot timpul. Suntem limitați doar de rata de cadre a camerei. Și, desigur, din aceste proiecții, puteți utiliza algoritmul de gaură vizuală și puteți reconstrui. Din nou, aceasta nu este tocmai tomografie, pentru că este un obiect opac. Dar în esență este aceeași idee. Facem acea retroproiecție filtrată. Și astfel obțineți această reconstrucție. Puteți vedea, uitându-vă la manechin, există acest efect de explozie stelară pe care l-ați descris mai devreme, unde aveți această fantomă din cauza liniei de bază limitate. Și din nou, asta are doar de-a face cu algoritmul folosit pentru a reconstrui. Dacă ai avut ceva anterior cu privire la netezimea obiectului, l-ai putea elimina. Dar din nou, de obicei, ar trebui să aprinzi și să stingi acele lumini. Deci ar trebui să faci 36 de fotografii. Aici, luăm doar unul. Deci, aceasta a fost inspirația pe care am luat-o din lumea imagistică medicală . Și se dovedește că toate acestea pot fi aplicate pentru a face fotografii în câmp luminos , ceea ce a făcut Ramesh în 2007, punând acea mască de înaltă frecvență în interiorul camerei. Așadar, puteți vedea că toate aceste idei se leagă împreună. Și toate încep cu tomografia. Și acum, să luăm o priză rapidă. Avem o lucrare recentă în care am luat această idee în altă direcție. Și deci ideea este că vom construi acest dispozitiv. O să dau înapoi... RAMESH RASKAR: Doug, Matt a făcut o prezentare? DOUGLAS LANMAN: Ai văzut deja asta? RAMESH RASKAR: Da. Cred că a arătat-o. Deci poți trece prin asta foarte repede. DOUGLAS LANMAN: OK. Deci ideea de bază... RAMESH RASKAR: Puteți descrie legătura dintre cele două. DOUGLAS LANMAN: Da. Deci ideea de bază este că vom lua asta și vom construi un ecran LCD care poate simți adâncimea. Și astfel trucul este destul de simplu. Ignorați ecranul LCD. Vom construi exact dispozitivul pe care tocmai l-am descris. Deci avem un panou LCD. În loc să afișăm o imagine, o vom folosi doar pentru a afișa [INAUDIBLE].. Nicio surpriză mare acolo. În loc să imprimăm masca, folosim masca cu afișaj LCD. Și apoi, în spatele panoului cu cristale lichide, vom avea un difuzor. În interiorul LCD-urilor, aveți deja difuzoare în spatele cristalului lichid. Și din nou, vom avea acel senzor uriaș. Vom avea un difuzor, panoul LCD și câteva camere în spatele lui. Și apoi, vom fotografia lumea. Și astfel se dovedește că puteți captura câmpul luminos cu acea configurație. Deci, doar construind acea configurație, folosind ecranul LCD ca mască, puteți captura câmpul luminos. Și apoi, puteți doar cronometra multiplex. Pe primul cadru, am aprins lumina din spate și folosim LCD-ul pentru a afișa o imagine. Pe următorul cadru, am stins lumina din spate și am folosit ecranul LCD pentru a afișa o mască și a umple lumina și a repeta la o frecvență foarte înaltă, astfel încât ochiul să nu o poată percepe. Și acum, obțineți un panou LCD care poate face multi-touch, așa cum vedeți în mod normal. Și apoi, pe măsură ce utilizatorul mută mâna de pe masă, puteți simți adâncimea. Și așa că acum, în loc să aveți multi-touch normal, puteți avea și o axa z. Poți să scoți lucruri de pe masă. A fost o demonstrație foarte simplă de dovadă a conceptului. Dar arată că doar cu acea idee de bază, acum, am intrat în direcția HDR. Din nou, Matt Hirsch a făcut toată această muncă. Așa că ar trebui să vorbești cu el pentru a vedea demonstrațiile. Și așa prezentăm acest lucru la E-Tech la SIGGRAPH Asia. Deci, dacă aveți idei bune despre demonstrații pe care le puteți utiliza cu un ecran de detectare a adâncimii, vă rugăm să-mi trimiteți un e-mail sau lui Matt. Și dacă vrei să le implementezi, cu atât mai bine. Vă vom da credit când reporterii vă vor întreba, cine a fost tipul deștept care a programat asta? Deci aici, puteți vedea doar un explorator CAD foarte simplu. Puteți alege modelul dvs., care este o interacțiune tactilă. Vă puteți mișca mâna și controlează doar rotația, translația și matricea de scară aplicată modelului respectiv. Dar din nou, ceea ce este bine aici este că nu vezi nicio cameră. Nu este nimic ascuns în ramă. Deci este pentru utilizator, este surprinzător că primești câmpul luminos. Și demonstrația pe care nu o arăt este că poți face transfer de câmp ușor cu asta, dacă știi ce este. Ne descurcăm bine la timp? RAMESH RASKAR: Cred că da. DOUGLAS LANMAN: Mă pot mișca mai repede. Cred că Ankit a prezentat deja acest proiect, nu? RAMESH RASKAR: Da, el l-a prezentat pe acesta. Da. DOUGLAS LANMAN: Bine, deci voi trece prin asta foarte repede, atunci. Deci, din nou, am menționat că odată ce computerul a fost inventat, tomografia a devenit ușoară. Pentru că știau transformarea radonului și o puteau inversa. Dar dacă nu aveți un computer, cum puteți face o imagine transversală a unui pacient? Deci, dacă am doar o sursă de raze X și un film cu raze X și aș avea pacientul așezat pe targă, aș putea porni sursa. Aș primi o proiecție. Dar principala problemă este că mă interesează doar să văd o imagine în secțiune transversală, astfel încât să pot identifica o tumoare în creier sau altceva. Dar nu îmi pasă de orice altceva din acel avion . Și problema este că dacă am doar această proiecție în perspectivă, tot ce nu este focalizat va fi și imaginea senzorului. deci , întrebarea este cum pot obține o imagine doar de-a lungul unei felii prin volumul meu fără a utiliza calcul? Și cred că Ankit a explicat asta. Dar acum 100 de ani, au făcut asta și se numește laminografie. Și vă oferă rezultate aproape identice, pur cu mijloace mecanice. Deci ideea este simplă. Pur și simplu luați sursa de raze X și o traduceți mecanic de la stânga la dreapta. Și apoi, în același timp, îți traduci mecanic filmul de la dreapta la stânga. Și așa se alege un punct în pacient și ești staționar. Veți avea o rază să treacă prin acel punct. Și apoi, dacă pornesc următoarea sursă, vom primi o altă rază, atâta timp cât mișc senzorul astfel încât același pixel să fie iluminat. Apoi, acel punct va fi concentrat, dar orice altceva nu va fi. Deci, este un truc inteligent să obții un scaner CT fără computere. Și așa am folosit asta pentru a publica o lucrare la ICCP. RAMESH RASKAR: De fapt, să ne întoarcem la asta. Există o diferență minoră, totuși, între a face acest lucru, a obține o imagine în secțiune transversală - această metodă, față de a face întregul lucru de rotire și proiecție multiplă. Care este diferența dintre cele două? PUBLIC: Nu obțineți atât de multă profunzime. RAMESH RASKAR: Îmi pare rău? Publicul: Nu obțineți atât de multă adâncime emisă de... RAMESH RASKAR: Planul de focalizare... putem controla asta în funcție de cât de aproape este sursa de raze X și senzorul. Deci, puteți obține o adâncime destul de îngustă de câmp. Dar ce se întâmplă cu lucrurile care se află în afara profunzimii câmpului? PUBLIC: [INAUDIBIL]. RAMESH RASKAR: Încă va fi neclar. Și va fi în continuare parte din imagine. Deci nu elimini cu adevărat ceea ce este deasupra și sub planul tău de focalizare. Doar că nu este focalizat, dar este încă acolo. DOUGLAS LANMAN: Corect. Puteți să-l defocalați puternic, dar contrastul dvs. va fi mai scăzut în CT. Așa că Ankit Mohan a avut o idee grozavă să aplice acest lucru în fotografie. Și ea ți-a explicat deja asta, așa că voi trece rapid prin asta. Dar ideea de bază este că dacă am ecuația mea normală a lentilei subțiri, am un avion în lume în stânga, iar senzorul meu în dreapta, obiectivul le hărește. Și pe măsură ce opresc diafragma, cercul de estompare pentru punctul de focalizare automată scade. Și la limită, dacă am doar o gaură, atunci am totul în lume în centrul atenției. Și așa că, dacă te uiți la camera iPhone-ului, la camera telefonului mobil , deschiderile sunt atât de mici încât, în esență, faci imagini pinhole pentru orice. Și ceea ce ne-ar plăcea să facem este să facem imagini cu o cameră a telefonului mobil, ca și cum ar avea un obiectiv mare. Pentru că într-adevăr, atunci când plătești un fotograf profesionist pentru a-ți face fotografiile de nuntă, este chiar neclaritatea. Neclaritatea este unul dintre marile trucuri pe care le au. RAMESH RASKAR: Plătești pentru neclaritate. DOUGLAS LANMAN: Plătești pentru neclaritate, într-un fel. Plătind pentru acea bucată mare de sticlă și puțin talent de a te concentra asupra obiectelor din prim plan, astfel încât fundalul să aibă această neclaritate cu adevărat frumoasă. Acesta este unul dintre lucrurile pe care le vei observa imediat când te uiți la un album de nuntă. Este ca, oh, la naiba. Pur și simplu au estompat fundalul. Grozav. Deci întrebarea este, putem obține o defocalizare frumoasă, neclaritate plăcută, cu o cameră a telefonului mobil? Deci, într-un fel, ne vom înrăutăți camera. Dreapta? O cameră de telefon mobil focalizează totul , ceea ce poate este un lucru bun. Dar nu are acea senzație estetică de a avea un fundal frumos defocalizat. Și așa că trucul principal-- și din nou, îl voi credita pe Ankit cu asta-- este o perspectivă frumoasă. Ei bine, mai întâi, să luăm în considerare mutarea găurii. Pentru că tocmai am vorbit despre laminografie și asta e ca și cum ai muta sursa de raze X. Deci, gaura noastră de aici este ca sursa noastră de raze X. Este centrul nostru de proiecție. Și deci, dacă traduceți un pinhole-- și din nou, avem două puncte în lume. Sunt mapate pe senzorul nostru. Nimic nu se mișcă, în afară de gaura. Apoi, vezi că fără să miști senzorul, obții aceste două cercuri neclare. Dar unul dintre ele este puțin mai mare. Și din nou, în interesul economisirii timpului, puteți trece printr-o analiză matematică. Dar ceea ce este cu adevărat important aici este că este aceeași idee ca laminografia aplicată la raze X. Practic, aceasta este ca sursa noastră de raze X și aceasta este ca avionul nostru de film. Și dacă le transpunem la un anumit raport de viteză, putem de fapt să punem în centrul atenției anumite avioane din lume. Este ca și cum pacientul nostru s-ar fi mutat în partea stângă în loc de centru. Acum, avem sursa de raze X în film. Și viteza devine acum în aceeași direcție, în loc de direcții opuse. Dar dacă te gândești la asta, este identic. Este identic cu laminografia pe care am văzut-o mai devreme. Și atunci, ceea ce putem face este să alegem pur și simplu acest raport de viteză. Și din nou, dacă spui, uită-te la raza albastră aici, se va muta întotdeauna la același pixel de pe senzor. Pentru că mișcăm senzorul la viteza potrivită, astfel încât pixelul să rămână mereu pe raza albastră. Dar cel roșu devine neclar. Și schimbând acel raport de viteză, ne putem concentra apoi pe un alt plan, o idee foarte simplă. Și așa că, dacă te uiți în hârtie, ceea ce am făcut a fost doar recreat ceea ce face un obiectiv, dar în timp. Și astfel toată lumea cunoaște această ecuație, ecuația gaussiană a lentilei subțiri. Distanța până la planul imaginii și planul obiect sunt la inverse inverse egale cu distanța focală. Sper că toată lumea știe asta. Deci, în mod normal, această distanță focală este selectată de bucata ta de sticlă. Alegeți un indice de refracție și o curbură, iar asta vă oferă distanța focală. Aici, aveți o distanță focală virtuală. E foarte simplu. Este distanța de la registru, care este distanța până la gaura dvs. la senzor, înmulțită cu raportul de viteză. Deci, pe măsură ce schimbăm acest raport de viteză, putem face lentile arbitrare. Și apoi, ne oferă un număr F virtual. Și atunci, doar pentru a trece peste asta, acesta este prototipul pe care l-am construit. Deci, din nou, puteți vedea povestea aici. Știam despre laminografie, care este un subiect de imagistică medicală. Am spus, o, vrem să publicăm ceva în fotografia computațională. Să construim o versiune optică. Și iată. Deci aveți două etape de traducere. Pe cele de jos le puteți vedea. Acestea sunt de la [INAUDIBIL]. Și apoi, avem lentilă și senzor. Și apoi, puteți vedea, acesta este tipul de imagine. Dacă ai opri un obiectiv, asta ți-ar oferi telefonul tău mobil. Și apoi, ajustând acel raport de viteză și făcându-l mic, ne putem concentra pe primul plan, pe mijloc sau pe fundal. Și, așadar, obținem doar estompare în 1D, așa că există ceva mai multă complexitate. Dar asta este ideea de bază. Deci vezi acea cale. Începem cu imagistica medicală, am publicat o lucrare în... nu SIGGRAPH, ci un jurnal de grafică. Este un algoritm destul de simplu. Și așa că acum, doar pentru a termina tomografia, aplicarea acesteia la optică, așa cum am făcut noi, este evident. Și este, de asemenea, evident cum ați aplica acest lucru în alte aplicații. Deci, aceasta este o versiune acustică a tomografiei, pentru că doar schimbăm lungimea de undă, într-un fel. Și așa ideea este că, să spunem că avem o regiune subterană în care căutăm zăcăminte de petrol, sau lucruri mai nobile, cum ar fi să căutăm scheletele dinozaurilor. Și astfel, pentru a găsi funcția de densitate, este foarte ușor. Doar ai configurat un set de încărcături explozive pentru a genera unde de presiune. Și vor călători, sperăm, dacă facem lucrurile corect și o modelăm. Dacă selectăm lucrurile corect, atunci ele călătoresc în mare parte pe căi balistice către o serie de microfoane. Și apoi, din nou, putem trata asta ca pe o tomografie de bază limitată și putem inversa acel sistem. Și aici, la fiecare pixel sau Voxel, reconstruim viteza. Deoarece viteza este proporțională cu densitatea unui material. Și astfel, putem reconstrui obiecte subterane folosind tomografie, folosind explozivi și microfoane, ceea ce este o idee grozavă. RAMESH RASKAR: Deci poți face asta pentru orice. Puteți face acest lucru, nu doar în subteran, dar așa funcționează ultrasunetele, de asemenea, scanerele cu ultrasunete. DOUGLAS LANMAN: Corect. Și apoi, Marc Levoy a propus acest lucru în curs, care mi-a plăcut întotdeauna, și anume, dacă ai putea să-i convingi pe italieni că poți instala niște încărcături explozive în metroul lor -- cu care s-ar putea să aibă probleme -- și să folosești câteva microfoane, ați putea să reconstruiți Roma subterană doar din acel algoritm, cel puțin o estimare aproximativă. Și deci nu e rău. Adică, dacă mergi în aceste situri arheologice, sunt uriașe. Și adesea descoperă noi locuri în subteran. Și așadar, acesta este un alt mod de a concura cu alte tehnologii de scanare. Este foarte ieftin. Și așa, atâta timp cât mă descurc bine la timp, voi exploda rapid. RAMESH RASKAR: Da. Este bine. Daţi-i drumul. DOUGLAS LANMAN: Așa că am început cu tomografia, care presupune că totul se deplasează pe o cale balistică. Și acum, să începem să ne slăbim presupunerea pe acea cale balistică. Deci prima presupunere este, să lăsăm lucrurile să se refracte. Deci, în loc să avem un obiect care doar atenuează razele, să presupunem că avem aici o lentilă care va îndoi razele și le va difracta ușor. Deci avem medii slab refractive. Deci am slăbit modelul anterior al obiectului. Deci, dacă încercați să aplicați transformarea inversă a radonului la setul de date pe care îl adunați, se pare că nu vom putea reconstrui acest lucru. Acea ipoteză că lucrurile se mișcă pe căi balistice este esențială. Există câteva lucrări interesante recent la SIGGRAPH despre tomografia Schlieren, unde reușesc să facă asta cu anumite presupuneri. Dar oricum, dacă slăbim acest lucru pentru a permite refracția, atunci algoritmul se schimbă. Și deci aceasta este o muncă foarte inteligentă. Din nou, acesta este în Slaney și Kak, dacă sunteți interesat. Dar ideea este să luminăm obiectul. Să facem din nou un fascicul paralel. Așa că vom începe cu o undă plană monocromatică. Deci avem un laser care generează o lungime de undă de lumină. Este coerent, călătorește spre obiectul nostru. Și apoi, ajunge pe un detector. Și așa ne obținem proiecția, din nou. Din nou, ceea ce încercăm să reconstruim acum este indicele de refracție, nu absorbția. BINE? Așa că primim valul împrăștiat. Și se pare că trebuie să măsurăm faza. Deci veți avea un al doilea fascicul de referință. Deci, în esență, vom lua o hologramă a obiectului, pentru cei familiarizați. Dar poți ignora asta. Practic, veți avea o undă plană care se proiectează prin obiect, creând un câmp împrăștiat. Și așadar, dacă parcurgeți matematica, obțineți un rezultat nou, care este foarte interesant, înainte ca teorema dvs. de proiecție-slice să se schimbe. Se pare că, în domeniul frecvenței, luăm din nou transformata Fourier 2D, indicele nostru de refracție. Și în domeniul transformării, o proiecție plană, o mască de proiecție cu fascicul paralel la o curbă, un arc în domeniul frecvenței. Așa că acum, pentru a face tomografie, am putea face ceea ce am făcut înainte. Putem roti sursa, sau emițătorul și detectorul, în jurul obiectului. Și apoi, trebuie doar să știm care este traiectoria acestei curbe, care depinde doar de lungimea de undă a luminii. Și apoi, ne vom popula acumulatorul, ca înainte. Transformarea inversă efectuată. Are sens, sperăm, pentru toată lumea? Dar există un truc cu adevărat inteligent. Din nou, nicio parte în mișcare este o temă obișnuită în aceste lucruri. Pentru a reconstrui topografic acest obiect, trebuie să rotim ceva pentru a popula acest acumulator. Dar se pare că trucul inteligent aici este că acest arc depinde de frecvența iluminării. Deci vede cineva, fără să se uite la lucrul din dreapta, ce faci? PUBLIC: Da. Tu schimbi frecvența. DOUGLAS LANMAN: Schimbați frecvența. Grozav. A fost o perspectivă foarte bună. Așa că, dacă pur și simplu ai blocat frecvența încet, vei ține asta. Și vei primi cel puțin jumătate din transformare. Dar dacă ți-aș spune că este o funcție cu valoare reală? Știți care este proprietatea? PUBLIC: Simetric. DOUGLAS LANMAN: Ce fel de simetrie? PUBLIC: [INAUDIBIL]. DOUGLAS LANMAN: Conjugați simetric, nu? PUBLIC: Da. DOUGLAS LANMAN: Deci știm că această funcție este simetrică conjugată deoarece este o funcție cu valoare reală. Deci este suficient să primiți doar jumătate din ea. Pentru că atunci, o putem replica. Deci, din nou, tomografia își amintește practic de procesarea semnalului. Dacă vă amintiți toate acele perechi de transformare, veți avea noroc în proiectul final, dacă vă decideți să îl utilizați. Și așa că acum, putem lua o secvență de imagini în care doar variam parametrul de frecvență. Vom popula acest tip și vom folosi simetria simetrică conjugată și transformarea inversă. Și astfel, obțineți un rezultat nou, care este aproape la fel de fundamental în acest domeniu precum teorema Fourier de protecție-slice, și anume că o hologramă cu lumină albă poate reconstrui practic indicele de refracție a unui obiect. Pentru că putem folosi din nou suprapunerea. Putem ilumina cu mai multe frecvențe în același timp, atâta timp cât le putem rezolva. Apoi, vom obține toate datele simultan. Deci, practic, aveți un mod curat și coerent de a călători la obiect. Și din asta, obțineți instantaneu indicele de refracție. RAMESH RASKAR: Deci refracția și difracția sunt folosite în mod interschimbabil aici. DOUGLAS LANMAN: Da. RAMESH RASKAR: Știi de ce? DOUGLAS LANMAN: De ce refracție și difracție? RAMESH RASKAR: Da. Adică, încerci să reconstruiești ceva în prezența refracției folosind o teoremă de difracție. DOUGLAS LANMAN: Corect. RAMESH RASKAR: Știi care este motivul? DOUGLAS LANMAN: Nu cred că înțeleg asta la un nivel suficient de profund pentru a-- RAMESH RASKAR: OK. DOUGLAS LANMAN: Adică, fundamental... RAMESH RASKAR: Tocmai mi-am dat seama de ce oamenii [INAUDIBIL] le confundă pe cele două. DOUGLAS LANMAN: Da. Cred... Da, va trebui să vă răspund despre asta. Acest lucru depășește cunoștințele mele. Deci, așa arată o reconstrucție a unui obiect singular. Deci acum, artefactele noastre au această traiectorie arc. Dar, din nou, ceea ce este interesant este că dacă te uiți la acea lucrare de tomografie Schlieren, înseamnă că ai putea obține reconstrucție în timp real fără a aprinde luminile doar făcând imagini holografice în bandă largă a obiectului tău. Și apoi, acesta este motivul pentru care am menționat mai devreme retroproiecția filtrată. Aceasta a fost transformarea de reconstrucție a domeniului de frecvență. Deci, se pare că există o transformare de domeniu pur spațială și pentru aceasta. Și deci acesta, nu știu. Dar transformarea Fourier 2D a unui arc se adaptează la această funcție ciudată dependentă de adâncime pe care o vedeți aici. Deci asta devine retroproiecția filtrată. Este dezastruos că de-a lungul acestor căi care devin mai largi, pe măsură ce mergi în profunzime. Pentru că asta este transformata Fourier inversă a acestui model arc. Deci, puteți face back-proiectarea filtrului, dar se dovedește că este mult mai costisitor din punct de vedere computațional. Deci, în general, fac asta folosind domeniul de frecvență, cred. Deci a fost slab refracta. Dar acum, dacă trecem la a pune LED-uri pe pielea ta, acum, vorbim despre lucruri care sunt puternic împrăștiate. Așa că am trecut de la complet, doar absorbție de-a lungul unei traiectorii balistice, la refracție puțin. Și acum, doar ne împrăștiem complet. RAMESH RASKAR: Așa că imaginați- vă că puneți un LED pe deget și doriți să vedeți osul din interiorul degetului cu lumină vizibilă. DOUGLAS LANMAN: Deci acesta este un exemplu pe care îl puteți vedea. Aceasta este o secțiune transversală a degetului nostru, vom spune. Și avem fotodiode în jurul degetului. Și apoi, punem această mică fibră optică chiar lângă degetul nostru și o iluminăm. Și astfel, vei împrăștia lumina în tot acel volum și îi vei măsura intensitatea, în anumite puncte, care iese la suprafață. Deci, aceasta este cunoscută sub numele de tomografie optică difuză, deoarece difuzia este procesul cheie pe care încercăm să-l inversăm. Și astfel, în toate aceste cazuri, doar creăm acest sistem invers. Creăm ceva pe care apoi aplicăm transformarea Fourier inversă pentru a inversa, sau ce ai. Deci, în medii puternic refractive sau de împrăștiere, ajungeți cu un model foarte dificil de inversat. Este prost poziționat și neliniar, ceea ce înseamnă că este foarte greu. Deci, ceea ce fac în general este că folosesc câteva trucuri pentru a ajunge la inversarea bootstrap. Deci, dacă puteți începe cu o estimare inițială bună despre... aici, căutăm, poate, densitatea optică. Ne uităm la cât de dens este materialul. Aceasta este funcția 2D pe care încercăm să o reconstruim într-o secțiune transversală. Și dacă am avut o estimare inițială bună pentru asta, atunci putem folosi un proces de modelare înainte, în care perturbăm acea funcție de densitate și vedem cât de bine prezice valorile pe care le-am găsit. Și puneți asta într-un cadru de optimizare. Deci facem o coborâre în gradient și ne optimizăm reconstrucția funcției de densitate, astfel încât observațiile să se potrivească. Predicțiile se potrivesc cu observațiile. Acesta este cadrul general de inversare pe care îl aveți, o parte din algoritmul decent de gradient neliniar. Dar întrebarea este, cum obțineți acea estimare inițială a funcției de densitate? Și așa vezi, spune asta chiar acolo. Puteți utiliza un alt proces care este balistic care este corelat cu funcția dvs. de densitate. Deci, ceea ce fac în general aici este că folosesc timpul de zbor. Ei luminează asta, înregistrează timpul necesar pentru a călători prin... poate nu în acest exemplu specific, dar vă puteți imagina că faceți asta. Aprindeți lumina foarte repede și vă uitați la întârzierea timpului, iar asta vă va oferi o estimare inițială aproximativă a funcției dvs. de densitate . Deci, în general, tomografia de foraj face și asta. Utilizează timpul de zbor pentru a inversa procesul, dar și pentru a obține estimarea inițială. Și apoi, acest lucru este folosit foarte mult în imagistica medicală non-invazivă. Deci, dacă nu doriți să faceți o scanare CT pentru că pacientul a avut o doză prea mare de raze X, puteți, de exemplu, să-i puneți electrozi pe corp, așa cum vedeți aici, și cel puțin să obțineți ceva dur nu. la fel de înaltă ca o scanare CT, dar suficientă pentru a pune diagnosticul. Deci, iată un exemplu despre cum ați aplicat tomografia optică difuză în scopuri de diagnostic. Deci aici, avem doi gemeni, doi bebeluși, cel stâng versus cel drept. Din nou, sunt gemeni. Și apoi, unul dintre ei a avut o... acesta este un lucru specific... hemoragie intraventriculară stângă. Deci au avut o ruptură a unui vas de sânge în emisfera stângă. Și puteți vedea aici. Așa că au atașat toți acești electrozi. Și generează aceste imagini cu timpul de zbor pentru estimarea inițială. Și apoi, se uită la conductivitate și reconstruiesc această funcție de densitate. De fapt, au două funcții de densitate. Unul este volumul sanguin și saturația de oxigen. Și aici, puteți vedea clar hemoragia, pentru că acesta este geamănul care are hemoragia. Acesta este cel care nu. Puteți vedea că este mult volum de sânge. Acesta este un bun indiciu al unei hemoragii, dar nu unul grozav, deoarece cortexul tău prefrontal curge mult sânge pentru început. Dar apoi, puteți vedea și o oxigenare scăzută, ceea ce vă spune că sângele nu a fost împrospătat de ceva timp. Deci este o grămadă mare, mare de sânge care nu este oxigenat, ceea ce înseamnă hemoragie. Deci acesta este doar un exemplu în care o scanare CT nu ar arăta acest lucru, deoarece densitatea ar fi aceeași. Și astfel, folosind o tomografie optică difuză, puteți obține o reconstrucție bună. Dar pentru că este difuz, veți obține doar detalii de joasă frecvență. Și apoi, iată un alt exemplu în care puteți vedea că partea non-invazivă începe să fie slăbită. Mi se pare destul de invaziv, pentru că nu vreau să scot acei electrozi. Deci aici, puteți vedea că este în afara Wikipedia. Dar acesta este doar un exemplu pe care l-am găsit, mi s-a părut interesant. Să presupunem că vrem să facem imagini CT live ale inimii pentru a studia un fel de funcție. Am putea pur și simplu să îmbrăcăm pacientul cu electrozi, să-i conectăm, să pornim și să stingem acești electrozi. Și funcția de densitate pe care o reconstruim aici este conductivitatea și rezistivitatea, pe care apoi le putem folosi pentru a căuta diverse probleme -- urmăriți bătăile inimii și cetera. Și astfel această problemă este de fapt foarte dificilă. Se numește problema Calderón. Și inversarea acestui sistem este foarte dificilă, motiv pentru care imaginile sunt atât de slabe. Dar din nou, puteți vedea că această temă este doar extinsă și extinsă. Facem proiecții asemănătoare tomografice ale setului de date. Dar ecuațiile noastre de reconstrucție nu sunt doar transformată Fourier inversă din cauza dispersiei. Și atunci, s-ar putea să vă gândiți, ei bine, dacă acum vom face un proiect de fotografie computațională din asta, dacă am lumina împrăștiată și o fotografie cu câmp luminos , atunci voi ajunge cu această problemă. Deci, există proiectul tău final - un plus b este egal cu proiectul. Așa că acum în mișcare. Aproape am terminat discuția, dar o mare parte a fost pe tomografie. Dar ideea generală de a obține o imagine în secțiune transversală reapare în științe. Așadar, în biologie, mai degrabă decât să folosească raze X, fac acest lucru optic și folosesc doar deconvoluția 3D. Deci aceasta este o idee foarte simplă. Probabil, toți ați înțeles-o deja. Dar ideea este să spunem că am un specimen într-un microscop care are o anumită adâncime și vreau să îl reconstruiesc în 3D. Deci cum fac asta? Ei bine, observația simplă este de a modela procesul de formare a imaginii . Și dacă aș avea doar un singur fascicul în spațiu și m-aș concentra asupra lui? Apoi, văd această imagine. Asta ar fi ca funcția de răspuns la impuls pentru focalizarea pe acest plan. Și apoi, dacă mă concentrez puțin sub sursa noastră punctuală, voi vedea o neclaritate defocalizată. Și pe măsură ce defocalizez din ce în ce mai mult, văd o neclaritate mai mare. Deci, acesta este cunoscut sub numele de stivă focală. Îmi iau microscopul și pur și simplu traduc lama specimen fără a schimba optica. Și creez o stivă focală, acest răspuns de impuls tridimensional la o sursă punctuală. Deci, dacă mă uit la asta ca o funcție de adâncime, dacă doar iau această felie prin funcția de răspândire a punctului și apoi mă uit ca o funcție de adâncime în obiect, am această neclaritate tridimensională, unde o puteți vedea iese cu aceste două conuri inversate. Și așa acum, putem modela procesul de formare a imaginii. Deci presupuneți că specimenul pe care îl observați nu se împrăștie în mod semnificativ, atunci puteți utiliza un model de formare a imaginii liniară, care este foarte simplu. Aveți o funcție de sursă tridimensională, care doar vă descompune obiectul într-o serie de surse punctuale. Fiecare sursă punctuală generează un PSF ponderat de oricare ar fi intensitatea punctului respectiv. Și asta generează stiva focală pe care o văd. Are sens pentru toată lumea? Și, din nou, acest lucru este adevărat numai în ipoteza că împrăștierea nu este semnificativă sau, altfel, acest model nu este corect. Deci, în general, ceea ce facem este că luăm o funcție tridimensională care converge cu o altă funcție tridimensională. Și din nou, folosești întotdeauna același truc în imagistica medicală. Primul lucru pe care îl faceți este să luați transformata Fourier. Deci, dacă luăm transformata Fourier 3D a acesteia, atunci toată lumea cunoaște teorema de convoluție. Pentru a simula acest lucru în domeniul frecvenței, luăm transformata Fourier 3D a obiectului, transformata Fourier 3D a PSF, înmulțim cele două și asta ne dă transformata Fourier sau stiva focală. Toata lumea urmareste? Așa că acum, dacă vreau să scap de neclaritate... pentru că nu uitați, am vorbit despre laminografie. Lucrurile din avion vor fi neclare. Așa că vreau să fac o fotografie cu un microscop, dar vreau să fie ca o gaură. Vreau ca fiecare lucru să fie concentrat, astfel încât să mă pot uita la structurile care au o anumită profunzime. Dar problema cu asta este că avem neclaritate. Și atunci, doar inversăm asta. Deci luăm transformarea Fourier 3D a stivei focale și împărțim la transformarea 3D a PSF și ajungem la obiectul nostru, pe care apoi îl inversăm transformarea Fourier 3D. Și asta ne oferă stiva focală, totul în focalizare. Deci, probabil, majoritatea dintre voi sunteți familiari. Cine este familiar și a mai făcut deconvoluție , înțelegeți-o? Într-adevăr? Deconvoluția este un concept nou pentru toată lumea? Interesant. BINE. Ei bine, probabil că ar fi trebuit să explic asta în 2D, dar sper că ați urmat ceea ce explicam. Deci, dacă acesta ar fi 2D, toate aceste transformări devin bidimensionale. Aceasta este ideea de bază. RAMESH RASKAR: Da. Deci deconvoluția este foarte asemănătoare cu ceea ce ați făcut pentru alocarea câmpului de lumină, care este schimbarea și adăugarea. Schimbați și adăugați este [INAUDIBIL].. Și imaginați-vă, dacă având în vedere toate acele imagini reorientate, ați fi vrut să vă întoarceți și să construiți câmpul luminos. Asta ar fi o formă de deconvoluție. Și în loc să o faci în domeniul frecvenței pentru atribuire, ai făcut-o în domeniul principal. Tocmai ați deplasat și ați adăugat [INAUDIBLE].. Deplasarea și adăugarea în domeniul principal este aceeași cu proiecția convoluției. Sau, convoluția este practic [INAUDIBILĂ].. DOUGLAS LANMAN: Deci, sperăm că toată lumea a înțeles asta pentru a estompa, pentru a pune totul clar în focalizare-- așa că dacă aș aplica acest algoritm răspunsului la impuls în sine, la ce te-ai aștepta să vezi? Ce ar deveni aceste imagini? Poate că este o verificare pentru a vedea dacă ai înțeles asta. PUBLIC: Nu vor deveni toți pur și simplu sursa punctuală? DOUGLAS LANMAN: Toate au devenit sursa punctuală? Aproape-- 50%. PUBLIC: [INAUDIBIL] sursă punctuală [INAUDIBILĂ].. DOUGLAS LANMAN: Așa că încerc să elimin neclaritatea. Dacă aș avea o sursă punctuală... din nou, aceste imagini sunt la adâncimi diferite. Dreapta? PUBLIC: Mm-hmm. DOUGLAS LANMAN: Dar prin aplicarea algoritmului de deconvoluție, mă aștept să văd cu siguranță un punct ascuțit chiar aici. Dreapta? PUBLIC: Da. DOUGLAS LANMAN: Dar dacă mă mișc puțin în profunzime? PUBLIC: [INAUDIBIL] în alt mod. RAMESH RASKAR: Ține minte, este o neclaritate aici, nu? DOUGLAS LANMAN: Da. PUBLIC: Corect. RAMESH RASKAR: Deci convoluția înseamnă estompare. Și în majoritatea cazurilor, deconvoluția înseamnă eliminarea pentru a estompa. PUBLIC: Deci nu ai vedea nimic. PUBLIC: Nu, ar trebui să vedeți cealaltă imagine focalizată. DOUGLAS LANMAN: Pe care ai vedea? PUBLIC: De ce nu ați vedea imaginea de la cealaltă profunzime focalizată? DOUGLAS LANMAN: Pentru că există doar un punct în lume. PUBLIC: Oh, bine. Deci nu vezi nimic. DOUGLAS LANMAN: Nu vezi nimic, corect. Deci primești steaua de aur. Și așa se verifică. Sper că, dacă înțelegeți de ce toate aceste imagini par complet întunecate, cu excepția celei din centru, atunci aceasta este deconvoluție în general. Deci, doar pentru a sublinia... din nou, când facem această inversare, împărțim cu transformata Fourier a nucleului nostru de estompare. Și deci problema aici, dacă vă amintiți mai devreme, când făceam inversul pentru transformare și domeniul frecvenței, chiar nu doriți zerouri, nu? Deci, dacă împart la 0, voi avea probleme. Dar dacă te uiți la stiva noastră focală și te uiți la acel nucleu neclar, avem o mulțime de zerouri. Și aceste zerouri apar de fapt datorită diafragmei numerice a obiectivului. Dacă obiectivul vede într- un unghi foarte ascuțit, putem face ca acesta să aibă câteva zerouri. Așa că, din moment ce nu ați văzut convoluția înainte, cred că este probabil suficient, doar pentru a observa că atunci când eliminați estomparea, aveți într-adevăr nevoie de această funcție pentru a nu avea zerouri. Deci, dacă veți aplica conceptele pe care le-am văzut mai devreme și ideea de fotografie computațională, ideea ar fi să modificați cumva optica, să adăugați coduri de diafragmă, pentru a face ca acest nucleu neclar să nu aibă zerouri. Deci, când faci inversarea, nu amplifici frecvențele înalte [INAUDIBIL].. PUBLIC: Dacă înțeleg corect ce spui, faci mai multe imagini la diferite adâncimi, nu? DOUGLAS LANMAN: Da. PUBLIC: Deci, de ce nu vă puteți concentra la diferite adâncimi? De ce ai... DOUGLAS LANMAN: Asta facem. PUBLIC: Deci, dacă faci mai multe imagini, de ce nu îți muți planul focal la diferite adâncimi? DOUGLAS LANMAN: Exact de asta facem. Dar este exact ca laminografia de mai înainte. Este un exemplar gros. Deci hai sa trecem la o poza. Pentru că imaginile valorează întotdeauna mult mai mult. Deci avem această mandibula a unei insecte. Încercăm să obținem o imagine transversală. Dar dacă nu facem nimic, dacă ne concentrăm la o anumită adâncime în specimen și este retro-iluminat, obțineți acest halou. Pentru că totul în afara planului focal este neclar. PUBLIC: Da. DOUGLAS LANMAN: Nu? PUBLIC: Da. DOUGLAS LANMAN: Așa că acum, pot să mă concentrez la o altă adâncime și să generez o nouă imagine, care este exact ceea ce este o stivă focală. Dar voi avea în continuare acea prezență neclară. Deci, ceea ce încerc să fac este să colectez acel stivă focală și apoi să inversez întregul sistem, astfel încât să obțin, într-adevăr, ce este o imagine în secțiune transversală, astfel încât să nu fie nimic neclar în ea, ceea ce face laminografia, care este ceea ce face tomografia, în general. Deci puteți vedea acea temă. Trebuie făcut ceva pentru a elimina neclaritatea. Și astfel, în acest caz, ceea ce se face pentru a elimina neclaritatea este acea împărțire prin transformarea Fourier de răspuns la impuls , acest algoritm de deblurring, mai degrabă decât utilizarea unui algoritm de tip tomografic. Doar pentru a vă arăta esența, cred, deoarece se pare că deconvoluția este un concept nou pentru toată lumea, cu siguranță mergeți și citiți intrarea Wiki. Pentru că cred că această idee a fost bătută până la moarte în domeniul fotografiei computaționale. Deci, puteți obține cu siguranță câteva proiecte finale din ea. Puteți vedea cum o echipă poate folosi asta. Deci, iată câteva rezultate frumoase. Aceasta este din opera lui Marc Levoy. Aceasta este de fapt o imagine de microscopie cu câmp luminos, dar ideile sunt aceleași. Puteți face deconvoluția. Puteți vedea că merge de la ceva ce ar produce un microscop tipic. Avem acest specimen gros, dar este transparent optic. Producem o imagine frumoasă, tomografică, pe care apoi o putem reda în volum. Și așa că, dacă mergi la niște pachete comerciale foarte scumpe, asta este ceea ce vei vedea pentru deconvoluție. Deci, veți trece de la ceva din stânga, care are toată neclaritatea nefocalizată, doar o imagine drăguță, clară, complet focalizată a unui obiect cu multă adâncime aici, astfel încât să puteți studia structura fină. Și atunci, cred că mai avem puțin timp. Deci, să ne uităm la alte trucuri pe care le folosesc în biologie. Deci, din nou, tema din toate acestea-- laminografie, tomografie-- este întotdeauna eliminarea neclarității nefocalizate, astfel încât să obținem o imagine frumoasă, în secțiune transversală, astfel încât să putem vedea tumorile, să putem vedea structurile clar . Și deci ideea asta este chiar drăguță. Și din nou, nu am timp să vă arăt, dar au existat două sau trei lucrări SIGGRAPH de fotografie computațională, din nou, de la Marc Levoy folosind această idee. Deci această temă continuă să apară. Mergeți la literatura medicală, uitați-vă ce făceau ei în anii ’60 și ’70, vă dați seama cum se mapează exact pe o cameră și asta. Ești publicat. Acesta este practic algoritmul. [Râsete] Deși, devine din ce în ce mai greu să faci asta, pentru că prea mulți dintre noi folosesc acel algoritm pentru lucrări. Deci ideea din spatele microscopiei confocale, de care poți fi mândru. Marvin Minsky este, fără îndoială, creditat cu inventarea acestuia și aici, la Media Lab. Deci ideea de bază este că am un plan în specimenul meu despre care vreau să obțin o imagine frumoasă în secțiune transversală. Și vreau ca tot ceea ce este în afara focalizării să nu contribuie cu nimic la imaginea finală. Așa că pot face asta computațional făcând această deconvoluție. Și asta este ca o scanare CT. Sau, o pot face mecanic, ceea ce este ca laminografia. Nu va fi nici un calcul aici. Mă voi asigura doar că funcția de împrăștiere a punctelor-- deci dacă mă întorc la funcția de împrăștiere a punctelor, chestia asta-- dacă acesta a fost doar un punct, atunci dacă te uiți la această matematică, dacă convoluți punctul cu obiectul, obții din nou obiectul. Deci, la fel ca laminografia, rezolvați problema mecanic. Dacă putem face acest lucru un punct, răspunsul nostru la impuls este un punct, atunci nu trebuie să facem deconvoluție. Și acesta este trucul principal. Și astfel microscopia confocală face acest lucru într-un mod foarte inteligent. Avem o sursă de lumină secundară. Pune o gaură în fața ei. Acum, trece prin lentila mea subțire. Și merge, se concentrează pe baza distanței focale, până într-un punct din planul la care ne pasă. Deci, dacă ar fi să fac acum o poză cu acest avion, atunci tot ce aș vedea ar fi lucruri care sunt iluminate de raza de lumină. Orice altceva nu este iluminat. Deci deja ne descurcăm bine, pentru că lucrurile de aici nu vor contribui deloc la estompare. Deci, acesta este scopul găurii. Să lămurim acest lucru. Din nou, să ne gândim la mandibula pe care am văzut-o mai devreme. Dacă avem un punct care este mai mare în adâncime decât avionul pe care încercăm să ne concentrăm , atunci lumina va fi răspândită pe un disc. Are sens? Vom lua această tăietură prin conul nostru de lumină. Deci, în funcție de rază, sau adâncime, departe de planul la care ne pasă, va scădea așa cum, luminozitatea punctului respectiv? PUBLIC: Pătrat. DOUGLAS LANMAN: Da, [INAUDIBIL].. Grozav. Deci deja, dacă vă gândiți la răspunsul nostru la impuls pe care l-am avut mai devreme, urmează 1 peste arc pătrat, acum. Dreapta? Nu este rău, dar îl putem face și mai clar? Vreo idee? PUBLIC: deschidere numerică mai mare. DOUGLAS LANMAN: O deschidere numerică mai mare, asta va răspândi energia. O va face oarecum mai clară. Asta e corect. Deci trucul cheie... oh, tocmai ai văzut-o. O previzualizare, dacă a văzut-o cineva. La fel crede cineva... deci facem doar lucruri pe partea de iluminare. Nu ne-am gândit încă cum facem fotografia. Se pare că puteți folosi exact același truc. Așa că, pentru a fotografia acest punct din planul de focalizare care ne pasă de asta, vom pune aici o celulă foto mare, o fotodiodă mare. Deci, dacă n-aș face nimic și aș pune un separator de fascicul aici, această lumină ar cădea doar pe celula foto pe o regiune mare, așa că ai avea SNR scăzut, dacă nu ai avea o lentilă aici. Ai nevoie de lentile, desigur. Deci, dacă punem o lentilă, aceasta se concentrează și pe acest plan. Deci, aceasta colectează toată lumina împrăștiată de acest punct înapoi pe fotodioda noastră. Deci, dacă punem fotodioda în acest moment, obținem o imagine frumoasă. Dar apoi, dacă am lua o stivă focală, atunci punctele nefocalizate ar avea intensitate 1 peste r pătrat. Dar putem face mai bine decât atât. Pentru că acum, putem pune o gaură în fața celulei noastre foto. Deci, dacă te gândești la asta, imaginea noastră... să zicem că iei acest disc neclar și îl imaginezi. Se imaginează pe un disc, dar apoi o să luăm acea mică parte din centrul discului. Așadar, se pare că partea de imagistică, punând un orificiu pe fotodiodă, vă oferă și o funcție de 1 peste r pătrat. Deci, de fapt, trece 1 peste r la al patrulea acum, ceea ce este destul de puternic. Deci deconvoluția nu mai este cu adevărat necesară. Are sens? Și de aceea se numește confocal. Ai două găuri, două sisteme focale. Și sunt aliniați unul cu celălalt. Dar, desigur, cum ai de gând să faci o poză? Va trebui să scanezi chestia asta, ceea ce poate dura mult timp. Deci, va trebui să mutați găurile de pe sursa de lumină și detectorul, în scanarea raster 2D, întregul obiect. Deci aceasta este cu adevărat limitarea acestei tehnici. Făcând deconvoluție, făcând trucuri pentru a face PSF convertibil, putem face totul dintr-o singură lovitură. Dar cu microscopia confocală, înainte de a avea computere, puteam face asta fără a avea nevoie de inversare. Deci vezi trucul, nu? Și ar trebui să fie același truc ca laminografia și tomografia. Și atunci, ar trebui să termin , nu? RAMESH RASKAR: Da, e bine. DOUGLAS LANMAN: Deci ne apropiem de sfârșit, acum. Deci, acesta este folosit în practică, nu chiar așa cum am descris-o. A fost nevoie de un deceniu sau doi pentru a comercializa ideea lui Marvin Minsky . Și așa este folosit în biologie în practică acum. Se numește microscopie confocală cu scanare laser. Ideea este practic aceeași. Aveți o sursă laser, o diafragma pinhole atât pe sursă, cât și pe detector și o fotodiodă și un separator de mijloace speciale. Vom ajunge la asta. Ceea ce facem este... într-adevăr, este exact ca scanările CT. Nu vă pasă doar de funcția de densitate absolută. Adesea, adăugați un agent de contrast. Deci, dacă cauți un edem pulmonar, injectezi iod în vene. Iodul absoarbe razele X. Și astfel, puteți privi structurile venelor și modul în care acestea evoluează în timp. Așa că vor să se uite la structuri specifice din interiorul celulelor. Ei nu vor doar o imagine brută a unei celule. Vor să pună în valoare anumite detalii. Deci, ceea ce folosesc sunt margele fluorescente, de obicei cu niște etichete de antigen pentru biologi. Oricum, voi sări peste asta. Ele evidentiaza practic. Au pus coloranți fluorescenți atașați cumva de structurile la care le pasă, de exemplu, mitocondrii, structuri celulare, ADN, ce ai. Și asta va spori contrastul în imaginea finală. Și apoi, ceea ce se întâmplă este [INAUDIBLE] conceput pentru a fluoresce la o anumită lungime de undă care este diferită de lungimea de undă a sursei tale. Și apoi, aveți din nou un divizor de fascicul, dar aveți un filtru pe acest divizor de fascicul care reflectă doar lungimea de undă fluorescentă, nu lungimea de undă stimulatoare. Deci, asta vă îmbunătățește și mai mult contrastul. Deci, acesta este trucul de bază din spatele microscopiei confocale cu scanare laser. Dar din nou, trebuie să scanați mecanic atât deschiderea sursei de lumină, cât și deschiderea detectorului. Deci, acesta este un proces lent. Dar diviziunea celulară este, de asemenea, un proces lent. Deci putem crea videoclipuri cu asta. De exemplu, aici, puteți vedea procesul tipic de diviziune celulară , unde cred că au accentuat probabil telomerii. Așa că le poți vedea separat, presupun. Deci, din nou, diviziunea celulară are loc pe o scară de timp suficient de lungă încât să putem scana asta fără dificultăți și să creăm videoclipuri. Și apoi, doar pentru a vă arăta cât de bună este imaginea în secțiune transversală , cred că acesta este granul de polen. Aici, puteți vedea că aceasta este, din nou, fără nicio deconvoluție, fără calcul. Tu creezi această funcție. Și apoi, puteți lua o felie din funcție. Și îl puteți vedea evoluând în dreapta, aici. Aceste imagini în secțiune transversală sunt foarte clare. Și din nou, folosind margele fluorescente, puteți spori și contrastul. Deci această idee este dusă la concluzia ei firească. Acesta este produsul comercial pe care îl obțineți la final. Și acum, din nou, să-mi pun o parte din munca mea... ei bine, aceasta nu este munca mea. Dar vreau să vorbesc doar pe scurt despre imagistica cu deschidere codificată. Așa că am vorbit despre biologie, imagistica medicală, puțin despre geologie, și acum, să nu lăsăm astronomii afară. Și deci ce idei putem extrage din domeniul imaginilor astronomice? Cred că principalul mesaj care influențează fotografia computațională este ideea deschiderilor codificate. Deci, dacă fac imagini în raze X, caut explozii de supernovă, ce ai, nu este practic să construiești optică refractivă. Într-adevăr, tot ce poți face este să atenuezi razele X. Puteți construi foi de plumb, așa cum am făcut în proiectul nostru, și le puteți bloca în diferite moduri. Și atunci, întrebarea este, cum poți să imaginezi lungimi de undă nerefractive? Deci vreo idee? Așa că prima idee, desigur, este construirea unor deschideri de orificii. Deci, să zicem că vreau să fac o imagine cu raze X a lumii, dar nu pot construi o lentilă subțire care să refracte razele X. Deci am această radiografie, gumballs. Și iau doar o foaie de plumb și fac o gaură în ea. Am un film cu raze X. Nicio problemă, primesc o imagine, dar am probleme de expunere, ca întotdeauna. Deci vreo ghicire despre cum să rezolvăm problemele de expunere, ca ingineri? Care ar fi niște trucuri? Vreo idee? PUBLIC: Deoarece este o gaură, vrei altceva. DOUGLAS LANMAN: Da, Kevin? PUBLIC: Diafragma codificată? DOUGLAS LANMAN: Da, este în titlu. [Râsete] Deci, ce ar însemna asta? Ce ar însemna asta? PUBLIC: Alegeți un model care lasă să pătrundă mai multă lumină, apoi deconvoluați-- DOUGLAS LANMAN: Frumos. PUBLIC: --modelul. DOUGLAS LANMAN: Exact. Deci, dacă nu știam încă despre deconvoluție -- ceea ce, se pare, wiki-ul vă va spune mai târziu -- primul pas pentru a obține mai multă lumină este să faceți o gaură mai mare. Deci, dacă nu vă pasă cu adevărat de rezoluția scenei, vă puteți permite să estompați. Deci, dacă ne uităm doar la stele, le putem estompa. Putem face găuri mai mari și apoi deconvoluăm asta, poate, chiar dacă este dificil să deconvoluăm o deschidere circulară. Deci nu este o soluție grozavă, dar lăsăm să pătrundă mai multă lumină printr-o funcție a razei pătrate. Dar adevărata soluție aici este, din nou, numită deschidere codificată. Și ideea este să găurim multe găuri, așa cum a spus Kevin, astfel încât toate imaginile care se suprapun să fie cumva inversabile. Și ai văzut asta. Sper că vă amintiți de când vorbeam despre proiectul [INAUDIBLE]. Am pus toate aceste găuri în fața avionului, astfel încât să poți inversa acel sistem. Și așa că nu am fost primii care au descoperit asta, cel puțin pentru imagistica surselor punctuale. Și ideea de bază este că atâta timp cât proiectăm această mască în mod corespunzător, astfel încât sistemul de ecuații să fie bine pus, îl putem inversa. Și aici, vă voi arăta ceva care nu este bine pozat. Aceasta este ca configurația [INAUDIBILĂ] pe care am văzut-o mai devreme, unde aveam 3 surse de raze X activate tot timpul. Și acele trei imagini se suprapuneau pe senzor. Deci, dacă facem acest lucru în domeniul razelor X, avem trei imagini care vin din trei centre de proiecție. Toți sunt doar mutați unul de celălalt. Așa că vă puteți imagina dacă aș avea doar două găuri și câteva înainte pe scenă, nu ar fi prea dificil să separă două imagini. Deci asta mi-ar dubla lumina și probabil aș fi capabil să inversez asta. După cum a spus Kevin, ar fi destul de ușor de deconvoluat, probabil, deși nu ar fi un proces liniar. Deci, pe măsură ce adăugăm din ce în ce mai multe găuri, lăsăm să pătrundă mai multă lumină. Dar acea inversare, acel sistem de ecuații, devine mai prost pus. Numărul de stare este mult mai rău. Așadar, acolo ajungem în acest domeniu al optimizării diafragmelor codificate, la care lucram. Și așadar, dacă cineva dintre voi se gândește să folosească măști pentru captarea câmpului luminos sau alte lucruri, veți ajunge foarte repede la rezultate similare. Și ideea aici este să folosești... în acest caz, în general, ei folosesc ceva numit cod MURA. Și este doar proiectat-- Vă voi spune că principalul fapt despre codul MURA este că funcția sa de autocorelare este egală cu o funcție delta. Și deci, dacă vă gândiți la deconvoluție, pentru cei dintre voi [INAUDIBILI] care nu sunt familiarizați cu ea, asta ar trebui să vă spună de ce puteți face asta. Dar ideea de bază este că procesul de formare a imaginii îl putem modela acum ca fiind liniar. Avem o secvență de orificii de dimensiuni și distribuții diferite pentru a simula imaginea pe care o primim. Ne putem evolua diafragma, deschiderea scalată cu funcția noastră. Aceasta este imaginea pe care o primim pe senzor. Și apoi, crezi sau nu, ca să deconvoluezi, pur și simplu convolgi din nou. Convoluți această imagine neclară, imaginea suprapusă, cu funcția de deschidere. Și în absența zgomotului, îți revii exact imaginea. Și într-adevăr, aceasta este problema cheie a diafragmei codificate și ceva pe care îl puteți investiga. Au existat câteva lucrări de la [INAUDIBLE] și altele în ultimii ani, în care au aplicat acest lucru. Din nou, astronomia l-a aplicat fotografiei computaționale. Și au spus: OK, vom pune deschideri codificate în camere. Dar trucul cheie este care va fi deschiderea, astfel încât inversarea să fie bine poziționată în prezența zgomotului-- hârtie. Deci asta ar trebui să te inspire, sperăm, pentru proiectele tale finale. Și apoi, acest lucru a fost aplicat și pentru tomografie. Și astfel puteți face exact ceea ce a fost scopul nostru în proiectul nostru , și anume să avem tomografie instantanee fără părți mobile, folosind unele dintre aceste concepte. Principala provocare este să o faci atunci când obiectele sunt aproape de detector. Și asta este cu adevărat problema pe care am rezolvat-o în munca noastră. Deci asta îmi încheie discursul. Așa că vă mulțumesc pentru atenție. Dacă aveți întrebări, o să le răspund cu plăcere. RAMESH RASKAR: [Inaudibil]. [Aplauze] Bine? Deci câmpul luminos și tomografia... una în același lucru. Este clar pentru toată lumea? În regulă, să desenăm pe tablă. DOUGLAS LANMAN: Cred că acel link este cel care te interesează. RAMESH RASKAR: Și atât de asemănător cu [INAUDIBLE], care a fost totul despre schimbare și adăugare, [INAUDIBLE] focalizare. Deci aveai o grămadă de camere. Și ai acest [INAUDIBIL] aici. Și când vrei să se reorienteze pe un anumit plan, dacă doar rezumați toate aceste imagini, atunci vă focalizați la infinit. Dar dacă doriți să vă concentrați asupra primului plan, atunci ați muta în mod corespunzător aceste imagini în model. Dar care este această imagine anume? Practic, este o imagine a unei scene în care toate aceste raze sunt... dacă luați aici un model foarte simplificat [ INAUDIBLE], proiecția scenei pe senzor. Când o muți aici, este aproape aceeași lume proiectată dintr-un [INAUDIBIL] ușor diferit. Și apoi folosind tomografia, este aproape același lucru ca atunci când ai senzori [INAUDIBIL]. Și aveți o sursă de raze X. Și ai un obiect aici. Și aveți o proiecție, acest obiect, pe senzor. Și când este mutat și pune o sursă suplimentară aici, proiectați asta dintr-un punct de vedere ușor diferit. Deci, în acest caz, este ca și cum obiectul ar fi fost afară și ai proiecta în acest orificiu și faci o imagine pe detector. Și prin mutarea acestui orificiu, în acest caz aici, faci proiecții diferite pe scenă. Și aici, faci proiecții diferite ale ceea ce este înăuntru. Aici, ce e afară. Și aici, ce este înăuntru. Dar principiul de bază este același, și anume că schimbați punctul de vedere și luați proiecția a ceea ce este [INAUDIBIL].. Și așa cum s-a explicat, acest set de date este suficient. Puteți să expliciți ca o transformare de radon. Și poți inversa asta pentru a da seama ce este înăuntru. Deci, dacă acesta a fost un material care pur și simplu se atenuează și nu se împrăștie, atunci vă puteți da seama de funcția de densitate. În caz de reorientare, ceea ce făceai era că te-ai mutat și te-ai adăugat pentru a te concentra pe un anumit plan. Și asta este mult mai mult pentru tomografie, sau cel puțin, o formă de laminografie, așa cum te uitai mai devreme. Pentru că te uiți doar la o felie, care este exact ceea ce înseamnă cuvântul tomografie, înregistrarea unei felii. Iar [INAUDIBILUL] este identic pentru că, cel puțin la primul ordin, pentru că proiecțiile lumii tale 3D pe un senzor 2D vă permit în cele din urmă să calculați ceva despre lumea 3D. Dintr-un set de imagini 2D, puteți spune ceva despre lumea 3D. În tomografia în câmp ușor , vă pasă mai ales să creați imagini reorientate, câte un strat. Dar dacă acesta era și un fel de obiect care avea o densitate de atenuare pură, atunci din nou, din toate aceste secvențe de imagini, puteți reconstrui care este reprezentarea volumetrică a acestui obiect. Există totuși o diferență majoră între o scanare CAT aici și o cameră electrică care are o zonă de câmp luminos alcătuită din [INAUDIBIL].. Care este diferența majoră? PUBLIC: [INAUDIBIL]. RAMESH RASKAR: Fascicul de câmp îndepărtat... acesta este un exemplu. De fapt, dacă aveți o zonă de găuri, este foarte asemănătoare cu tomografia cu fascicul paralel. Există două sau trei variante care sunt menționate aici. PUBLIC: [INAUDIBIL]. RAMESH RASKAR: Haideți. PUBLIC: Când ai [INAUDIBIL] unghiular [INAUDIBIL], pierzi date? RAMESH RASKAR: Pierzi o mulțime de date, atât în ​​ceea ce privește unghiul, cât și rezoluția. Aici, veți lua mii de poziții de sursă suplimentară pentru a construi acest volum. Dar aici, este posibil să aveți doar câteva zeci de camere. Și, de asemenea, aici, este posibil să aveți o rotație completă de 180 de grade a sursei și a detectoarelor. Dar aici, ești doar în interiorul... ești limitat aproape de câmpul vizual și de aranjamentul acestei camere, care este ceea ce vezi. Deci, în ceea ce privește un anumit punct, s- ar putea să întindeți, să zicem, doar 30 de grade sau 40 de grade sau cam asa ceva, în funcție de câmpul vizual. Și acesta este [INAUDIBIL]. Deci ai putea avea acea componentă lipsă [INAUDIBILĂ].. Deci, acestea sunt, desigur, doar limitări, în ceea ce privește tipul de reconstrucție pe care o putem realiza din câmpuri luminoase. Dar din nou, este [INAUDIBIL] cum ai configurat sistemul [INAUDIBIL]. Deci, de aceea, puteți construi o mașină de tomografie folosind ideea câmpului luminos, pe care am văzut-o ca fiind [INAUDIBILĂ].. Și sperăm că putem converti multe dintre aceste concepte complexe de tomografie și deconvoluție și imagistică confocală și toate acestea, și să le realizăm cu ajutorul principii cu care nu suntem familiarizați, în spectrul vizibil, cu optică sau fără optică și să le punem la dispoziție pe posibil [INAUDIBLE] pentru camere.