Următorul conținut este
furnizat sub o
licență Creative Commons.
Sprijinul dumneavoastră va ajuta
MIT OpenCourseWare să
continue să ofere
gratuit resurse educaționale de înaltă calitate.
Pentru a face o donație sau pentru a
vizualiza materiale suplimentare
din sute de cursuri MIT,
vizitați MIT OpenCourseWare
la ocw.mit.edu.
ROARKE HORSTMEYER: Sunt un nou
student la Camera Culture
Group.
Dar puțin peste
un an am lucrat
la o firmă numită Mitre care,
una dintre ele e pe drum.
Celălalt e în DC.
Și am lucrat și noi
la acest proiect, eu
cu un tip pe nume
Gary [INAUDIBLE]
și apoi Mark Levoy,
care este din Stanford.
Și împreună, în cele din urmă, am
pus împreună un proiect frumos.
Dar a durat puțin.
Deci 2009, 2008, este un fel de
interval de timp general în care am făcut asta.
Dar acest lucru merge de-a
lungul liniilor
de captare a datelor multi-domeniu
sau multidimensionale a
datelor spectrale sau a
informațiilor polarimetrice
sau a unei game dinamice ridicate
cu camera dvs.,
dar o faceți într-un
singur instantaneu.
Așa că vom discuta despre asta în
detaliu.
Dar mai întâi, doar niște fundal.
Vă dau doar o idee despre ce
mă refer când spun multi-domeniu.
Deci știm că există
o mulțime de pixeli.
Ramesh a arătat câteva
diapozitive ale creșterii
numărului de pixeli
per senzor și altele.
Iar scopul acestei
cercetări a fost găsirea unei noi modalități
de a folosi acești pixeli, pe lângă
doar rezoluția spațială.
Credem că există o mulțime de
rezoluție spațială acolo.
Dar culoarea sau alte
proprietăți interesante ale luminii
pentru a o capta?
Deci unele dintre acestea
includ polarizarea.
Așadar, aici un grup a folosit un
emițător polar pentru a distinge
un obiect creat de om --
acesta este metal --
de unele plante.
Modul în care funcționează este că metalul
reflectă mai multă lumină polarizată
decât o plantă, care
reflectă de fapt un pic
de lumină polarizată.
Și aleg
astfel de obiecte.  Voi
arăta câteva exemple, unele
din ceea ce am făcut mai târziu,
cred.
Oricum, astfel încât să puteți
vedea efecte interesante
precum [INAUDIBLE] în ochelari
sau suporturi transparente.
Și apoi, evident,
ceea ce se știe
fotografilor este că ajută --
uit cuvântul - dar clarifică
neclaritatea în imaginile cu apă,
deoarece apa reflectă
lumina polarizată și la fel și cerul.
Astfel, veți obține un cer albastru senin
cu un filtru polarizant
pentru fotografia convențională.  De
asemenea, puteți face
imagini multispectrale,
care doar captează o
informație spectrală foarte specifică în
loc de doar roșu,
verde și albastru,
care sunt benzi uriașe în
dimensiunea frecvenței.
Acestea sunt
imagini cu bandă foarte îngustă.
Ambele au fost
capturate de-a lungul timpului.
Deci, acesta arată o vedere aeriană.
Ele sunt adesea folosite în avioane
pentru a capta informații
despre frunziș sau chestii.
USGS le folosește foarte mult.
Și apoi acesta este un exemplu de
detectare a oxigenării sângelui.
Deci aceasta este o imagine a unui
deget mare lângă un alt deget mare.
Unul are o bandă de cauciuc
înfășurată în jurul ei.
Celălalt nu.
Deci, evident, puteți
face diferența.
Și apoi
imagistica cu gamă dinamică înaltă, despre
care cred că am vorbit.
Așa că vom surprinde toate
acestea într-un singur instantaneu.
Și practic ceea ce
se întâmplă atunci când
vrei să faci asta este că ți se
prezintă
această nepotrivire uriașă a dimensionalității
, ceea ce
este valabil pentru toate
tehnicile de captare a camerei.
Ai doar acest
senzor bidimensional.
Și este mic și plat.
În curând, s-ar putea să nu fie plat.
Dar chiar acum este.
Și aveți, de asemenea,
dimensiunea timpului la care să lucrați.
Dar aveți aceste
șapte sau mai multe,
probabil, șapte dimensiuni
ale informațiilor acolo.
Ai un
câmp luminos cu patru dimensiuni, despre
care cred că vei
afla mai multe.
Unii dintre voi s-ar putea să știți despre.
El are, de asemenea, o
schimbare temporală, indiferent de scena la care
te uiți.
Și aveți
informații despre polarizarea spectrală.
Deci, există o mulțime
de moduri diferite prin
care oamenii au
venit pentru a surprinde asta.
Și voi vorbi despre unele.
Una dintre cele mai directe este
doar să o faci în timp.
Deci aceasta este o imagine a unuia dintre
primele procese cinematografice color
.
Se numește culoare Kinema.
Ceea ce au făcut a fost doar că au pus
un filtru rotativ verde și roșu
în fața unei
camere obișnuite de film vechi.
Și a capturat
imagini secvențiale.
Apoi, când l-au proiectat...
nu avea albastru
dintr-un motiv oarecare.
Nu știu de ce.
Dar l-au proiectat,
doar l-au proiectat
prin același
filtru de culoare rotativ.
Și ochii tăi nu au putut
distinge rata rapidă a cadrelor
.
Deci arăta ca un cod de culoare.
Și apoi unele dintre
lucruri au fost făcute
cu imagistica hiperspectrală.
Așadar, modul în care
funcționează imaginile hiperspectrale
este că este un
senzor bidimensional.
O dimensiune este utilizată pentru a
capta informații spațiale.
Iar celălalt este folosit pentru a
capta informații spectrale.
Și îl urci într-
un avion și zboară.
Și a mătură a
doua dimensiune spațială.
Deci capturați acest
cub de date tridimensional
și, în timp, două dimensiuni.
Dar capturați
spectrul [INAUDIBIL]..
Este puțin diferit.
Și apoi asta este foarte asemănător
cu ceea ce vorbea RK.
Dar există o mulțime
de moduri diferite de a face
asta prin
codificarea spațială.
Deci poți lucra în timp.
Puteți lucra și în spațiu.
Imaginea filtrului Bayer,
cred că aceasta este imaginea exactă despre
care ați vorbit.
Oamenii au făcut-o și
cu filtre de polarizare.
Și apoi aș putea vorbi și
despre pixeli asorți, care
erau din grupul [INAUDIBLE].
Și amestecăm și potrivim
densitatea neutră
și polarizarea și
filtrarea spectrală, deci... peste tot
un senzor.
Problema cu asta este că este
extrem de greu de fabricat.
Și odată ce o faci,
ești blocat cu el.
Așa că nu poți să-ți scoți foarte ușor
lentila
și să-ți decojești filtrele și
apoi să-i pui încă unul.
Foarte sensibil la
aliniere și chestii.
Deci, alți oameni
au încercat să capteze
informații multispectrale sau
alte tipuri de informații
cu doar multe camere.
Așa că, băieți, ați văzut
camera cu profuzie pe care am
avut-o în prima zi.
Acesta este un design foarte simplu,
doar similar
numit periodic sau [INAUDIBIL].  Am
învățat, de asemenea, unde
puneți filtre de culoare diferite
peste fiecare
cameră mică și
puteți obține un singur instantaneu
de la toate camerele.
Problema cu aceasta
este că există probleme
de înregistrare și
aliniere cu camerele
și este scump.
Camera aia costă 10.000 de dolari.
Deci, este o metodă bună, dar
metoda noastră este puțin
diferită, cred.
A treia modalitate, cred că cea
mai tare modalitate de a face acest lucru
este cu această metodă numită
multiplexare co-diviziune.
Există doar câteva
exemple în acest sens.
Dar, practic, capturați
computațional
o
dată tridimensională cu două dimensiuni
și apoi încercați computațional să
ghiciți a treia dimensiune.
Deci faci schimb de
putere de calcul
și, de asemenea, erori asociate
cu estimările tale.
Dar câteva exemple în
acest sens sunt acest CASSI
care a fost dezvoltat la Duke.
Și este o singură imagine
spectrală instantanee
similară cu ceea ce facem noi.
Ceea ce fac ei este că pun o
mască codată într-un plan intermediar al imaginii
și schimbă
cubul de date în trei dimensiuni.
Și pot estima
culoarea, multe canale de culoare
dintr-o singură imagine.
Și un exemplu similar, foarte faimos, se
numește
CTIS.
Cred că înseamnă spectrometru în
infraroșu pentru tomografie computerizată
.
Dar a fost inventat în Arizona.
Și ceea ce fac ei este că
folosesc o placă holografică foarte, foarte specială,
cool.
Și cu asta
puteți face o imagine,
iar placa holografică
face această
descriere spectrală foarte interesantă, pe care
ei știu exact cum
este dispersată, astfel încât să poată
inversa dispersia spectrală
pentru a obține o imagine cu dimensiunea completă,
dar să
aibă și toate aceste informații de culoare.
Problema este că
holograma pe care o folosesc
este foarte sensibilă la
direcționalitatea luminii.
Deci are un câmp vizual foarte, foarte
îngust.
Deci, practic, au
un film foarte tare
cu un tip care aprinde
o brichetă și
vezi toate chestiile astea spectrale.
Dar asta spune de ce
câmpul vizual
este ca o brichetă.
Dar este foarte tare.
Deci doar
ideea de bază a abordării noastre...
Nu voi intra în
prea multe detalii.
Voi trece peste acest
tip de repede.
Dar ai o
cameră și
surprinzi două puncte pe un
obiect, pe unul roșu.
Și în centru, razele - să
alegem punctul roșu - sunt
ambele integrate la senzor,
așa că nu puteți spune care
rază a venit de unde,
orice altă parte a lentilei.
Dacă vă focalizați greșit senzorul, vă
puteți da seama încă o dată.
Deci știi că această rază nu este
integrată cu aceea.
Deci știi că vine
din acest loc în rânduri,
la fel și pentru acela.
Dar când concentrezi greșit ceva,
totul se estompează.
Nu există separare
spațială a razelor.
Este greu să
le distingeți decât dacă
faceți imagini astronomice
în care stelele sunt înconjurate
de negru și aveți o șansă.
Ceea ce am făcut a fost să punem o
matrice de orificii de unghiuri deasupra senzorului.
Și asta are câteva
proprietăți interesante.
Este foarte asemănător
cu un câmp luminos.
Chiar nu o să intru în asta.
Dar, practic, ceea ce
vă permite să faceți
este că vă permite să luați
filtrul Bayer pe care l-ați
avut inițial la
senzor [INAUDIBLE]
și să-
l mutați în lentilă.
Deci, acum, în loc să aveți un
model de filtru Bayer repetat
peste punctul focal,
aveți doar un filtru
și îl puteți lipi
în obiectiv.
Și ceea ce fac fiecare dintre
găuri
este că
imaginează efectiv această deschidere.
Așa că vă puteți gândi la fiecare dintre
aceste camere mici.
Și fiecare dintre ele, tot ce
puteți vedea este acest filtru.
Deci creezi
un stil de filtru.
Dar încă
captează și informații
despre obiect.
Deci, de exemplu, dacă
puneți un filtru roșu
în această parte a razei
și un filtru albastru acolo,
filtrul roșu va
atenua raza albastră.
Deci îți vei da seama că
acolo e roșu.
Dar acesta este un senzor în tonuri de gri.
Doar una dintre
zonele senzorului se va aprinde.
La fel și cu zona [INAUDIBILĂ]
de pe celălalt orificiu.
Deci asta e ideea generală.
Dar schimbul
cu aceasta este că acum
aveți o
rezoluție spațială redusă.
Și rezoluția dvs. spațială
a imaginii dvs. de ieșire
va fi dată de
numărul de găuri pe care le
aveți în gaura dvs. acolo.
Și rezoluția filtrului dvs.
sau orice altceva --
nu mai este cu adevărat
rezoluție de culoare,
pentru că vom pune aici
diferite tipuri de filtre -- va
însemna
chiar și prin numărul de filtre pe care le
introduceți în filtru.
Și există un
compromis interesant, despre
care s-ar putea să am
timp să vorbesc.
Nu voi vorbi cu adevărat
despre detalii.
Practic, doar din moment ce
avem acum o imagine digitală
pe un film montat, acest lucru
nu ar funcționa deloc,
pentru că nu poți
decupa bucățile mici
din diferite zone spectrale
și să le împletești.
Ar fi foarte greu.
Ai putea
proiecta invers, ceea ce oamenii
au făcut cu ei.
Dar oricum, luăm doar
zone diferite.
Deci, să spunem... și aceasta este
doar o bucată de imagine, pe care
ți-o voi arăta mai târziu.
Și fiecare dintre acestea
nu proiectează bine.
Fiecare dintre aceste
casete albe este zona în care

sunt proiectate filtrele.
Deci, cred că există un filtru 3 pe 3
la centru.
Este o filtrare foarte nedensă.
Deci, să presupunem că acesta este un
filtru verde din această zonă.
Puteți să luați toate
aceste filtre verzi, să
le uniți împreună
și să faceți imaginea verde.
Deci, să spunem că acesta este
filtrul roșu aici.
Puteți face asta
în imaginea roșie.
Și faci asta doar digital.
Este exact ca un tabel de căutare.
Este foarte simplu.
Și așa
arăta configurația noastră.
Am avut doar un obiectiv obișnuit.
Este un obiectiv Nikon.
A fost 100 de dolari.
Și sunt foarte
ușor de demontat.
Așa că, dacă vreunul dintre voi
își dorește vreodată ceva,
proiectul tău pentru această
clasă, să pună lucruri
în diafragma
unui obiectiv, vino la mine.
Vă pot învăța cum să
o faceți în cinci minute.
Și îți va lua 30 de secunde
de fiecare dată pentru a desface obiectivul
și a-l pune la loc.
Dar am pus
filtre de culoare acolo.
Nu le poți
vedea chiar așa de bine.
Dar am pus doar aceste
mici discuri cu filtre color.
Și apoi vă voi arăta
câteva rezultate pentru ceva ce am
făcut vara asta.
Am pus un
filtru spectral în deschidere,
care ne schimbă designul într-
un aparat de imagine spectral instantaneu.
Și apoi aici
avem [INAUDIBILUL]..
Acesta este CCD-ul.  Pur și
simplu puneți în sandwich o
matrice de găuri chiar lângă CCD.
Iar sticla acoperită peste
CCD, care are o
grosime de un milimetru, dictează
distanța dintre cele două.
Deci, iată câteva exemple de imagini.
Aceasta este doar o imagine,
o imagine cu date brute.
Și iată o versiune mărită.
Puteți vedea fiecare mică
regiune pinhole de aproape.
Și apoi ați putea face o
diviziune [INAUDIBILĂ], care
este doar normalizarea imaginii.
Deci, practic, am vrut să
folosim o matrice de lentile, care
este aproape același
lucru cu o matrice pinhole.
Aș putea să-ți arăt câteva
diapozitive de la Stanford
unde au
matricea lentilelor.
Doar că este foarte scump.
Și odată ce îl primești, este reparat.
Matrice de pinhole pe care le
puteți imprima,
puteți varia
distanțele dintre pinhole
și dimensiunile pinhole.
Deci, este o modalitate mult mai ușoară
de a verifica când
faci un experiment.
Dar au imperfecțiuni,
evident, mai ales
de la imprimare.
Deci, de aceea am făcut acea
versiune a ei, cum să scăpăm
de acele imperfecțiuni.
Și așa a fost făcut
pe un senzor în tonuri de gri.
Deci este doar un senzor gri,
fără informații despre culoare.
Dar am pus șase filtre
în deschidere
pentru această imagine, un filtru roșu, verde
și albastru și apoi trei
polarizatoare.
Așa că am făcut o imagine.
Și imaginile cu...
există un televizor mare aici.
Și există o
diagramă de culori aici și o carte
și apoi o
foaie de polarizare aici.
Dar puteți vedea că
avem o imagine color, care
aproximează
destul de bine culoarea scenei.
Da.
PUBLIC: Când
spui „tipărit”,
de ce spui „tipărit”?
ROARKE HORSTMEYER: Deci există
această companie numită Pageworks.
De fapt, este în Cambridge.
Și cum se numește procesul?
sunt gol.
PUBLIC: Pentru că este doar
[INAUDIBIL]
ROARKE HORSTMEYER: Deci depinde
de transparența noastră.
Deci este la fel ca
tipărirea unei folii transparente.
PUBLIC: OK.
ROARKE HORSTMEYER: Da.
PROFESORUL: OK.
Este doar ușor de făcut.
Și contrastul
nu este grozav, dar este
pentru că există, [INAUDIBIL]
ROARKE HORSTMEYER: Da, da.
PUBLIC: [INAUDIBIL]
ROARKE HORSTMEYER:
Nu, nu ar fi fost.
Deci dimensiunile orificiilor
sunt de aproximativ 50 de microni.
Deci nu cred că laserul...
PUBLIC: [INAUDIBIL] se micșorează.
PUBLIC: Deci asta am
încercat să facem anul trecut.
PUBLIC: Și apoi, ce?
PUBLIC: Ei bine, funcționează.
PUBLIC: OK.
PUBLIC: Pentru ceea ce doream să
facem, aveam nevoie de mult mai mult.
AUDIENTA: Deci este un fel de--
OK.
PUBLIC: Dar, da, a funcționat.
Tipăriți pe un
[INAUDIBIL] și apoi--
PUBLIC: Și
oarecum-- se micșorează și--
PUBLIC: Nu este uniform, dar--
PUBLIC: OK.
ROARKE HORSTMEYER: Da.
Deci da, doar
tipăriți pe transparență.
Dar trebuie să folosești, nu o poți
face doar pe o imprimantă normală.
Ai nevoie de o
imprimantă de înaltă rezoluție.  Ei
bine, am făcut-o.
Pentru că aveam nevoie de o
rezoluție de 25 de microni.
720, cred, dpi.
Dar oricum, deci într-o singură imagine,
obținem o imagine color.
Dar obținem și un grad de
imagine de polarizare a culorilor.
Deci, puteți vedea
televizorul polarizat,
deoarece televizoarele au
polarizatoare în ele.
Acolo, puteți vedea
acolo jos, există
o polarizare acolo jos
peste o diagramă de rezoluție.
Deci a fost un mic sfat simplu.
Apoi am făcut unul dintre cele 16 filtre.
Așa că, practic, am cumpărat
fiecare filtru posibil
de la Edmonds care era ieftin
și le-am pus într-o matrice de filtre.
Deci avem roșu, verde,
albastru, galben, magenta, cyan.
Am un filtru IR.
Am o
grămadă de polarizatoare diferite
care merg în unghiuri diferite
pentru a obține un grad precis de
măsurare a polarizării.
Și apoi am pus trei
filtre cu densitate neutră.
Și deci acestea sunt cele 16 imagini pe care le
obțineți dintr-o singură imagine.
Doar le separați
cu un tabel de căutare.
Deci, puteți vedea aici
informațiile despre culoare.
Este cam greu de
văzut de la proiector.
Dar petele sunt
culoarea care se schimbă,
modelul de șah se
schimbă pentru culoare.
IR-ul aproape este foarte întunecat.
Și am o lampă aici,
care este saturată la unele.
Dar puteți vedea
diagrama de rezoluție cu aproape IR.

Filtrul de polarizare, puteți vedea cum se
schimbă ecranul televizorului
și cât de luminos este și altele.
Și apoi
densitatea neutră este doar mai întunecată.
PUBLIC: [INAUDIBIL]
ROARKE HORSTMEYER: Ce este asta?
PUBLIC: [INAUDIBIL]
ROARKE HORSTMEYER: Da, da.
PUBLIC: Dar apoi le
stivuiți unul de celălalt.
ROARKE HORSTMEYER:
Nu, nu sunt
stivuite unul peste altul.
PUBLIC: Oh.
ROARKE HORSTMEYER: Deci
iată filtrele.
Este greu de văzut la un proiector.
Dar aici puteți vedea că este
doar această mică matrice de filtre 3 pe 3
.
Aici puteți vedea.
Deci, practic, este doar
o matrice plată 2D de filtre.
Și l-am pus chiar
pe opritorul de deschidere.
Ai cam atât de mult spațiu pe
opritorul de deschidere, puțin
mai mare decât un sfert sau cam așa ceva.
Deci poți pune cât mai multe filtre
în acel spațiu.
PUBLIC: Deci, acest lucru
scade și rezoluția.
ROARKE HORSTMEYER:
Da, cu siguranță.
[VOCI INTERPUSE]
Cu siguranță.
Deci rezoluția dvs. spațială
va
fi scăzută cel
puțin proporțional.
Dacă ai face-o perfect și ai
pune câte o imagine pinhole
a fiecărui filtru la 1 pixel,
aceasta ar fi scăzută
cu numărul de filtre.
Deci am 16 filtre.
Rezoluția mea spațială
va fi de cel
puțin 1/16 din
rezoluția spațială inițială.
Acesta este un punct critic.
Deci acestea sunt
imagini cu rezoluție spațială foarte mică.
PUBLIC: Efectul este foarte
asemănător cu ceea ce sunt...
ROARKE HORSTMEYER: Exact.
Deci este același lucru
ca un filtru Bayer.
Ai un filtru roșu, verde
și albastru.
Este o treime.
PUBLIC: Dar înțelegi
asta pe obiectiv, nu?
Deci nu este pe senzor.
Deci, de unde știi
care pixeli sunt de fapt
afectați de acei tipi?
ROARKE HORSTMEYER:
Da, deci fiecare imagine--
PUBLIC: Pentru că dacă te întorci
la diapozitiv când arăți, OK,
această parte a [INAUDIBILĂ]
ROARKE HORSTMEYER: Da.
Publicul: Deci, puteți
ști exact fiecare pixel
a fost afectat de...
ROARKE HORSTMEYER: Da, așa că
înfig un orificiu chiar
deasupra senzorului.
Deci, matricea pinhole va
crea mai multe imagini.
Fiecare dintre aceste puncte
este, în esență, o imagine de tip pinhole
.
Și facem zoom pe asta.
Evidențiez o
matrice pinhole această cutie albă.
Și așa știu doar din
cunoștințe a priori,
când am pus matricea de filtre
acolo, că acest
filtru central este un filtru roșu.
Știu că cel din stânga sus
este un filtru verde.
Cel din dreapta sus
este albastru, de exemplu.
Pentru că am pus
matricea de filtre acolo.
Deci, acum sub fiecare
gaură, am un, în mod
ideal, aș
avea nouă pixeli.
Și aș ști căruia îi
corespunde fiecare pixel
doar din orientarea modului în care
am pus
matricea de filtre acolo.
PUBLIC: Și
[INAUDIBILUL] trebuie
remediat pentru ca
asta să funcționeze, nu?
ROARKE HORSTMEYER: Da.
Așa că m-am uitat peste asta.
Am omis acel slide.
Dar da, practic trebuie să
fii imaginat la infinit.
Nu poți schimba focalizarea.
Odată ce schimbați
focalizarea,
practic traversați acele raze
în fața planului senzorului
și asta
vă distruge diversitatea de detectare.
Publicul: Deci, scena
trebuie planificată.
ROARKE HORSTMEYER: Da.
Publicul: Și trebuie să
fie [INAUDIBIL]
ROARKE HORSTMEYER:
Scena trebuie să fie planificată.
Și lambertian.  Ei
bine, nu
lambertian din punct de vedere tehnic.
Trebuie să emită
informație de polarizare sau spectrală.
PUBLIC: Dar ar
trebui să fie la fel.
ROARKE HORSTMEYER:
Și toate aceleași raze.
PUBLIC: Ați încercat să eliminați
efectul reducerii
rezoluției spațiale
încercând să demodulați?
Pentru că vezi, matricea pinhole
este practic un [INAUDIBLE]
care are o
funcție de modulare pe el.
Deci, dacă
o demodulăm pe computere
odată ce imaginea a
fost capturată,
puteți recăpăta de fapt
rezoluția spațială
redusă prin modulare.
ROARKE HORSTMEYER:
Nu prea
știu ce te referi la modulare.
Practic, din moment ce aveți
filtre în deschidere,
acestea sunt lumină de atenuare.
PUBLIC: Operarea unei
funcții peste imagine.
ROARKE HORSTMEYER:
Da, dar te
amesteci și în toată această diversitate.
Deci acum aveți toată această diversitate
spectrală și de polarizare
amestecată din
diferitele filtre, care se vor
schimba în funcție
de locația dvs. spațială.
Deci, dacă am un
obiect polarizat aici,
acesta va fi modulat de un
polarizator și nu de altul.
PROFESOR: E exact
ca acolo [INAUDIBIL]..
Puteți scoate niște informații
[INAUDIBILE] sofisticate
.
Dar nu ar fi doar
greu [INAUDIBIL]
ROARKE HORSTMEYER: Da.
BINE.
Voi încerca doar să termin.
Deci, doar un exemplu de
utilizare a acestor 16 imagini.
Oamenii întreabă, ei bine, de ce
vrei 16 imagini cu toate
aceste lucruri diferite?
Așa că încerc să vin
cu un exemplu inteligent.
Dar, practic, poți
crea o imagine color
și ai această
zonă saturată imensă de la soare
sau de la o lampă sau orice altceva.
Deci, puteți face doar o
imagine HDR rapidă folosind cele trei
filtre HDR de deasupra
informațiilor de culoare.
Deci acum puteți vedea că există
o diagramă de rezoluție acolo.
Și apoi, ceea ce puteți
face este să măsurați un grad
de polarizare
folosind cele cinci
filtre de polarizare.
Și acestea vor găsi lucruri care
reflectă lumina polarizată
sau emit lumină polarizată.
Deci, de exemplu,
exemplul de obiect artificial pe care ți l-am
arătat mai înainte.
Puteți alege ce obiecte
sunt făcute de om, care sunt acestea
sau orice altceva.
Și puteți alege, de asemenea,
lucruri care emit informații IR
în filtrul IR.
Deci, oameni sau ei bine,
cred că plantele
emit aproape IR mai mult decât oamenii.
Dar dacă ar fi extins
în domeniul IR,
ai putea identifica oamenii.
Dar ai avea nevoie de un simț mai bun
decât un CCD obișnuit.
Așa că le combini pe
toate și am făcut-o
cu 12
filtre diferite din cele 16.
Și am creat acest fel de imagine de culoare falsă de
regiune de interes extinsă, cu
gamă dinamică.
Și puteți vedea că sunt
unele erori, evident.
Și asta pentru că ceea ce
încercam să găsesc polarizare,
de exemplu, dacă este
o zonă de intensitate scăzută,
nu va emite nicio
informație reală despre polarizare.  Va

fi doar o zonă întunecată.
Lucruri de genul acesta provoacă erori.
Și, de asemenea, din perspectiva unghiulară sau a
planurilor diferite,
puteți vedea că aici
iese o bară.
Și asta pentru că, pe
măsură ce lucrurile se apropie,
eroarea asociată
cu
perspective diferite
asupra unui obiect devine evidentă.
Deci funcționează doar pentru plan
sau obiecte către infinit,
sau funcționează cel mai bine.
Deci următorul exemplu,
acesta este că tocmai am făcut
asta în timpul verii
pentru o lucrare rapidă.
În loc să punem
o matrice de filtre,
am pus un filtru spectral
în deschidere aici jos.
Și ceea ce face aceasta este,
în esență, ca un grătar,
pur și simplu împarte
lumina care vine
în toate lungimile de undă diferite.  A
trecut de la 400
la 700 de nanometri,
deci pe tot spectrul de culori.
Și avea o rezoluție
de aproximativ 10 nanometri.  A
fost destul de bine.
Și sunt ieftine.
Sunt cam 200 de dolari.
Și sunt suficient de mici
pentru a încăpea într-o deschidere.
Deci sunt foarte utile pentru a
face experimente cu camere.
Și așa am făcut o
poză cu niște creioane colorate.
Și alegeți diferite...
Deci aceasta este o imagine cu rezoluție redusă
a unor creioane colorate.
Selectând
anumiți pixeli,
puteți obține o rezoluție de aproximativ 25 de pixeli
în intervalul de la 400 la 700 de
nanometri.
Deci puteți vedea că este magenta.
Acestea sunt părțile roșii și
albastre, dar nu
verdele, ceaiul, portocaliul, albastrul.
Deci da, mai am un
exemplu în acest sens.
Deci acestea sunt aceleași creioane,
imagini diferite.
Așa că, când făceam experimentul, am observat

că dacă aș avea luminile aprinse
sau dacă aș avea o altă lumină aprinsă,
aș obține
rezultate cu adevărat diferite.
Și mă scarpinam în cap.
De ce se întâmplă asta?  Ei
bine, este evident că
luminile fluorescente emit atât de multe
informații spectrale diferite.
Sau pur și simplu nu pot
spune cu adevărat, dar aceste lumini
față de aceste
lumini fluorescente au o
distribuție spectrală foarte diferită.
Deci nu le-am etichetat cu adevărat.
Dar acestea sunt cu siguranță
doar lumini fluorescente.
Sau poate luminile fluorescente ale cuiva
și
altă
lumină fluorescentă de pe desktop.
Deci puteți vedea
vârful ascuțit prin asta.
Majoritatea pixelilor
au doar un vârf ascuțit.
Ochii noștri se integrează
peste toate acestea.
Deci nu prea observăm.
Arată doar ca lumină.
Dar dacă pun doar
o lampă de birou obișnuită,
ca un bec de modă veche,
obțineți această distribuție.
Deci toate acestea sunt de la
același pixel exact.
Dar tocmai schimbam
luminile din cameră.
Deci a fost destul de interesant.
PROFESOR: [INAUDIBIL] lumina care vine
ca o modificare
a incidentului...
ROARKE HORSTMEYER:
Iluminarea incidentă
și culoarea... exact.
Exact.
Deci, da, asta este.
Alte intrebari?
PUBLIC: Câți
[INAUDIBILI] aveți?
ROARKE HORSTMEYER: Din asta?
Aproximativ 25.
Depinde doar de
pasul matricei de pinhole.  Un
alt lucru... deci chiar vreau
să fac asta și să fac un filtru mai bun
.
Pentru că filtrul pe care îl folosesc este
doar un filtru unidimensional.
Este folosit în general
pentru experimente cu laser.
Deci loviți laserul pe el și vă
puteți înclina în diferite moduri
și puteți selecta o anumită
lungime de undă dacă laserul are o bandă mai mare
de 10 nanometri.
Deci a fost doar unidimensional.
Asa ca ar fi misto, mult
mai bine si mai eficient
daca as avea un
filtru bidimensional ca sa
pot folosi toata zona.
Dar da, aproximativ 25.
25.
Alte întrebări?
PUBLIC: Deci acele grafice au fost
făcute din 25 [INAUDIBIL]..
ROARKE HORSTMEYER:
Da, da, da.
PUBLIC: [INAUDIBIL]
în experimentul tău,
așa că fiecare gaură
făcea o imagine a...
ROARKE HORSTMEYER:
A filtrului, da.
PUBLIC: --a filtrului?
Cât de mult din experimentul dvs.,
câți pixeli
au fost doar irositi pe...
ROARKE HORSTMEYER:
La graniță?
Da.
Mult.
Mult.
Așa că am început cu un, cred că
era un senzor de 10 megapixeli.
Și rezoluția mea spațială
a fost de aproximativ 300
pe 300 pentru fiecare dintre imagini.
Deci asta pentru ceva de genul
16 filtre sau nouă filtre.
Deci o tonă se aruncă
undeva.
Și fiecare filtru nu este
fotografiat la un singur pixel.
Este imaginea într-o
matrice de pixeli 3 pe 3 sau 4 pe 4.
Deci, vreau să spun că este incredibil de
risipitor, dar este doar o idee.
Așa că
îl puteți regla fin, probabil să
îl faceți mai eficient.
PROFESOR: Cred că
marele avantaj al acestui lucru este că
poți face toate aceste
lucruri în timp ce pui
un filtru în obiectiv și nu
trebuie să-l pui pe senzor.
Așa că cineva a întrebat, poți
schimba astfel de lucruri.
Da,
îl puteți scoate și pune
unul nou, un răspuns spectral diferit
dacă aveți nevoie.
Asta e interesant.
ROARKE HORSTMEYER: Da.
PROFESOR: Puteți spune ceva
despre problemele de difracție?  Ai
niste?
ROARKE HORSTMEYER:
Da, puțin.
Deci, unele găuri sunt
destul de ineficiente, destul de
proaste în rezolvarea luminii, despre care
ați putea afla.
Deci, lentilele, totul
are un asociat.  Se
numește
funcție de împrăștiere punct.
Nu știu dacă ați auzit
acest termen, dar practic
o dimensiune a punctului neclar.
Dimensiunile spotului de estompare ale orificiului este
mai mult o proiecție geometrică
a dimensiunii orificiului.
Așa că doriți să lăsați multă
lumină să treacă cu o gaură.
Dar, în funcție de
dimensiunea orificiului,
vă puteți imagina doar că lumina
trece direct
prin orificiu și
nu își schimbă direcția.
Așadar, acea lumină va avea
dimensiunea punctului de neclaritate aproximativ egală cu dimensiunea
orificiului actual.
Deci dimensiunea acelui punct neclar
, în cazul meu,
foloseam găuri de 50 de microni.  Va
fi de 50 de microni,
ceea ce este relativ mare.
Pentru că un pixel are
aproximativ 10 microni.
Deci, de aceea am făcut imagini
la aproximativ cinci pixeli.
Dacă aș folosi matricea lentilelor,
ar fi fost efecte de difracție mult, mult
mai bune
și altele ar fi
fost mult mai puține.
PROFESOR: Cred că vom

vorbi despre utilizarea următoarei
matrice în alte proiecte.
ROARKE HORSTMEYER: Și
un alt lucru interesant
este că, așadar,
funcția de răspândire a punctului
într-o cameră sau
punctul de estompare dintr-o cameră
este dată de forma
diafragmei.
Așa că, dacă
faci o fotografie
și te defocalezi,
lucrurile nefocalizate
au un cerc, ca
un mic punct neclar.
Asta pentru că
diafragma este un cerc.
Cu o
deschidere pătrată, lucrurile
ar avea un pătrat și așa mai departe.
Dar când ești focalizat,
chiar și punctul mic de neclaritate
este dat de forma
diafragmei.
Așa că puneam toate aceste
filtre nebunești în deschidere.
Și fiecare filtru va
schimba funcția de răspândire a punctelor
în funcție de
culoarea scenei.
Deci, practic, în
imaginea mea,
primeam multe tipuri diferite
de funcție de răspândire a punctelor.
Unele erau forme ciudate din cauza
proprietăților diferite
ale obiectelor din scenă.
Deci, sunt probleme foarte diferite să
încerci să rezolvi sau să analizezi
din cauza tuturor
filtrelor din deschidere.
PROFESORUL: Așa că mai am doar
câteva puncte pe care
vreau să le fac înainte de a încheia.
Am văzut chiar la
începutul orei,
am avut aceste patru sau cinci
lucruri pe care am vrut
să le îmbunătățim la camere.
Și una dintre ele a fost îmbunătățirea
rezoluției spațiale.
Deci, în cazul filmului,
este cam ambiguu.
Pentru că există mai multe,
este greu de definit
ce rezoluție este pentru film.
Dar pentru senzori sau
pentru digital, este
de obicei doar un număr de pixeli.
Și ar fi
greu de imaginat cum
puteți crește
informațiile pe care le obțineți
de la un număr fix de pixeli.
Dar există tehnici
pentru a face asta.
Iar cele mai populare sunt
ceea ce se numește super rezoluție.
Nu voi intra prea
mult în detalii
despre ce este super rezoluția
și cum o faci.
Dar doar pentru a
vă da o intuiție,
ideea este că faceți o
imagine cu camera fixată
într-o poziție și apoi
mutați senzorul de imagine
cu o fracțiune din dimensiunea pixelilor.
Și apoi faci o altă imagine.
Și din moment ce l-ați mutat cu
o fracțiune dintr-o dimensiune de pixel,
informațiile pe care le-
ați capturat
sunt de fapt diferite
de prima.
Și puteți combina
aceste două imagini împreună
pentru a obține o
imagine cu rezoluție mai mare.
Există, evident, probleme
cu asta, dintre care una
este că trebuie să
mutați senzorul cu
o dimensiune mai mică de pixeli, care este
de obicei unul sau doi microni.
Și trebuie
controlat foarte precis.
Așa că găsiți acest lucru într-o
cameră de ultimă generație pe
care vă deconectați de la
camerele [INAUDIBILE] care
fac acest lucru cu camere de format mediu,
mari de format mediu.
Și există, de asemenea,
limite fundamentale pentru cât de mult
poți face folosind acest lucru.
De obicei, nu puteți depăși o creștere de
3x sau 4x sau chiar de
2x a rezoluției.
Orice altceva dincolo de asta este ceea ce
ei numesc halucinații.
Este posibil să fi creat o
imagine cu o rezoluție de 100x,
dar nu are nicio
informație în acele frecvențe mai înalte
.
Deci e super rezoluție.
Așadar, panoramele de-a lungul timpului
înseamnă doar să luați o imagine
și să o scanați astfel
și să le uniți pe
toate, pentru a crea
o panoramă mare.
Ai o imagine mare de înaltă rezoluție
și faci asta.
Și, făcând acest lucru, obțineți și
un câmp vizual mai larg.
Deci, recent, această
tehnică a fost adoptată
de oamenii de la Microsoft Research
și de la Universitatea din Konstanz,
unde au construit un dispozitiv
care, în esență, a scanat
întreaga scenă și a luat
o grămadă de imagini.
Așadar, aceasta a fost creată din
800 de imagini care au fost capturate
în decurs de câteva ore.
Și apoi au găsit
puncte de corespondență
și, în esență,
le-au îmbinat
pentru a crea această imagine mare de 1,5
megapixeli, cred.
Sau imagine de 3,5 megapixeli.
Și doar pentru a vă da o idee despre
cât de multe informații sunt acolo,
puteți vedea de fapt persoana care
stă în interiorul acelei macarale,
oricare ar fi aceasta.
Și există un site web.
Cred că se numește GigaPan.
Ei vând acest dispozitiv acum.
Și Microsoft
vă oferă software-ul.
Cred că se numește
HD View, pe care îl
poți folosi atât pentru a
vizualiza aceste imagini,
cât și pentru a genera
propriile imagini.
Cumperi chestia asta.
Îți pui camera pe el.
Sta acolo și face
imagini pentru câteva ore.
Și apoi
le cusezi pe toate împreună.
Există și un grup,
există un cuplu profesionist de soț și soție
care fac
asta de ceva vreme folosind
fotografia de film.
Au această
cameră cu film de format mare pe
care ies și iau
aceste imagini gigapixeli uriașe.
Și au
propriile lor scanere personalizate.
Și le vor scana și vor
obține o imagine digitală din ea.
Și o serie de alți oameni care
au făcut așa ceva.
PUBLIC: Dar dacă acesta este
un dispozitiv de consum, cum
îmi imaginez că de fapt
camera se mișcă mult.
PROFESORUL: Deci felul în care
au ei este ceva de genul acesta.
Dacă îl puteți vedea, se
rotește și face
mai multe imagini.
Nu trebuie să se miște deloc.
Deci este chestia asta.
Cel pe care îl vând
este că are
și un buton de declanșare foarte drăguț.
Deci poți folosi orice cameră.
Și atâta timp cât
poți doar să miști brațul
și să-l ai astfel încât să poată apăsa aproape de
butonul [INAUDIBLE].
Și se va stinge.
Și poți, cred, să-l programezi
pentru a spune câte imagini
vrei și așa mai departe.
Deci, fie puteți
crea o panoramă,
fie puteți crea o panoramă de foarte,
foarte înaltă rezoluție
ca asta.
Așa că unele dintre provocările
din acest lucru pe care vreau doar
să le subliniez sunt că există o
variație și o intensitate uriașe.
Și acesta este ceva despre
care am discutat
problemele legate de intervalul dinamic înalt.
Când mutați camera
și faceți toate acestea,
puteți avea părți ale
imaginii care sunt mult, mult, mult mai
întunecate decât alte
părți sau mult mai luminoase.
Și apoi cum le
uniți, de
ce fel de probleme de expunere
trebuie să vă ocupați?
Deoarece faci doar
expunerea automată,
o parte a imaginii poate fi
prea luminoasă decât cealaltă.
Și s-ar putea să nu se alinieze.  Este
posibil să nu obțineți
alinierea corectă
sau să aveți probleme
cu găsirea corespondențelor.
Și toate acestea sunt îngrijite
de software-ul de la Microsoft
numit HD View.
Un alt mod de a face
rezoluție înaltă,
acesta este din nou întoarcerea la
acele trei lucruri de bază.
Acesta despre care tocmai am vorbit
a fost epsilon în timp.
Dar ai putea face
epsilon în senzori.
Poți avea 500 de
camere și faci doar o
mulțime de imagini
în același timp.
Deci, acesta este similar cu
matricea de camere pe care am văzut-o mai devreme.
Dar diferența
este că toate camerele
privesc paralel
una cu cealaltă.
În
cazul precedent, toți se
uitau la ceva între ele.
Deci a existat multă suprapunere.
În acest sens, suprapunerea
este mult mai mică.
Spune pentru oameni... și
cred că este chiar mai puțin decât atât.
Și ceea ce poți
face cu asta este că
poți obține toate aceste
imagini și apoi,
din nou, să găsești
corespondențele
și să le unești pe toate
și să obții ceva de genul acesta.
Aceasta este o rezoluție foarte, foarte
înaltă
și are o mulțime de informații.
Și apoi din nou,
puteți din nou să găsiți
acele corespondențe, ca ele
și să le uniți.
Dar există, de asemenea, probleme de
calibrare geometrică și de culoare
și, de asemenea, probleme legate de intervalul dinamic ridicat
, despre care am
discutat pe scurt mai devreme.
Deci, asta este ceea ce primești
odată ce le-ai reparat pe toate.
Din anumite motive,
aici este foarte întuneric.
Și din nou, arată că
puteți mări cu adevărat și puteți obține
o imagine de înaltă rezoluție.
Nu cred că este
aproape de [INAUDIBLE]
Pentru că acesta este un
proiect mult mai vechi.
Și, din nou, similar cu
pixelii asorți,
au de fapt
expuneri diferite
pentru camere diferite.
Și astfel puteți combina
toate aceste informații
împreună pentru a obține nu
doar o imagine de înaltă rezoluție,
ci și o imagine de înaltă
rezoluție, cu gamă dinamică înaltă
.
Ultimul lucru
despre care vreau să vorbesc
este creșterea
rezoluției temporale.
Până acum, am văzut
cum putem crește
rezoluția spațială.  Am
văzut cum putem crește
intervalul dinamic și
adâncimea de focalizare a [INAUDIBLE] și
celălalt lucru care rămâne,
rezoluția temporală.
Și acum puteți cumpăra camere care
au 1.000 de cadre pe secundă
sau chiar mai mult.
Și poți doar să apeși
declanșatorul și este
nevoie de o serie întreagă de imagini.
Dar asta de acum câțiva ani
spunea
că, în loc să luați o
cameră cu o rată de cadre foarte mare
, ce se întâmplă dacă ați lua
mai multe camere cu
rate de cadre mai rezonabile și apoi
combinați aceste informații
împreună.
Și, desigur, au venit
cu propria lor matrice de camere.
Acesta este tot de la Stanford.
Și puteți combina, cred că le-au
declanșat într-un mod în
care apoi pot
combina informațiile.
Dar din nou trebuie să
calibrați imaginile
și, de asemenea, să le corectați culoarea
și așa mai departe.
Este doar un [INAUDIBIL].
Puteți vedea acest lucru ca
artefacte pe măsură ce lucrul se mișcă
și pentru că
calibrarea este imperfectă.
Și fiecare dintre acestea este o cameră cu
rezoluție relativ scăzută
, cred că aproximativ
șase [INAUDIBILE]..
Deci, practic, asta este.
Deci asta e fotografie epsilon.
Acesta este modul în care îmbunătățim
fotografia bazată pe film.
Și ideea este să modificați
setările de expunere, spectrul
de culoare, focalizarea,
scena camerei, iluminarea,
practic orice altceva care
este un parametru al camerei și să
faceți mai multe imagini
sau să faceți imagini [INAUDIBILE]
în timp sau senzor sau pixeli.
Iar rezultatul final este
obținerea unei camere mai bune.
Și așa cum vom vedea în
cursul următor și în clasele viitoare,
că aceasta nu este
partea interesantă a camerelor de calcul.
Acesta este doar ceva
despre care este bine de știut.
Și există încă cercetări în
desfășurare pe multe dintre aceste subiecte.  Doar că

promovează sau face
camere și mai bune așa cum
au fost camerele timp
de mai bine de un secol, mai degrabă
decât să vină cu camere
care fac lucruri noi.
Presupun că asta este.