Următorul conținut este
furnizat sub o
licență Creative Commons.
Sprijinul dumneavoastră va ajuta
MIT OpenCourseWare să
continue să ofere
gratuit resurse educaționale de înaltă calitate.
Pentru a face o donație sau pentru a
vizualiza materiale suplimentare
din sute de cursuri MIT,
vizitați MIT OpenCourseWare
la ocw.mit.edu.
ANKIT MOHAN: Bună, tuturor.
Eu sunt Ankit Mohan.
Sunt post-doctorat cu Ramesh.
Și îmi pare rău că
nu este aici astăzi.
Voi vorbi
pe scurt despre ceea ce se
numește fotografie epsilon
sau fotografie asemănătoare filmului.
Este de fapt cum putem
îmbunătăți filmul ca fotografia.
Și nu sunt sigur în ce parte...
unele dintre acestea ar putea fi foarte
simple și evidente
pentru mulți dintre voi.
Deci, dacă mi se pare că merg
prea încet, anunțați-mă.
Sau dacă doriți mai multe detalii
despre oricare dintre aceste subiecte,
din nou, opriți-mă și
puneți întrebarea.
Așa că, înainte de a putea încerca să
îmbunătățim fotografia de tip film, ar
trebui să înțelegem ce
înțeleg prin fotografie asemănătoare filmului.
Și acesta este, practic, ceea ce a
fost modelul camera obscura
, în care ai un orificiu
sau un centru de proiecție
și ai raze de lumină
care trec prin acel punct
și formează o imagine pe
senzor sau pe un plan de film.
Deci ceea ce vedeți aici este...
în stânga, așa
este în mod tradițional
modul în care desenați o
diagramă cu raze optice.
Aveți obiectul
scenei în stânga.
Și razele călătoresc întotdeauna
de la stânga la dreapta.
Și sunt oameni care
fac optică hardcore care se
pot enerva cu adevărat dacă
nu urmezi acest model.
Deci este întotdeauna un lucru bun
să mergi de la stânga la dreapta.
Deci ai
scena în stânga.
Aveți un centru
de proiecție, care
este o gaură, în acest caz.
Ceea ce nu am arătat
aici este -- în principiu,
vă puteți imagina o cutie
care înconjoară
proiecția centrală
și senzorul.
Și doar un singur punct
permite luminii să treacă.
Ceea ce ne oferă acest lucru este că o
singură rază din fiecare punct
al scenei i se permite
să treacă prin cameră
și formează o imagine
pe senzor.
Acum, majoritatea obiectelor din jurul
nostru sunt de fapt difuze.
Ceea ce înseamnă asta este...
tehnic, se
numește Lambertian.
Ceea ce înseamnă asta sunt razele --
când ai o
lumină internă care vine asupra unui obiect,
aceasta reflectă lumina
în toate direcțiile.
Și majoritatea obiectelor
sunt difuze, în sensul că
toate razele care ies dintr-
un punct al obiectului
au aproximativ aceeași intensitate,
în timp ce celălalt caz ar
fi un obiect specular,
care reflectă
lumina în primul rând într-o direcție
și nu în toate direcțiile.
Deci, deoarece majoritatea
obiectelor sunt difuze,
atunci când aveți o
cameră stenopeică care face o fotografie,
aceasta arată foarte asemănătoare cu
ceea ce apare ochiului.
Deci, captează majoritatea
informațiilor care
vin de la scenă.
Acum, ceea ce face un obiectiv
este ușor diferit,
este că se integrează de fapt
printr-un schimb unghiular.
Deci, în acest caz,
aici, aveți raze care vin
dintr-un punct al scenei.
Dar nu o singură rază
este fotografiată pe senzor.
Dar ai un
întreg con de raze
care se imaginează pe senzor.
Deci, în acest caz,
toate razele care vin
dintr-un punct al scenei care
trec prin diafragma obiectivului
sunt focalizate pe
planul senzorului.
Și, practic,
așa funcționează un obiectiv
și cum funcționează o cameră, o
cameră modernă.
Acum, din nou, acestea sunt
lucruri foarte simple.
Dar un obiectiv respectă
anumite proprietăți,
în sensul că raportul
dintre distanțe
trebuie să respecte anumite proprietăți.
Și ceea ce
ne spune asta practic...
și voi trece
peste unele dintre aceste lucruri...
este... acesta este, cred,
cel mai important lucru.
Dacă aveți o lentilă, atunci
doar un singur plan din scenă
este fotografiat
exact pe senzor.
Și există o corespondență unu-la-unu

între care scenă va
fi fotografiată pe baza
distanței focale și a
distanței dintre obiectiv
și senzor.
Nu era cazul
dacă ar fi fost o gaură.
În cazul unui orificiu,
totul apare focalizat.
Și aveți ceea ce se numește
o adâncime infinită de câmp.
Deci, spre deosebire de o
cameră pinhole, o cameră
cu o
lentilă cu deschidere finită
are de fapt o adâncime finită de câmp.
Acum, adâncimea de câmp are
o definiție interesantă.
Dacă o căutați pe
Wikipedia, în cazul fotografiei
bazate pe film
, s-a
definit că atunci când
faceți o fotografie a unei scene
și imprimați fotografia
la o anumită rezoluție -
la o anumită dimensiune de
hârtie și apoi
o  observatorul uman standard se află la
o distanță finită de el,
poate el sau ea să aibă o
diferență între două puncte,
indiferent dacă unul este
focalizat sau nu?
Deci, pe baza acestor teste și a anumitor
teste de percepție pe care le-au făcut, au
venit cu
această definiție
a cât de departe poți ajunge
de avionul care
va fi în
focalizare perfectă și va
da în continuare aspectul spectatorului
că avionul este focalizat.
Deci, în cazul
camerei digitale, ceea ce înseamnă
aproximativ
este că, atunci când
te îndepărtezi de planul de
focalizare, vei obține--
dacă te uiți
aici, nu vei--
razele nu
vor  concentrați până la un punct,
dar vor
crea o estompare asemănătoare testului.
Și dacă dimensiunea acestuia, la fel ca cea a
neclarității, este mai mică decât
dimensiunea unui pixel, de obicei nu
puteți face diferența
între
focalizarea sau nefocalizarea.
Deci există această
regiune finită în jurul unui plan de focalizare
care se numește
adâncimea de focalizare.
Și de fapt este...
nu este simetric.
Este de obicei mai mare
în spatele planului de focalizare
și mai mic în față.
Și există o
adâncime
de câmp corespunzătoare pe partea senzorului.
Deci există
întrebări despre asta?
Este acest lucru evident?
Ceea ce este interesant este că
dimensiunea acestei adâncimi de câmp
depinde de partea
diafragmei.
Deci, în cazul în care am avut o
gaură în care dimensiunea deschiderii noastre
era infinit de mică,
dimensiunea adâncimii de câmp
este infinit de mare.
Deci totul este concentrat.
Dar pe măsură ce ne mărim
dimensiunea diafragmei,
așa cum puteți vedea de
aici, am urcat aici.
Dimensiunea corespunzătoare -
deoarece aceste forme de con
au un unghi de con mult mai mare
, regiunea
în care dimensiunea
neclarității ar
fi în continuare mai mică decât un pixel,
devine mai mică.
Și aveți o
adâncime de câmp mult mai mică.  Așa
că există ceva pe
care fotografii îl
folosesc adesea când fac
fotografii, cum ar fi portrete
sau macrofotografii, este că
încearcă să deschidă diafragma
sau să mențină diafragma
cât mai mare posibil.
Și asta are ca rezultat o
adâncime foarte mică de câmp.
Deci doar planul de
interes este în centrul atenției.
Orice în spatele și în fața
lui pare ca o neclaritate.
Are un aspect frumos neclar.
Pe de altă parte, dacă
faci ceva de
genul
fotografiei de peisaj, vrei ca
copacul care se află la 10 metri
de tine să fie focalizat
și, de asemenea, un munte care este la
cinci kilometri
să fie focalizat.
Deci, de obicei, oamenii folosesc o
dimensiune mai mică a diafragmei pentru
a focaliza totul.
Așa că vom reveni la
asta puțin mai târziu
când voi vorbi despre cum
puteți
modifica computațional adâncimea câmpului
și lucruri de genul acesta.
Dar, în general, depinde
de aplicație.
Aplicația dictează
ce fel de adâncime de câmp
aveți nevoie.
Și majoritatea camerelor
oferă fotografului
posibilitatea de a seta
dimensiunea diafragmei, care
stabilește adâncimea câmpului.
Deci, pentru că există doar un
singur plan în scenă care
este de fapt în focalizare clară, dacă
utilizați o cameră care nu
are o diafragma pinhole,
care este majoritatea camerelor,
trebuie să puteți
selecta
planul pe care doriți să focalizați.  .
Și asta se face de obicei în
zilele noastre folosind autofocus.
Camerele folosesc diferite
tehnici pentru autofocus.  Cea
mai comună în
zilele noastre în camerele SLR
este autofocusul bazat pe spațiu
, care
este o tehnică cu adevărat interesantă
care cred că
a fost propusă pentru prima dată de Minolta
la sfârșitul anilor '70.
Și ceea ce fac ei în esență este că
formează două imagini separate
de diferite -- așa că
cred că asta este probabil
din model.
Aceasta este deschiderea principală
a obiectivului principal.
Și ceea ce fac în esență
este să creeze un telemetru,
în care linia de bază este egală
cu diametrul
diafragmei obiectivului.
Ceea ce înseamnă, în esență,
să faci stereo sau să creezi
o imagine dintr-un colț al
lentilei și o altă imagine
din celălalt
colț al lentilei.
Și uitându-mă la acele două imagini,
dacă scena este focalizată,
acele două imagini vor
fi exact aceleași.
Dacă nu este în focalizare,
va exista o nepotrivire de fază.
Și observând
nepotrivirea fazelor,
puteți determina în ce
direcție
trebuie să se miște lentila
și cu cât de mult.
Așadar, este o tehnică de focalizare cu o singură fotografie

în care, obținând doar
această citire,
puteți muta obiectivul
în direcția corectă
și puteți obține o scenă focalizată.
Și acest lucru este de obicei foarte
rapid, deoarece nu trebuie să
continuați să căutați.
Și dezavantajul este că aveți
nevoie de hardware special
din camera dvs.
Și majoritatea camerelor SLR au
acest tip de hardware în ele.  O
altă tehnică pe care o folosesc majoritatea
camerelor compacte de îndreptare și fotografiere
este
focalizarea automată bazată pe contrast, unde--
deoarece aveți o vizualizare live care
vine direct de la senzor
, puteți
privi un cadru.
Și puteți încerca să
maximizați contrastul
și să mutați lentila înainte
și înapoi până
obțineți contrastul maxim.
Și din moment ce nu obțineți o
estimare a fazei,
ca în
cazul precedent, nu puteți...
nu este o
operație cu o singură lovitură.  De
obicei, trebuie să căutați
prin intervalul
setărilor de focalizare și să aflați care dintre
ele are un contrast maxim
și să vă opriți acolo.
Acolo este în centrul atenției.
Și de obicei este mai lent
decât cazul precedent,
dar nu aveți nevoie de
hardware dedicat pentru a face acest lucru.
Și majoritatea
camerelor compacte folosesc acest lucru.  O
altă tehnică pe care o foloseau unele dintre camerele
compacte mai vechi bazate pe film
a fost
utilizarea ultrasunetelor
sau a estimării bazate pe infraroșu
a cât de departe este o scenă.
Și este ceva care
nu mai este foarte răspândit.
Și nici nu este foarte precis.  O
altă tehnică pe care
nu o menționez aici
este ceea ce se numește o
cameră cu telemetru.
Și de obicei, aceasta este o
unitate separată de camera principală.
Diferența aici
este că acest obiectiv -
autofocusul are loc
prin obiectiv.
Deci, ceea ce ajunge în
planul imaginii este
ceea ce este folosit pentru a determina
dacă este focalizată sau nu
în ambele cazuri.
În cazul unei
camere cu telemetru,
există o
unitate separată, care practic
face această schimbare și încearcă
să găsească când este aliniată.
Și de obicei se face manual
și nu automat.  Cred că

punctul important de aici
este că există o mulțime de
muncă care s-a desfășurat
chiar înainte de apariția fotografiei computaționale

în domeniul încercării de a găsi
foarte rapid și eficient
și a seta în mod repetat focalizarea
automat pe o cameră.
Și există o mulțime de inginerie
care a fost implicată în asta.
Așadar, focalizarea a fost primul
lucru de care
trebuie să-și facă griji o cameră când
încearcă să facă o fotografie.
Al doilea lucru este
ceea ce se numește expunere.
Și ceea ce încerc
să arăt aici este
că luminozitatea
a ceva care este
lumina zilei față de ceva
care este întunecat este mult diferită.
Și aveți doar 0 până la
255 de 8 biți sau, cel mult,
12 biți sau 14 biți cu care să
lucrați pentru a
comprima toate acele
informații acolo.
Și de obicei, acest interval sau
intervalul dinamic nu-- nu
poate trece prin
mai mult de două, sau trei
sau patru decenii cel mult.
Și așadar, ceea ce trebuie
făcut este
să decideți ce expunere
să folosiți pe o cameră.
Și deci aceasta este o scenă
care este subexpusă
versus supraexpusă.
Supraexpunerea înseamnă că
lăsați prea multă
lumină în cameră
față de subexpunere,
dacă nu era suficientă
lumină și scena
era... imaginea era întunecată.
Deci expunerea în sine este compusă
din aceste trei lucruri.
Una este dimensiunea diafragmei - cu cât
dimensiunea este mai mare,
mai multă lumină
intră și
imaginea va fi mai luminoasă.
Viteza obturatorului, cât timp
țineți obturatorul deschis...
dacă îl țineți deschis
mai mult timp, veți intra mai multă lumină
și imaginea este mai luminoasă.
Și sensibilitatea filmului,
lumina care intră, câte...
în cazul filmului,
câtă substanță chimică se
poate traduce, se poate
schimba sau modifica chimic?
În cazul senzorului dvs. digital
, este digitalul -- câștigul
convertorului analog la ADC
este stabilit de ISO.
Deci aceste trei lucruri împreună
determină care
ar trebui să fie expunerea pe camera ta.
Deci, dacă setați o
anumită viteză a obturatorului,
trebuie să determinați care ar trebui să fie

dimensiunea diafragmei și sensibilitatea corespunzătoare -
înainte de a
putea face o fotografie.
Și încă o dată,
camerele mai vechi
vă cer să faceți acest lucru manual.
De obicei,
aveai film, care
era de o anumită sensibilitate.
Și ai setat un ISO 100 pe el.
Veți selecta
dimensiunea diafragmei.
Și apoi ar trebui să-- pe
baza unor reguli de bază
sau folosind un expometru, ai
determina care ar
trebui să fie viteza obturatorului.
Așa că acest lucru a fost
schimbat drastic de către Nikon la, cred, la
mijlocul sau sfârșitul anilor ’80, unde au
propus această
schemă de măsurare Matrix Nikon.
Și ideea de
aici este... așa că așa
arată camera SLR.
Ai obiectivul principal.
Ai o oglindă.
Avionul de film s-a întors aici.
Lumina care intră
se reflectă aici sus
în pentaprismă.
Și în interiorul pentaprismei, se
îndoaie, îndreaptă
și trece prin
vizor
în ochii privitorului.
Dar ceea ce se întâmplă aici este că o altă
oglindă mică o reflectă până
sus, unde
sunt acestea--
sunt aceste cinci-- Cred că
aveți cinci zone diferite.
Și aveau un luminometru
în fiecare dintre aceste zone, care,
practic, captura
câți fotoni intră
în acea zonă.
Deci, chiar înainte de a fi
făcută fotografia,
camera știe cât de
luminoasă este scena.
Și pe baza asta și pe
baza unor euristici cu
care au venit
, ei determină
care
ar trebui să fie expunerea corectă pentru fotografia dată.
Și aceasta trebuia să fie o
tehnică foarte revoluționară
pe atunci.
A eliminat toate
regulile de bază pe
care oamenii le-au propus
înainte de aceasta pentru a
estima o expunere bună.
Și acesta este ceea ce a
dus la schimbarea în care
puteți doar
modul automat pe o cameră.
Puteți doar să apăsați
declanșatorul.
Și nu trebuie să vă faceți griji
nici pentru focalizare,
nici pentru expunere.
Și încă o dată,
revin puțin la aceste lucruri
în domeniul
fotografiei computaționale și al
camerelor computerizate.
Ultimul lucru pe care
vreau să-l ating
este conceptul de culoare
în camerele digitale.
Și majoritatea camerelor digitale au
ceea ce se numește un filtru Bayer.
Și arată cam așa.
Deci, pixelii adiacenți au
filtre colorate diferite
plasate deasupra lor.
Și, de obicei,
există două filtre verzi
pentru fiecare filtru roșu și albastru.
Și ceea ce le dă acest lucru --
așa că imaginea pe care o obțineți este acest
canal albastru intercalate,
canalul roșu și
canalul verde pe același senzor.
Și apoi folosesc
tehnici de demosaicing sau de interpolare
pentru a recupera o
imagine de înaltă rezoluție în culoare.
Există și alți senzori,
cum ar fi senzorul Foveon,
care se rotește mai degrabă în
profunzime decât în ​​spațiu.
Deci, pentru fiecare pixel,
primesc o valoare de culoare roșie, verde
și albastră.  Încă
un lucru pe care
am vrut să-l spun aici
este că
spectrul electromagnetic, care
variază de la
unde radio la unde gama,
este doar o mică
parte care ne
interesează pentru fotografie.  De
obicei, este de la 400
la 700 de nanometri.
Și această regiune este
de fapt împărțită
în aceste trei canale,
cele trei canale de culoare
pe care le aveți -- roșu,
verde și albastru.
Dar singurul motiv pentru care
aveți aceste trei canale
este din cauza ochiului uman,
care are, de asemenea, trei
canale similare.
Și camerele de luat vederi încearcă să
imite funcționarea
ochiului uman în acest sens.
Dar dacă te uiți la
camerele multispectrale--
și cred că vom reveni
la asta în altă clasă--
poți avea un număr întreg
de canale între 300--
400 și 709.
Deci aceasta este
Diagrama de cromaticitate CIE.
Acesta este modul în care ochiul uman
interpretează vizual culoarea.
Deci ceea ce ai este...
este pe o scară xy.
Și ceea ce aveți pe
margini aici
sunt culorile pure sau
culorile primare
care corespund
lungimii de undă pure de la 380
sau 400 la 700 de nanometri.
Și deci orice se
află afară aici
este o culoare pură, doar
o singură lungime de undă.  Asta ti-ar da
un laser sau
niste LED-uri.
Orice din aceasta este un
amestec de diferite culori.
Și
proprietatea interesantă a acestui spațiu de culoare
este că, dacă aveți două
puncte pe acest spațiu de culoare
și amestecați acele două culori
în diferite proporții,
veți
obține o culoare care
se află pe linia care conectează
perceptiv acele două puncte.
Și deci, dacă aveți --
dacă aveți un
triunghi ca acesta,
care este un spațiu de culoare,
spațiul de culoare XRBG în acest caz,
care este ceea ce folosesc majoritatea monitoarelor
și LCD-urilor, ați obține --
dacă aveți culori primare
care sunt  la cele trei vârfuri
și amestecați acele
culori primare
în diferite proporții,
veți
obține o culoare
în acel triunghi.
Și prin simpla variație a
[?  val?] dintre cele trei
primare între 0 și 1,
puteți trece de la alb complet,
care se află în centru, la
una dintre cele trei culori.
Și așa arată
răspunsul de culoare:
curba doar pentru
culoarea primară roșu, verde și albastru
pentru film și pentru
un senzor digital tipic.
Ceea ce este interesant de remarcat
este că, deși am
avansat destul de mult
de la film la digital,
tehnica de bază
rămâne aceeași.
Mai avem aceleași
trei culori primare.
Arata aproape identic.  E
foarte puțină
diferență între ele.
Și acesta este unul dintre scopurile
fotografiei computaționale,
este de a elimina
filmul cu bagajele
pe care încă îl avem
asociat cu filmul.
Și o parte din această
prelegere va merge de fapt
în
cealaltă direcție
și va spune, cum putem
îmbunătăți asta?
Deci, restul
clasei va
fi mai mult despre
cum putem scăpa
de film, în timp ce
această clasă se referă mai mult la
cum putem îmbunătăți filmul.
PUBLIC: În graficul pe
care l-ați arătat,
se pare că filmul are
culorile mai ortogonale,
fiind detectate mai degrabă
decât senzorul digital.
Vedeți că albastrul se
scurge în verde
și roșul se scurge?
Dar acolo, se pare că
e... într-un anumit sens, sunt
foarte puține scurgeri.
ANKIT MOHAN: Da.
PUBLIC: Este și în general?
ANKIT MOHAN: Nu sunt sigur, în
acest caz, de ce este așa.
Și, de asemenea, rețineți că
acesta este doar un
film care este optimizat pentru
anumite tipuri de fotografie.
Cred că Velvia ar
trebui să fie foarte
bună pentru fotografia de peisaj,
apus de soare și astfel
de lucruri.
Și asta e ceva ce
poți face cu filmul.  Ai
putea avea un film care este
potrivit pentru o anumită sarcină
și diferit-- are
diferite primari,
în timp ce pentru camere, trebuie să
fie-- pentru senzori digitali,
trebuie să fie ceva
care merge peste bord
pentru diferite tipuri de
scene și lucruri.  ca asta.
Deci ăsta ar putea fi
motivul pentru care e așa.
PUBLIC: În
diapozitivul anterior, [INAUDIBLE]
două cuburi verzi, două
pătrate verzi și doar unul
pentru roșu și albastru.
ANKIT MOHAN: Da.
PUBLIC: Asta
pentru că ochiul
este mai sensibil la
canalul verde?
ANKIT MOHAN: Da,
pentru că atunci când...
Cred că asta este
aproximativ și proporția
conurilor din ochiul nostru.
Și verde, dacă te uiți la
valoarea, v, relația de luminanță,
cromaticitate
dintre RGB și aceea,
verdele este cel care
corespunde cel mai mult -- cea mai mare
greutate.
Da?
PUBLIC: [INAUDIBIL] Ați
menționat că filmul poate
fi mai specific [INAUDIBIL].
Ar avea sens - ar
fi posibil să
existe de fapt diferite tipuri
de senzori care
ar fi specifici pentru
diferite tipuri de fotografie
în digital?
ANKIT MOHAN: Îți este greu
să schimbi senzorii
odată ce ai un senzor
și acesta este copt.
PUBLIC: Da, vreau să spun, dacă
am putea schimba senzorul...
ANKIT MOHAN: Da, da.
Și unele dintre lucrurile despre care,
cred că, la un moment dat, despre care vom
vorbi în acest
curs, s-a
lucrat cu privire la modul de a face
senzori digitali mai flexibili,
nu doar
senzori digitali, ci și de a face...
cum să faci întregul
camera mai flexibilă,
astfel încât să puteți
schimba în mod programatic acele răspunsuri?
Și ai putea să faci
ceva de genul ăsta.
Dar se dovedește că,
pentru majoritatea fotografiilor,
nu contează atât de mult.
Și doar făcând
lucruri în Photoshop,
dacă aveți suficientă
adâncime de biți acolo,
nu contează prea mult.
Dar contează pentru
lucruri precum teledetecția,
unde aveți nevoie --
chiar și între 400 și 700, vor
fi 30 sau 40 --
sunt împărțite în 30 sau 40 de
canale diferite, care sunt
aproape complet ortogonale.
Revenind la
ceea ce spuneai,
dacă te uiți la
curba de răspuns a ochiului uman,
chiar și asta are o suprapunere uriașă.
Deci este de fapt destul de
asemănător cu acesta.
Nu este [INAUDIBIL].
Alte intrebari?
Așadar, aceasta a fost o
privire de ansamblu foarte rapidă
a ceea ce am crezut că
ar fi util să
știți despre
fotografia de film în general.
Și despre ce voi vorbi
în timpul acestei ore
este despre ce este fotografia epsilon.
Și acesta este un termen pe care--
acesta este un termen pe care Ramesh l-a
inventat cu ceva timp în urmă.
Iar ideea aici este că
scopul
fotografiei epsilon este
de a îmbunătăți fotografia bazată pe film
, nu de a încerca să facem
ceva nou, ci doar de a
face ceea ce am putea
face deja cu filmul, dar să o facem mai bine.
Și modul în care se realizează
în aproape toate cazurile
este prin a face mai multe fotografii
sau prin capturarea mai multor date.
Astfel, faceți mai multe fotografii,
fiecare cu
parametrii camerei ușor diferiți.
Și de obicei,
parametrii pe care îi variați
sunt setările de expunere,
setările de culoare, setările de spectru
, setările focale,
poziția camerei
și direcția în care
se uită
sau chiar iluminarea scenei.
Deci modificați una
dintre aceste setări.
Și capturați un
număr întreg de imagini.
Și apoi folosiți cumva
un algoritm
pentru a combina acele
imagini împreună.
Și obțineți o imagine
care arată mai bine
decât oricare dintre acele
imagini individuale.
Practic asta
este fotografia epsilon.
Și există o serie
de moduri în care puteți
face această fotografie epsilon.
Și voi trece prin
fiecare dintre acestea unul câte unul.
Ai putea face... ai putea face
mai multe fotografii de-a lungul timpului.  Ai
putea să faci una -
poți să faci o fotografie, să o
salvezi, să faci o a doua
fotografie, să o salvezi, să faci
10 fotografii diferite și apoi să
le combinați cumva.
Sau ai putea face asta prin senzori.
Puteți avea 10
camere diferite amplasate
în același punct
și puteți face o singură imagine,
o fotografie cu fiecare
cameră în același timp.
Sau ai putea face
epsilon peste pixeli.
Și asta e... Voi
reveni la asta într-un minut.
Sau ai putea face o
combinație a tuturor acestor lucruri.
Deci epsilonul în
timp este ceva
care este cel mai comun.
Și este ceea ce majoritatea
manualelor de fotografie se referă ca bracketing.
Iar ideea de bracketing
este puțin diferită
pentru că, în cele din urmă,
ajungi să folosești o singură imagine.
Deci, atunci când nu sunteți sigur
care ar trebui să fie expunerea
sau nu sunteți sigur
unde ar trebui să focalizați,
faceți mai multe imagini cu
expuneri ușor diferite
sau
setări de focalizare sau setări de diafragmă ușor diferite.
Și majoritatea camerelor au
caracteristici interne pentru a face acest lucru.
Deci, trebuie doar să apăsați
butonul declanșator o dată
și sunt necesare cinci
imagini pentru dvs.
Și apoi, când te
întorci acasă, poți
decide care dintre ele este cea
mai bună și doar să o folosești.
Dar epsilonul în timp este similar.
Faceți mai multe imagini.
Dar apoi folosești ceva
algoritm sau ceva -
ceva inteligent pentru a combina
acele imagini împreună și a obține
o imagine rezultată.
Deci, cazul în care este cel mai
des folosit
este pentru
fotografia cu interval dinamic înalt.
Și cred că Ramesh
a vorbit despre asta.
La ultima clasă, a menționat asta.
Deci, așa cum spuneam
mai devreme,
trebuie să aveți
expunerea corectă pentru a
obține imaginea unei scene.  Se pare
că,
pentru multe scene,
chiar dacă ai
expunerea corectă, nu
poți surprinde tot ceea ce
conține scena.
Scena dvs. poate avea
părți foarte luminoase, cum ar fi lumina zilei
și regiuni de umbră foarte întunecate.
Iar
raportul de contrast al acestor două
poate fi la fel de mare ca [INAUDIBIL].
Și majoritatea camerelor
nu ar capta nimic
mai mult decât un raport de aproximativ--
scuzați-- aproximativ 1.000.
Așadar, o modalitate de a
ocoli această limitare
este de a captura un
număr de imagini
și apoi de a folosi un algoritm
pentru a combina toate acele imagini
împreună și a crea ceea ce
se numește o imagine cu interval dinamic înalt
.
Și sunt sigur că toți am
auzit de acest termen.
Dacă accesați
Flickr și căutați
„
imagini cu gamă dinamică înaltă”,
veți obține milioane de fotografii
pe care oamenii le-au surprins
folosind această tehnică, doar
captând o grămadă de imagini
și adunându-le împreună.
Și s-au făcut
multe cercetări
despre cum ar trebui să puneți
aceste imagini împreună.
Și se dovedește că, odată ce ai
făcut toate acestea,
există o
problemă dublă legată, și anume cum
afișezi acea imagine.
Și voi reveni
la asta într-un minut.
Dar o modalitate de a afișa asta
este ceea ce se numește maparea tonurilor.
Și se lucrează la
algoritmi sofisticați
despre cum comprimați o
imagine pe 12 sau 14 biți înapoi
la o imagine pe 8 biți.
Și există lucrări interesante
în acest domeniu, pe care nu o vom
acoperi în această clasă.  Un
alt exemplu peste
epsilon de-a lungul timpului
este acest exemplu
care îmi place foarte mult.
Aceasta este... cred...
nu sunt sigur... dar este una
dintre primele imagini color...
sau este din setul
uneia dintre primele
fotografii color produse.
Și a fost după...
numele acestui tip pe care
nu îl pot pronunța.
Dar a făcut înconjurul Rusiei la
începutul secolului al XX-lea în timpul...
uit, dar la
începutul secolului al XX-lea.
Și a făcut o grămadă de
fotografii cu oameni care își trăiesc
viața --
mergând și făcând agricultură,
vânând și doar stând
și lucruri de genul ăsta.
Și apoi modul în care a
făcut aceste fotografii a fost să
facă trei imagini --
una cu un filtru roșu plasat
în fața camerei,
apoi una cu un verde și
una cu filtru albastru.
Și apoi, odată ce și-a procesat
imaginile și așa mai departe, a
dezvoltat un proiector
care ar proiecta
o imagine roșie, o
imagine verde și o imagine albastră
pe același ecran.
Deci, când îl vizualizați,
vedeați o imagine colorată.
Și mai recent, cu
aproximativ 10 ani în urmă,
până acum aproximativ 10 ani
, erau doar
aceste filme care se aflau în
Biblioteca Congresului, care
apoi au fost digitalizate
și aliniate manual.
Și acum, puteți descărca
toate aceste imagini color
de pe site-ul lor.
Deci, acesta este cazul foarte simplu
de epsilon în timp.
Faceți doar trei imagini
cu trei imagini diferite
în fața camerei dvs.  Un
alt exemplu, care
este de fapt folosit --
probabil că folosește acest
proiector -- este că există --
majoritatea proiectoarelor DLP
au un câmp de culoare,
care se află în fața
oglinzii DMD.
Și o parte din asta...
este puțin greu de văzut.
Dar cred că acesta este
roșu, verde, albastru
și apoi este din nou verde.
Și cred că această parte
este doar albă pentru a
crește intensitatea...

poate că aceasta este roșie și
aceasta este pur și simplu transparentă.
Dar când aveți
partea roșie a roții în
fața DMD,
proiectați imaginea roșie.
Apoi, când aveți
partea verde,
proiectați
imaginea verde și așa mai departe, astfel
încât atunci când
vizualizați imaginea proiectată -
și acest lucru se întâmplă
foarte, foarte repede,
că ochiul
se integrează în timp
și vă oferă de fapt
imaginea colorată.  .
Și o modalitate de a
vedea că se întâmplă acest lucru
este dacă luați o cameră și
doar capturați o imagine
cu o viteză foarte mare a obturatorului
de aproximativ 1 peste 1.000,
uneori puteți
obține jumătate din ecran verde,
jumătate din ecran este albastru.
Sau poți deveni cu adevărat
interesant și [INAUDIBIL]
dacă încerci să faci asta.
Acum, acest lucru nu va funcționa dacă
aveți un proiector LCD,
deoarece un proiector LCD
folosește de fapt un LCD color.
Și obțineți toate
culorile în același timp.
Este de fapt
interpolat spațial.
Este un fel de
multiplexare spațială în loc
de un lucru temporal ca acesta.
Deci asta a făcut
epsilon în timp.
Următorul face
epsilon peste senzori.
Și asta înseamnă de obicei
două lucruri.
Puteți avea fie
mai multe camere,
fie puteți avea mai mulți
senzori în aceeași cameră.
Iar mai mulți senzori
din aceeași cameră
este ceea ce se numește în mod popular
un sistem de imagistică 3CCD.
Este ceea ce este folosit în majoritatea
camerelor video
și camerelor video de ultimă generație.
Și aveți această lentilă tricroică
cu o prismă, pe care de fapt -- în
funcție de indicele de
refracție, razele ajung -- pur și
simplu trec prin sau
au reflexie internă totală.
Și astfel imaginile roșii,
verzi și albastre
sunt formate pe trei
senzori diferiți,
care se află exact la
aceeași distanță optică
de scenă.
Și atunci când faci toate
aceste trei imagini...
Cred că imaginea
de acolo arată că ai
lumină albă care
intră din spatele prismei.
Și apoi aveți componentele verde,
albastru și roșu
separă
pe măsură ce trec.
Și astfel, în același timp,
folosind trei senzori diferiți,
puteți captura cele
trei canale de culoare.
Deci este asemănător cu a
pune cele trei
filtre în fața
camerei, dar se
întâmplă în același timp.
Deci, puteți utiliza acest lucru pentru
a muta obiecte și așa mai departe.
Și da, deci și
senzorul în sine este...
are de obicei un
răspuns spectral foarte larg.
Deci, de fapt, răspunde
la orice lungime de undă de intrare
între 400 și 700 de nanometri.
Doar prisma este cea care
face separarea.
PUBLIC: Deci de ce este
folosit?
De ce nu este
folosit asta în SLR-urile digitale?
ANKIT MOHAN: E
doar mare și neîndemânatic.
Adică, cred că întrebarea pe care mi-
aș pune-o este invers.
De ce nu folosesc
senzori Bayer în camerele video?
Și nu sunt complet sigur de ce.
Cred că acesta ar putea
fi ceva care s-a
blocat de când au
fost dezvoltate primele camere video
.
Și asta a fost probabil
înainte ca filtrele de modele Bayer
să devină populare.
PUBLIC: [INAUDIBIL].
ANKIT MOHAN: Corect.
Deci, probabil acele
margini-- efectele de margine
apar mai mult într-o cameră video
decât în ​​fotografia digitală, doar în
fotografia statică.
Nu sunt sigur de ce
sunt încă în uz.
Adică,
cu siguranță sunt mai bune.
Ele oferă o rezoluție mai mare
, așa cum s-a subliniat.
Așa că recent, Morgan McGuire și
alții de la Mitsubishi Research,
care este chiar vizavi, au
venit cu asta cu adevărat... au
dus asta la extrem.
Și ei au spus, în loc să
avem doar trei dintre ele,
de ce nu avem
opt dintre ele și să facem
un arbore întreg din aceste
tipuri de
camere multiple colocate optic?
Și așa au venit
cu un aranjament foarte interesant de
separare a fasciculului.
Și fiecare dintre aceste opt
camere sunt de fapt
amplasate optic
în același punct.
Și astfel imaginea
formată pe fiecare dintre ele,
dacă nu s-ar fi
schimbat nimic altceva,
ar fi exact aceeași.
Dar ceea ce vă oferă acest lucru
flexibilitatea
este că acum fiecare dintre aceste opt
poate avea setări de focalizare diferite
, de exemplu.
Se pot concentra pe
un alt plan.
Sau pot avea un
filtru de culoare diferit în fața acestuia.
Și puteți obține opt canale de spectru
diferite

în același timp.
Și ceea ce cred,
în dreapta,
arată este doar că el a arătat--
el strălucește un laser
prin camere
pentru a le alinia pentru a vedea
că acea rază de lumină
intră de fapt în fiecare
dintre acele camere.
Așa că a folosit această configurație
pentru... sau o configurație simplificată
pentru a face mat
sau defocalizare,
unde a folosit, cred,
două sau trei camere
pentru a focaliza pe
avion și una care este
focalizată în
fundal pentru a
face o separare între ceea ce este
în față
și ce este în fundal.
Dar cu siguranță este
ceva care
poate fi folosit pentru
diverse alte lucruri.
Este practic același concept
ca multiplexarea prin senzori.  Un
alt mod în care puteți face acest lucru este
pur și simplu folosind matrice de camere.
Și asta a fost lucru, cred, pe
una dintre primele matrice de camere.
Și s-a făcut la CSAIL.
Și este epsilon--
diferența dintre
matricele de camere și un SAMP sau
3CCD este că acest lucru impune
un anumit epsilon
configurației tale, că întotdeauna va
fi epsilon în
poziția camerei.
Puteți pune alt
epsilon deasupra.
Puteți avea un filtru diferit
în fața acestor camere
sau puteți avea o
setare de focalizare diferită
pentru fiecare dintre aceste camere.
Dar de la sine,
vă oferă un epsilon
în poziția camerei.
Deci, fiecare dintre camerele
din această matrice de camere
este de fapt...
nu sunt amplasate în comun.
Sunt ușor traduse
unul de celălalt.
Și asta în sine poate fi folosit
pentru a oferi lucruri interesante,
așa cum voi reveni la
asta mai târziu în discuție.
Dar acesta este un alt mod de a
face acest tip de epsilon.
Și Stanford are propria lor
versiune de matrice de camere.
Și acum, de fapt, puteți
cumpăra doar o matrice de camere, care
este o cameră 5 pe 5 abundentă.
Avem una la etaj, care...
este o unitate.
Și are de fapt o cameră foarte
bine aliniată și calibrată precis - o
gamă de camere.
Ultimul este
epsilon peste pixeli,
unde diferiți pixeli
captează de fapt
informații diferite.
Și am vorbit deja
despre acesta,
care este locul în care filtrul Bayer
face în esență acest lucru.
Fiecare pixel are un
filtru de culoare diferit în fața lui.
Și [?  Roarke?] va
vorbi
despre o altă tehnică
puțin mai târziu astăzi, care
este o modalitate foarte inteligentă de a
extinde aceasta și vă permite
să faceți diverse alte lucruri
fără a fi nevoie să plasați
filtrele pe pixelul în sine
sau [INAUDIBLE] în altă parte,
ceea ce este  mai usor de facut.
Deci revenind la... a
cui întrebare a fost?
Cineva a întrebat, poți schimba
forma filtrelor
răspunsului de culoare?
Cred că vrei să știi?
Dar [?  Roarke?]
vă va oferi un mod
de a face asta, punând pur și simplu
ceva în fața lentilei.
Și apoi puteți avea
epsilon în mai multe axe.
Deci, aceasta este o cameră foarte drăguță
pe care o avem și la etaj.
Are patru lentile.
Și astfel formează patru
imagini pe film.
Este o cameră de film.
Și are și patru flash-uri.
Motivul pentru care are
patru blițuri
nu este din cauza a patru
blițuri diferite,
ci pentru că le poate declanșa
foarte repede unul
după altul.
Deci, deschide câte o lentilă.
Și când obiectivul este deschis,
luminează unul dintre blițuri.
Așadar, obțineți patru
imagini, care sunt
din
puncte de vedere ușor diferite
și luate cu
senzori de sincronizare ușor diferiți.
Și există un întreg site web
plin de lucruri creative
pe care oamenii le-au făcut cu
acest tip de camere.
Dar acesta este epsilon în timp
și, de asemenea, în poziția
camerei, deci în senzori.
Da?
PUBLIC: Deci asta este pe film?
ANKIT MOHAN: Asta
e pe film, da.
PUBLIC: Și așa îți oferă
patru poze despre film?
Sau sunt suprapuse?
ANKIT MOHAN:
Nu sunt suprapuse.
Sunt patru imagini distincte.
PUBLIC: Corect.
ANKIT MOHAN: Deci aceasta este o lucrare
realizată de [?  Srini?] cândva
în urmă, adică-- le
reunește pe toate
într-un pachet frumos,
unde poți face toate
aceste lucruri împreună.
Și este ceea ce ei numesc
mozaic generalizat.
Sunt oamenii conștienți
de ce mozaic
sau cum captezi o panoramă?
Practic, dacă vreau să surprind
o panoramă a întregii scene, voi
face o imagine aici, aș
mișca, aș face o imagine aici, aș
muta, aș face o imagine aici
și aș face o imagine aici
și apoi
le-aș împere împreună
pentru  creați un mozaic, care
are totul aici.
Deci, ei au venit în
loc să facă o imagine--
fiecare imagine cu
aceeași setare, au pus--
deci asta e camera.  Au
pus un filtru în
fața camerei la
o anumită distanță între
scenă și camera în sine.
Și acesta poate fi un
filtru care
are fie o rampă în
gradient de densitate neutră,
fie spectre diferite,
culori diferite
de polarizare sau chiar focalizare.
Și pur și simplu... în loc să
faci câte o imagine odată,
faci un videoclip
în timp ce acesta se rotește.
Și din aceasta, din
datele pe care le capturați,
puteți obține fie
o gamă dinamică mare
a întregii scene, fie
o imagine multispectrală
a întregii scene,
fie o imagine
focalizată în puncte diferite.
Deci, modul de a gândi
la asta este că atunci când
faci o imagine aici,
diferite puncte de scenă--
ceva acolo--
voi obține
canalul albastru al unui pixel aici.
Dar când îl rotesc,
voi obține canalul verde
al aceluiași pixel.  Îl

mai rotesc puțin, voi obține
canalul roșu al acelui pixel.
Așa că faceți doar această
mișcare panoramică completă.
Ai câteva
date lipsă pentru margini.
Dar pentru orice
altceva, veți
putea recupera
informațiile complete despre aceasta.
De aceea ei
îl numesc generalizat,
pentru că îl poți folosi
pentru oricare dintre aceste lucruri.
Și cred că au construit și
un prototip de cameră ca cel
mai portabil.
Și pur și simplu au pus acest
filtru în fața lentilei.
Deci am
discutat deja despre aceasta,
care face captură HDR
cu mai multe imagini.
Doar faci o
grămadă de imagini.
Și puteți combina toate
aceste informații împreună.
Și asta face HDR în timp.
Deci asta a fost.
Așa că am vrut doar să iau
exemplul
imaginii cu gamă dinamică înaltă și să văd cum putem face
acest lucru în timp, peste senzor
și peste pixeli.
Deci, acesta este primul,
care face HDR de-a lungul timpului.
Acesta este al doilea, care
este mozaicizarea generalizată,
care este un fel
între cele trei setări pe
care doar puneți acest filtru
în fața camerei dvs.
și rotiți
camera și faceți un videoclip.
Se folosesc
detectoare multiple.
Aceasta este similară cu configurația SAM sau
3CCD pe care am văzut-o.
Aveți mai multe camere care
sunt amplasate optic care
iau mai multe -- care fac
imagini în același timp
cu filtre diferite
în fața lor.
Deci au setări de expunere diferite
pentru fiecare dintre ele.
Și după cum puteți vedea,
fiecare dintre aceste zone
a avut multă
muncă depusă în ele.
Deci, ultimul este acesta -
folosind ceea ce se numește
pixeli asorți.
Cred că acesta este un
mod mai generalizat
dintre celelalte două.
Da, deci este similar
cu mozaicul Bayer.
Dar, în loc să aibă
doar un mozaic RGB Bayer,
aveau de fapt două sau
trei niveluri diferite
de filtre de densitate neutră,
de asemenea, plasate peste fiecare pixel.
Deci, fiecare pixel - acest albastru
este diferit de acel albastru
în cantitatea de lumină
pe care o captează.
Și astfel poți face o
interpretare în culoare.
Și puteți face și
interpolare în intensitate
pentru a obține o
imagine de înaltă rezoluție.
Și acesta este în esență ceea ce
ei numesc pixeli asorți.
Dar seamănă mai mult cu un
model Bayer generalizat, cu filtrarea Bayer.
Și puteți pune
și filtre de polarizare deasupra.
Sau ați putea avea alte
culori decât RGB.
Și din nou, [?  Roarke?] va
vorbi mai multe despre asta mai târziu.
Și aceasta a fost de fapt o muncă făcută
la Columbia în colaborare
cu Sony.
Și Sony a făcut de fapt
o cameră care a făcut asta.
Era doar un prototip.  Nu a
fost vândut niciodată.
Dar au reușit să
obțină această imagine
de la o cameră asortată - o
cameră cu pixeli asorți, care
are o gamă dinamică mult mai mare
și captează toate cele trei
canale de culoare în același timp.
Acesta este un alt
exemplu de a face acest lucru
de-a lungul timpului, această
captură cu interval dinamic înalt.
Și modul în care s-
a făcut acest lucru este că
plasați un LCD în
fața senzorului, care
are o rezoluție mult mai mică
decât senzorul în sine.
Capturați
informațiile de pe senzor.
Și vezi că anumiți pixeli merg... se
saturează.
Sunt prea luminoase.
Și în următorul
marcaj de timp, de fapt ați
pus un patch mai întunecat
peste acești pixeli,
astfel încât să compensați
luminozitatea.
Și parcurgând,
iterând prin asta,
puteți obține o imagine care este...
care are o gamă dinamică mai mică
pe senzor.
Dar odată ce combinați
acest lucru cu informațiile
pe care le-ați pompat
în ecranul LCD,
puteți recupera o
imagine cu interval dinamic înalt.
Motivul pentru care am vrut
doar să menționez asta
este pentru acesta,
unde aceasta este de fapt
o lucrare realizată de
Wolfgang Heidrich, care
a ținut o conferință în grupul nostru cu
ceva timp în urmă la Universitatea
British Columbia din Canada.
Și acestea sunt lucruri care au
fost aduse de Dolby.
Și de fapt folosesc
aceste lucruri pe LCD-urile Samsung acum.
Dar aceasta este o modalitate de a genera
un afișaj cu interval dinamic ridicat.
Și configurația este foarte asemănătoare -
este foarte asemănătoare
cu cea anterioară.
Și este de fapt
foarte simplu, prin aceea că, în
loc să
folosești doar un proiector
și să proiectezi pe ecran,
ceea ce face un ecran de proiector Bayer
,
au un proiector
și apoi au un
LCD în față.
Deci au două
straturi de control.
Și obțin de două ori
sau pătratul față de
ceea ce aveau mai devreme, cât mai mult
control asupra intervalului dinamic
a ceea ce pot afișa.
Și pentru a putea controla...
Cred că acesta este un
prototip foarte timpuriu aici.
Deci au două
straturi de LCD-uri, deci unul
în interiorul proiectorului
și unul plasat acolo.
Dar o puteți
face și cu două straturi
de LCD-uri fizice reale.
Și se pare că
LCD-ul din spate
trebuie să fie... poate avea o
rezoluție mult mai mică decât LCD-ul
din față.
Și doar folosind asta, puteți
obține o gamă dinamică foarte mare.
Și cred că majoritatea
televizoarelor HD și așa mai departe,
au și chestia asta în care
pot reduce lumina de fundal.
Așa că obțin acest
contrast dinamic foarte ridicat,
care este oarecum confuz.
Dar, în esență, nu este
doar modularea LCD-ului,
ci și modularea
luminii de fundal.  În
esență,
asta face,
dar nu doar
întreaga lumină de fundal.
Lumina de fundal este
modulată diferit
în diferite părți
ale ecranului.
Da?
PUBLIC: Ei bine, cum de
poți folosi o rezoluție mai mică
pentru ecranul LCD frontal?
ANKIT MOHAN: Nu, nu pentru
față, pentru LCD din spate.
Pentru partea din față, mai aveți
nevoie de rezoluție completă,
deoarece
LCD-ul din spate acționează în esență
ca o lumină de fundal.
Cred că au
avut și un difuzor aici,
care oricum reduce
rezoluția LCD-ului din spate.
În caz contrar, ați putea obține
margini ciudate și așa mai departe.
Deci a fost un pic
despre intervalul dinamic ridicat.
Următorul lucru despre care am
vrut să vorbesc
este ceea ce am discutat mai devreme,
acest concept de setare a focalizării
și modul în care putem extinde
adâncimea câmpului.
Există multe
aplicații în care
doriți o
adâncime foarte mare de câmp,
așa cum am spus, de exemplu,
fotografia de peisaj.
Vrei ca copacul de lângă
tine și muntele îndepărtat
să fie în centrul atenției.
Dar, așa cum am discutat,
pentru a face asta,
trebuie să opriți obiectivul.
Trebuie să aveți o
deschidere foarte mică, ceea ce
înseamnă că veți
primi foarte puțină
lumină în cameră.
Și așa zgomotul tău crește.
Sau s-ar putea ca
lucrurile să se miște în timp ce îți
faci expunerea.
Așadar, în


ultimii 30 sau 40 de ani au fost propuse o serie de tehnici, în
special în
domeniul microscopiei,
despre cum putem extinde
adâncimea câmpului,
păstrând totuși
dimensiunea diafragmei destul de mare.
Și există lucrări recente făcute
în zona
camerelor cu câmp luminos.
Și una pe care nu am scris-o
aici este înregistrarea pe bandă, la
care sunt sigur că Ramesh
va reveni mai târziu,
ceea ce vă permite, de asemenea, să
extindeți adâncimea câmpului,
având în continuare
o deschidere mare.
Deci prima tehnică care este cea
mai interesantă aici
este ceea ce se numește stive focale.
Iar ideea este foarte simplă.
Practic este din nou epsilon
peste timp.
Și faci mai multe imagini
focalizate pe planuri diferite.
Deci, de exemplu,
aveți această furnică stând
sub un microscop sau asta--
când vă concentrați în
prim-plan,
vedeți că lucrurile din
prim-plan sunt focalizate,
dar picioarele din spate și restul
corpului sunt nefocalizate.
Dacă te concentrezi pe
fundal, te concentrezi --
primul plan nu este focalizat.
Deci, ceea ce au
făcut în schimb a fost că au
luat o serie întreagă de imagini.
Și o să
le răsfoiesc.
Sunt concentrați pe
planuri diferite.
Așa că cred că sunt aproximativ
10 sau 12 imagini pe care le
poți captura pe toate.
Și puteți face acest lucru deoarece
obiectul sau scena,
în acest caz, este
statică în timp.
Sau ați putea folosi tipul
de configurare SAMP, în care capturați
toate aceste imagini
în același timp,
dar fiecare cameră este focalizată
într-un plan diferit.
Și apoi combinați
toate aceste informații
împreună pentru a
crea o singură imagine care este
complet focalizată.
Așadar, un [INAUDIBLE] similar
de la Universitatea din Washington
propune o tehnică foarte interesantă și
inteligentă a modului în care
le puteți combina împreună pentru a
descoperi regiuni din--
astfel încât fiecare imagine are anumite
părți care sunt focalizate.
Deci, faceți o
estimare bazată pe contrast a
părților focalizate.
Și asta este
afișat în dreapta.
Și apoi faceți un
domeniu de gradient îmbinând diferite părți
împreună.
Deci rezultatul final nu are
discontinuități ciudate.
Și arată frumos și neted.
Și totul este concentrat.
Și cred că Ramesh va vorbi,
la un alt moment,
despre
această tehnică în sine
mai detaliat.
Dar ceea ce am vrut să menționez
este mai mult stiva focală.
Puteți face doar o
grămadă de imagini
focalizate pe planuri diferite.
Și apoi le puteți pune pe
toate împreună pentru a
obține o imagine focalizată.
PUBLIC: Analiza a fost
făcută în viziune computerizată?
Sau a folosit [INAUDIBLE]
de la cameră
sau a fost făcută fotografia reală?
ANKIT MOHAN: Te referi la aceste date?
PUBLIC: Nu, modul de a
combina imaginile.
ANKIT MOHAN: Deci, combinarea
imaginilor a fost de fapt
o tehnică diferită.
Aceasta este această
tehnică de îmbinare bazată pe gradient,
în care aveți
lucruri dintr-o imagine
și aveți lucruri
dintr-o altă imagine
pe care doriți să le puneți împreună.
Dar dacă doar tăiați acea
imagine și o puneți aici,
veți avea
discontinuități ciudate.
Și culorile vor
fi diferite.
Dar se dovedește că dacă faci asta
în domeniul gradient și apoi
faci un [?  procent?] pentru a
integra imaginea înapoi,
veți obține
o imagine frumoasă și netedă.
Și toată eroarea
va fi distribuită
ca zgomot în întreaga imagine.
Deci asta a
propus inițial tehnica.
Și tocmai au folosit acea
tehnică pentru această stivă focală
pentru a obține asta.
Cred că exemplul...
Sunt sigur că Ramesh va
vorbi despre asta la un moment dat.
Exemplul pe care l-au
avut în ziar
a fost că aveți
o scenă ca asta.
Și dacă faci o
poză de aici, s-
ar putea să vezi pe cineva care nu se
uită la aparatul de fotografiat,
sau cineva surprins
căscând, sau cineva are...
doar o față proastă.
Dacă luați 10 astfel de imagini,
fiecare dintre acele imagini
va avea niște
oameni care sunt în regulă
și alții
care nu arată bine.
Dar nu va exista
o singură imagine care să-i facă pe
toată lumea să se uite la cameră.  Așa
că au dezvoltat această
tehnică pentru a
combina toate
acele imagini împreună
pentru a obține o singură imagine care îi
face pe toți să privească
la cameră așa cum
doriți să fie și să
arate în continuare ca o imagine
venită de la o cameră.
Și ar fi trebuit să pun
asta undeva.
Dar se numește
mozaic foto digital, cred.
Și este [INAUDIBIL].
Da, un montaj foto, un
montaj foto digital.
Deci, puteți face un lucru similar
cu o cameră cu câmp luminos.
Nu știu dacă Ramesh
a introdus
încă conceptul de câmpuri luminoase.
Are el?
PUBLIC: Da.
ANKIT MOHAN: Da?
Deci, un câmp luminos
captează practic toate informațiile care
vin într-o cameră.
Și modul în care se
face în mod tradițional
este prin punerea unei matrice de microlensuri
în fața senzorului camerei.
Dacă nu înțelegi
asta, e în regulă.
Sunt sigur că va intra
în mai multe detalii.
Dar ceea ce puteți obține
din câmpul luminos
este că puteți extrage
stiva focală din câmpul luminos
și apoi faceți practic ceea ce
am făcut în cazul anterior
și extindeți adâncimea
câmpului dacă doriți.
Deci, un câmp luminos - în esență,
ceea ce este important de reținut
este că câmpul luminos
poate fi folosit pentru a extrage
stiva focală, dacă este necesar.
Deci, acesta este un alt mod de a
extinde adâncimea câmpului.  A
existat o altă
lucrare recent,
pe care, din nou, nu am pus-
o aici, ceea ce este interesant
pentru că era de la Sam
Hasinoff de la CSAIL, unde el--
în loc să facă o singură imagine
cu o singură setare a diafragmei,
el susține că dacă faci
mai multe imagini  cu două
sau trei
setări diferite de diafragmă
și apoi le combini
, vei
obține mult --
timpul tău total de expunere va
fi mult mai scurt și vei
obține mai puțin zgomot
și așa mai departe.
Deci, acesta este încă un
mod de a combina.
Este similar cu stivele focale.
Sunt doar [INAUDIBLE]
stive focale
mai inteligent, deoarece
stivele focale se concentrează pe fiecare plan.
Și ceea ce a spus el este că poți
găsi un set optim de avioane pe
care trebuie să le concentrezi
pentru a obține cele mai bune rezultate.
Deci asta a fost extinderea
profunzimii de câmp.
Problema opusă este cum
faceți adâncimea câmpului mai
mică.
Și acesta este ceva
care vine de la sine
atunci când utilizați o cameră SLR
cu un obiectiv cu deschidere mare.
Aveți o
adâncime foarte mică de câmp
dacă deschideți diafragma
complet.
Și astfel, obiectul tău principal
este focalizat,
dar fundalul
este frumos și neclar.
Dar dacă utilizați o
cameră mică de îndreptare și fotografiere,
este foarte greu să obțineți un astfel de
efect,
deoarece dimensiunea deschiderii
camerei este de obicei foarte mică.
Și, deci, întrebarea
este, cum poți
folosi în continuare o
cameră cu deschidere mică
și să obții rezultate ca
cel din partea de sus?
Deci au fost câteva...
trei sau patru
lucrări în acest domeniu
care încearcă
să rezolve această problemă.
Prima este din
nou de la CSAIl
de Fredo Durand și elevul său.
Și ceea ce au făcut a fost...
începi cu o imagine de intrare.
Și apoi dintr-
o singură imagine,
ei estimează
adâncimea fiecărui punct.  Îmi pare
rău, înainte de a intra
în asta, motivul pentru
care aceasta este o
problemă grea este că, în primul rând,
doar din această imagine, este greu
de estimat ce este în focalizare
și ce nu este doar
privind contrastul.
Și chiar dacă poți
obține asta, chiar dacă
știi că
prim-planul este focalizat
și fundalul nu este
focalizat, dacă ai
mai multe straturi
în fundal,
fiecare dintre acele straturi va
fi nefocalizat--
mai mult  sau mai puțin
defocalizat, în funcție
de adâncime sau de distanța
de la planul de focalizare.
Așa că este greu de estimat
forma 3D sau
structura 3D a acesteia dintr-
o singură imagine.
Este mult mai ușor să o
faci din două imagini.
Dar ceea ce a făcut această lucrare, „Defocus
Magnification”, a fost că au
încercat să estimeze
structura 3D a scenei
dintr-o singură imagine
și apoi să o folosească pe aceea -
acea structură 3D
și imaginea care
a fost capturată pentru a
crește defocalizarea cu  aplicând pur și simplu
un filtru spațial foarte
neclar pe imagine.
Așa că puteți vedea că fundalul
este mai lipsit de focalizare
decât imaginea pe care au
preluat-o aici.
Și aceasta nu este chiar
fotografie epsilon.
Am pus asta
aici pentru că este
important pentru
structura generală.
Dar aceasta este mai mult
o tehnică de procesare a imaginii
decât orice altceva.  Un
alt mod de a
face acest lucru este ceea ce se
numește
fotografie cu deschidere sintetică.
Și acesta este ceva care a fost
propus de grupul lui Marc Levoy
de la Stanford.
Dar este ceva
mai general.
Și a fost folosit în radare
și așa mai departe de mult timp.
Ideea este de fapt
foarte simplă,
că ceea ce vrei
să faci este
să simulezi un obiectiv cu deschidere mare
, cum ar fi cel prezentat
aici.
Cu toate acestea, nu aveți
resursele fizice pentru a crea
un obiectiv cu deschidere mare.
Dar ceea ce puteți face este să creați
un număr de lentile cu deschidere mică
și apoi să
luați cumva informațiile provenite
de la fiecare dintre aceste lentile și să
le combinați computațional
pentru a simula
un obiectiv cu deschidere mare.
Și este, în esență, ceea ce--
un mod de a gândi acest lucru
este dintr-un
fel de punct de vedere al unei camere cu câmp luminos
sau doar al unui set de camere.
Dar dacă te
gândești la asta simplu,
poți combina fiecare dintre
aceste raze care se unesc
în lentilă dacă poți
afla care sunt acele raze
și poți obține ceea ce ai fi
obținut doar de la această
lentilă mare.
Și acum, dacă te uiți la un
punct diferit din spațiu,
combini un
set diferit de raze
și obții intensitatea
corespunzătoare punctului respectiv.
Deci, în esență, face asta--
ceea ce se face cu un
obiectiv cu deschidere mare în optică.
Faci asta
computațional
combinând toate aceste raze.
Deci așa
arăta configurația lor.
Aceasta este una dintre configurații.
Cred că aveau cinci
sau șase configurații optice diferite
.
Dar acesta le permite
să vadă...
așa că l-au folosit pentru a se
concentra pe ceva
care se afla în spatele unui tufiș.
Deci lasă-mă să văd.
Da, deci asta
ai obține cu o singură imagine.
Și ceea ce este în dreapta,
dacă se redă videoclipul, este...
OK, e ciudat.
Dar oricum, așa că poți pur și simplu,
combinând
razele, și vei
învăța cum
să faci acest tip de calcul.
Cred că este și într-una din
sarcinile tale.
Este probabil
următoarea sarcină, în
care combini informații
de la mai multe camere.
Și pur și simplu
schimbând și adăugând,
vă puteți concentra pe
un alt plan.
OK, deci poate nu
am videoclipul pentru asta.
Doar că te poți concentra în
spate pe un alt plan.
Și orice din față
iese din focalizare.
Și din moment ce adâncimea dvs.
de câmp este atât de mică
pentru că aveți această
deschidere sintetică mare,
totul de aici
de fapt iese din focalizare
și pur și simplu se estompează.
Și puteți vedea în spatele
frunzișului în acest caz.
PUBLIC: Știți dacă
tufișurile se mișcă în timp?
Oare...
ANKIT MOHAN: Nu cred că
contează pentru că ia doar
o imagine de la fiecare cameră.
Este o matrice de camere.
Deci nu e peste timp.
E peste senzori.
Dar acesta este un punct bun.
De fapt, ai putea face
acest lucru luând o cameră,
mișcând-o și
luând mai multe imagini, ceea ce face
exact
lucrarea următoare.
Aceasta este de fapt
lucrarea profesorului
[INAUDIBLE] care a fost
profesor vizitator
în grupul nostru anul trecut
și a studenților săi din Japonia.
Și au generalizat
acest lucru pentru că,
în loc să aveți o
matrice de camere fixe și rigide,
puteți pur și simplu să luați o
cameră, să o mutați
și să faceți mai multe imagini.
Și apoi folosind
tehnici de viziune computerizată
pentru a alinia diferite
componente sincronizate,
ei sunt capabili să obțină
rezultate cam așa.
Așa că asta se întâmplă doar cu,
cred, trei sau patru imagini pe
care le-a făcut doar
mișcând o cameră
și luând
imagini aleatorii fără nicio structură
sau orice fel de
calibrare sau altceva.
Și din asta, el este capabil să se
concentreze acum -- în acest caz,
concentrându-se pe primul plan și
fundalul este defocalizat.
Și în acest caz concentrându-ne
pe fundal.
Și ceasul din
față este focalizat.  De
asemenea, este
similar cu
chestia cu matricea de camere, cu excepția faptului că
nu aveți nevoie de o matrice de camere.
Puteți lua doar o cameră.
Și în timp, îl poți muta.
Deci, în acest caz, dacă
scena s-ar schimba,
ai avea probleme la
reconstruirea ei.  În
cele din urmă, ultima tehnică despre care
vreau să vorbesc
este ceva la care am
lucrat anul trecut
și am încercat foarte repede să
trec prin asta.
Cred că s-ar putea să fi pus
prea multe diapozitive pentru asta.
Dar ideea de aici este să
o facem mai mult optic
decât computațional.
Și ideea de bază este că,
în loc să păstrați camera
și obiectivul statice în timp ce
faceți o imagine,
mutați în mod intenționat
obiectivul și senzorul camerei.
Și asta numim
destabilizare a imaginii.
Mișcați obiectivul și senzorul
sincron unul cu celălalt
în timpul expunerii.
Și astfel încât să vă dau o intuiție
despre cum sau de ce funcționează asta -
așa că încă o dată, revenind la
imaginea pe care o aveam la început,
dacă aveți un plan
focalizat care este planul A,
toate razele vin
dintr-un punct din plan.  --
din punctul A
concentrează-te pe A prim.
Iar razele care vin
de la B se concentrează
pe un punct, care se află puțin
în fața senzorului.
Deci, obțineți această
neclaritate defocalizată pe senzor.
Și dimensiunea acestei neclarități pe
dimensiunea diafragmei obiectivului.
Dacă reduceți dimensiunea
diafragmei, aceasta scade.
Dacă aveți o gaură, atunci
treceți doar o rază,
ceea ce am văzut
la început.
Deci, acum, dacă luați gaura
și translați gaura
în timp, atunci veți
obține o neclaritate aici, care
corespunde mișcării
acestui orificiu care vine
din punctul B și, în mod
similar, punctul din punctul A.
Acum, ce este interesant
dacă le compari pe acestea două,
nu au aceeași dimensiune.  De
fapt...
au o dimensiune diferită.
Iar raportul de dimensiune
depinde de fapt
de distanța dintre
A și B și distanța
dintre puncte și
orificiu și senzor.
Deci, ceea ce facem în schimb este
în timp ce mișcăm orificiul,
mișcăm și senzorul,
dar mișcăm senzorul
astfel încât raportul -
astfel încât unul dintre
puncte să rămână de fapt
fixat pe senzor.
Iar celălalt punct
produce o neclaritate.
Deci, acum, am luat...
Nu am arătat
mișcarea reală.
Dar prin această
secvență de imagini,
punctul A a fost întotdeauna focalizat pe
același punct de pe senzor.
Punctul B a fost concentrat
pe un alt punct.
Și astfel punctul B are ca rezultat această
estompare pe care punctul A nu o face.
Și puteți utiliza acest
tip de configurație, în care
aveți obiectivul și
camera în două planuri diferite.
Și camera se mișcă
cu o viteză diferită
de cea a obiectivului.
Și prin raportul
dintre viteze,
puteți focaliza într-un alt
plan în fața acelei camere.
Deci aceasta este o imagine pe care o
vei obține doar cu
un obiectiv cu deschidere mică,
cred că F22 sau ceva de genul ăsta,
unde totul este focalizat.
Și aceasta este imaginea pe care o
obțineți folosind tehnica noastră, în
care doar lucrul
dintre ele...
este încă același obiectiv.
Obțineți ceva care este
în centrul atenției.
Și totul din
față și din spate
devine din ce în ce mai
defocalizat prin simpla
traducere a
obiectivului camerei și a senzorului
în timpul de expunere.
Și astfel avantajul
acestui lucru este că
puteți simula un
obiectiv cu deschidere mare sau un obiectiv SLR
folosind un obiectiv de cameră mică.
Deci nu trebuie să cheltuiți...
multe dintre acele lentile
costă mai mult de 1.000 USD.
Deci, puteți folosi un [?  30 USD?]
pentru a crea un
efect similar cu cel produs
de un obiectiv de 1.000 USD.
Dar dezavantajul este
că aveți nevoie de această mișcare.
Și deci aveți nevoie de puțin
spațiu în jurul lentilei
unde se poate traduce,
ceea ce nu este chiar atât de greu,
deoarece dacă vă uitați la spațiul
din jurul lentilei, cea mai mare parte
este irosită și nu este foarte folosită.
OK, în acest moment, poate
ar fi o idee bună
să comutați la
[?  Roarke?] și vedeți
ce ne permite tehnica lui să facem.  Mai
am câteva
lucruri aici.
Dar cred că putem face
asta după lucrurile lui.
Dar nu știu, vrei mai
întâi să faci pauză 5-10 minute?
PUBLIC: Da.
ANKIT MOHAN: Sigur, ca să ne
putem pauză 5 minute.
Și la 2:45, da--
PUBLIC: [INAUDIBIL].
Există ceva
numit diafonie.
Și există o diafonie optică
[INAUDIBILĂ], ceea ce
înseamnă că ajungi să le ai una
lângă alta.
Și puteți avea niște fotoni
care chiar trec [INAUDIBIL]..
ANKIT MOHAN:
Vrei să desenezi acea imagine?
PUBLIC: Adică, dacă te întorci
la [INAUDIBIL], atunci poți
de fapt...
ANKIT MOHAN: Cred că
ceea ce spui
este că ai [INAUDIBIL].
PUBLIC: roșu și
verde acolo.
Fotonii se pot
încrucișa să spună...
da, exact asta.
Și va ajunge la [INAUDIBIL].
Și, de asemenea,
există și faptul că...
Adică, fotonii sau
lungimi de undă diferite
au energii diferite.
Deci s-ar putea ca o
cruce albastră să fie Jupiter.
Dar vom așeza puțin un zid
și de fapt [INAUDIBIL]..
ANKIT MOHAN: Corect.
PUBLIC: Deci acesta este un
alt fel de [INAUDIBIL]..
Și dacă vă place--
Adică, încă un
motiv pentru asta--
Vreau să spun, refracția
variază în funcție de lungimea de undă.
Deci, de fapt, dacă aveți
un singur plan aici,
veți avea fotoni
cu lungimi de undă diferite
de focalizare [INAUDIBIL].
Deci aceasta este ceea ce el numește
variație cromatică.
Deci trebuie să adăugați
obiecte suplimentare pentru a-l focaliza.
ANKIT MOHAN: Corect.
PUBLIC: Dar oamenii știu cum
[INAUDIBIL] este unul dintre motivele majore pentru care--
pentru aplicații high-end,
cum ar fi aplicații multiple
[INAUDIBIL].
ANKIT MOHAN: Corect,
desigur, da,
și, de asemenea, pentru senzorul Foveon
are avantaje similare în unele
cazuri.
Și vreau să spun,
desigur, utilizarea unui
senzor 3CCD sau a mai multor
senzori diferiți
vă va oferi întotdeauna
rezultate mai bune decât
filtrul Bayer.  Va
fi mai
scump, poate.
Dar cred că întrebarea pe
care cred că ați avut-o a fost,
de ce folosim 3CCD
pentru video, dar nu pentru încă?
De ce contează
mai mult pentru video?
Și nu sunt complet sigur.
PUBLIC: Doar
obțineți mai multă lumină.
Ai nevoie de mai multă lumină
pentru video în general.
În caz contrar,
filtrul Bayer funcționează
prin blocarea luminii.
ANKIT MOHAN: Nu, dar atunci chiar...
PUBLIC: 3CCD chiar
desparte lumina.
Deci folosești toată lumina.
ANKIT MOHAN: Este adevărat, da.
Da, deci ai de trei
ori mai multă lumină.