Următorul conținut este
furnizat sub o
licență Creative Commons.
Sprijinul dumneavoastră va ajuta
MIT OpenCourseWare să
continue să ofere
gratuit resurse educaționale de înaltă calitate.
Pentru a face o donație sau pentru a
vizualiza materiale suplimentare
din sute de cursuri MIT,
vizitați MIT OpenCourseWare
la ocw.mit.edu.
PROFESOR: Da, și din nou,
mergi încet, pentru că tocmai am
vorbit despre asta [INAUDIBIL].
MATT HIRSCH: Deci acesta
este un proiect care...
această prezentare a venit de fapt
de la SIGGRAPH în august.
Am de gând să
sar un pic.
PROFESOR: Poate doriți să
spuneți doar câteva propoziții
despre...
Mike avea o întrebare despre
cum au început proiectele de clasă
în această clasă
și cum au evoluat?
Și am spus că vei fi un bun
exemplu despre cum a început totul.
Deci doar spune
câteva propoziții
despre cum ai început...
MATT HIRSCH: Să
încep cu asta?
PROFESORUL: Da.
MATT HIRSCH: OK.
Așa că bănuiesc că am luat cursul lui Ramesh
în trimestrul de primăvară,
înainte de primul tău curs aici
și am fost cu adevărat interesat de
munca cu camera.
Și așa că Ramesh și cu mine ne
gândim la proiecte
după acea clasă.
Și în timpul verii,
am cam încercat
să dezvolt câteva idei care
ar putea duce la o teză.
Și cred că,
când am luat-o la această clasă,
am avut intenția de a
dezvolta un proiect pe care l-am făcut
aici într-o lucrare de teză.
Și cred că acesta este un
loc bun pentru a începe,
poate, dacă ești interesat să
dezvolți cu adevărat
un proiect dincolo de
sfera clasei,
este să ai o altă
motivație bună pentru a face asta,
cum ar fi o teză.
Dar da, atunci când am realizat
proiectul final pentru această clasă,
am început să mă gândesc la unele
dintre lucrările pe care Ramesh le-a
prezentat și să lucrez
cu un post-do--
sau un [INAUDIBLE] care urmează
să absolve în curând,
care a făcut ceva  am lucrat cu
Ramesh înapoi la [INAUDIBLE]
și am fost foarte entuziasmat
de asta și așa
am ajuns să dezvolt
asta în teza mea.
Și de aici a
venit acest proiect.
Deci...
PROFESORUL: Este un exemplu grozav.
După cum veți vedea, este
un exemplu grozav
de teorie frumoasă,
implementare frumoasă
și implementare de impact.
Deci cele trei [INAUDIBILE] pe care le
avem -- noutate, execuție
și impact, sunt [INAUDIBILE].
Este surprinzător că nu a
câștigat cel mai bun premiu [INAUDIBIL]
, chiar și printr-un
vot popular [INAUDIBIL]..
Acesta este premiul perfect.
MATT HIRSCH: Ei bine, am
avut niște foarte tari... le-ați
arătat
proiectele de la ultimul...
PROFESOR: Da,
doar pe scurt.
Dar [INAUDIBLE], ar trebui să
vorbim mai mult despre ei.
MATT HIRSCH: Da,
deci cred că voi
începe cu asta.
Scopul aici este să ne gândim
la noi moduri de a interacționa
cu un dispozitiv cu ecran subțire.
Și imaginați-vă dacă ecranul dvs.
ar putea, practic, să suporte nu numai
interacțiunea tactilă pe ecran, ci și
acest tip de interacțiune cu gesturi de hover off-screen
la care ne
gândim aici, la Media
Lab, în ​​multe contexte.
Și așa vezi
acel scurt exemplu în
care sunt capabil să ridic
mâna și să interacționez în spațiul liber
chiar în fața ecranului.
Și iată un alt exemplu în care
manipulez un obiect
și îl selectez atingând
ecranul în modul tradițional,
dar îmi pot trage mâna
și o pot roti
ca Luke Skywalker.
PROFESORUL: Folosește
indicatorul laser.
MATT HIRSCH: OK.
Deci, acest lucru este oarecum inspirat
de trei domenii emergente
în cercetarea HCI și camera foto.
Unul dintre ele este această nouă clasă
de afișaj sensibil la lumină.
Poți să menționezi dacă ai
acoperit unele dintre aceste lucruri
și o să o omit.
PROFESOR: Nu cum
funcționează, așa că este perfect.
MATT HIRSCH:
Știți cu toții cum funcționează LCD-urile.
Ele sunt practic o
matrice de tranzistori.
Există câteva companii
care iau acea
matrice a tranzistorului și încorporează un singur
tranzistor suplimentar care este
sensibil optic
în matrice,
astfel încât rezultatul net este că
întregul LCD este
un senzor optic cu suprafață mare.
Și le folosesc
pentru interacțiunile tactile.
Deci asta a fost o inspirație.
Și apoi a doua, desigur,
este camerele de adâncime, pe care
poate le-ați acoperit puțin.
Există câteva
tehnici diferite,
dar rezultatul este că aceste
camere nu produc doar
o imagine RGB a unei scene,
ci și o hartă a scenei
în care, pentru fiecare pixel, aveți
o măsurare a distanței
de la cameră la un obiect.  .
Și al treilea, cred, este acest
tip de afișaj multitouch omniprezent
, care a fost
popularizat de Jeff Han
aici și de
peretele CNN și, desigur,
iPhone și o mulțime de alte
dispozitive electronice de larg consum.
PROFESOR: [INAUDIBIL]
alți oameni,
asta este de folos acum.
MATT HIRSCH: Așa că suntem
oarecum inspirați de capacitatea
de a interacționa atât de ușor sau de a
interacționa atât de intuitiv
cu informațiile de pe
ecran și ne gândim la,
putem face acest
pas mai departe?  Deci,
ce ar fi dacă ai putea
combina toate aceste lucruri,
practic, și ai putea
, deoarece este un LCD, să le
construiești pe toate într-
un pachet subțire,
dar și, pentru că
este o cameră de adâncime,
să poți urmări mâinile
în fața  ecran?
Deci de aici am început.
Avantajul acestui lucru,
desigur, ar
fi că puteți aduce
această sensibilitate de profunzime
la tot felul de
dispozitive electronice de consum
care nu o au
sau la care nici nu ar
fi posibil să vă
gândiți astăzi,
cum ar fi un iPhone sau un  laptop.
Deci, pentru a vă oferi o scurtă
prezentare a rezultatelor,
cred că Ramesh ar fi
acoperit unele dintre acestea.
Acesta este practic un câmp luminos
și probabil că ați văzut...
PROFESORUL: Tocmai am
acoperit astăzi.
MATT HIRSCH: Da.
PROFESOR: [INAUDIBIL]
MATT HIRSCH: Deci asta este ceea ce
am putut surprinde.
Și acolo, vezi o
imagine reorientată sintetic.
Băieți, cred că
tocmai v-ați făcut...
PROFESORUL: Asta este
deschiderea noastră sintetică.
MATT HIRSCH:
--proiect de deschidere sintetică.
Deci, aceasta este o aplicație a
acesteia, în care, practic,
luăm setul de imagini
capturate de câmpul luminos, le
reorientăm sintetic
și extragem o adâncime.
Așa că doar pentru a
vă oferi câteva dintre...
Cred că să vă gândiți
cum să adaptați
unul dintre aceste ecrane tactile optice
,
știți, funcționează foarte mult
ca un scaner de documente,
unde aveți această gamă
de pixeli fără lentile.
Un obiect care atinge
acel strat de pixeli
poate avea o
imagine clară, deoarece
aveți o corespondență unu-la-unu
între un punct din scenă
și un punct de pe senzorul dvs.,
doar în virtutea faptului că sunt
atât de aproape unul de celălalt.
Dar, desigur, când
îți iei mâna departe
de acel senzor,
nu mai ai
acea corespondență unu-la-unu.
Razele pot călători de la acest
obiect la mulți pixeli diferiți
și astfel obțineți o neclaritate.
Deci, cred că
abordarea noastră este
să ne gândim la o
modalitate prin care putem
aduce înapoi acea corespondență unu-la-unu

fără a folosi niciun
fel de lentile.
Și, așadar, ceea ce facem este să separăm
senzorul cu o mică marjă
de afișaj
și apoi să afișăm
unul dintre aceste tipuri de
măști pe care Ramesh tocmai le
descriea vouă.
Deci, în acest caz, ceea ce
luăm în considerare
este să folosim LCD-ul atât ca
dispozitiv de afișare
pentru ca utilizatorul să vadă imaginile,
ca un ecran LCD tipic,
cât și ca dispozitiv pentru a
crea una dintre aceste măști
pe care Ramesh le-a
descris în ordine.
pentru a codifica scena într-un mod în
care să putem decoda în software.
Deci, iată o idee despre cum ar
putea arăta acel dispozitiv.
Aveți ecranul LCD aici
și la o anumită distanță în spatele lui,
aveți un strat de senzor.
Și aici, ai obiecte.
Și, de fapt, puteți decoda...
viziunea este că,
în acest dispozitiv subțire,
puteți apoi să decodați acest
obiect, să procesați imaginile
și apoi să
le afișați din nou pe ecran,
poate într-un mod modificat, sau în
cazul în care eu"  m descriind,
pentru a interacționa
gestual cu ecranul.
Și deci acesta este un fel
de dispozitiv interesant.
Și îmi place să mă gândesc la
analogia pinhole,
pentru că este foarte intuitivă.
Doar uitându-mă la acea mască,
nu îmi este foarte clar
ce obțineți doar dintr-
un simț intuitiv.
Dar gaura este un
caz foarte ușor de gândit.
Dacă vă imaginați că
plasați acele găuri pe toată
deschiderea
sau pe tot ecranul LCD,
veți obține, practic, multe
camere minuscule care acoperă ecranul.
Și fiecare dintre acele camere are o
perspectivă ușor diferită
asupra scenei.
Și punându-le
împreună, acesta este
practic un câmp de lumină pe care îl
capturați chiar acolo.
Iar lucrul interesant
când ne gândim la asta
este când noi...
acesta nu este un
tip normal de cameră pe
care obișnuiești să-l folosești pentru a
face poze cu
petrecerile de aniversare sau orice altceva.  Va
produce o
imagine destul de ciudată,
deoarece, dacă vă gândiți la modul în care
ați imagina un obiect
în fața
dispozitivului, în primul rând,
produce o
imagine ortografică.
Nu există nicio perspectivă aici.  Să
spunem că acesta este unul
dintre găurile mele, nu?
Dacă vreau să imaginez
ceva care se află în
stânga
dispozitivului meu, ceea ce fac
este să iau poate
pixelul de pe senzorul meu
care este aici pentru fiecare dintre
aceste camere pinhole.
Și acea rază practic
iese în scenă
și este proiectată
în linie dreaptă.
Deci nu există perspectivă.
Toate sunt raze paralele.
Și celălalt
lucru interesant la care să te gândești
este că poți vedea că
rezoluția chiar
scade.
Imaginează-ți că acest albastru are
dimensiunea pixelului meu.
Pot proiecta acel
pixel în scenă
pentru a vedea ce
măsoară și
puteți vedea că pe măsură ce un
obiect se îndepărtează,
pixelul meu, în raport cu dimensiunea
obiectului, crește.
Deci doar o scurtă tangentă acolo.
Dar vă voi arăta doar
câteva idei
despre cum ar putea merge.  S-
ar putea să vă gândiți să
puteți naviga prin spații doar
mișcându-vă mâna în spațiul liber.
Și pentru că este o...
gândește-- pentru că este
sensibilă optic,
te poți gândi la...
unde este?
Vă puteți gândi să faceți un demo
ca acesta, în care de fapt
iau o lanternă din lumea reală
și o proiectez
într-o scenă virtuală.
Așa că iau lumină reală și
cartografiez câmpul luminos pe care îl
capturez într-o lume virtuală.
Aceasta este o
realitate mixtă interesantă.
PROFESORUL: Este sfârșitul?
MATT HIRSCH: Da,
pare puțin...
poți vedea că aici e o mână care
ține o lanternă.
Și asta de fapt strălucește
lumină în această lume virtuală.
Așa că cred că o să
trec puțin peste asta.
Dar vă puteți gândi că
există o mulțime
de moduri de a realiza acest lucru sau de a
realiza părți din ceea ce
descriu, care nu
implică utilizarea metodei pe
care o descriu.
Dar dacă te uiți la
întregul pachet --
punerea lui într-un
dispozitiv subțire, fiind
capabil să capteze atât
atingerea, cât și gestul --
cred că devine o
idee destul de convingătoare.
Așa că cred că Ramesh a descris
puțin despre câmpurile luminoase
înainte.
Voi acoperi doar
ingredientele de bază pe
care le-am găsit foarte
utile pentru a înțelege
teoria din spatele acestui lucru.
Și dacă acopăr ceva
ce ai văzut deja,
poți să mă oprești.
Dar într-un câmp luminos -- să ne
imaginăm doar cazul 2D -- când
aveți o rază,
ideea de bază este că
doriți să
parametrizați această rază.
Vrei să descrii un set
de raze într-un spațiu nou.
Deci am o rază care are o anumită
intersecție cu un
plan senzor.
Și se intersectează cu un unghi.
Așadar, dacă am reprezentat doar
punctul în care se intersectează
și unghiul la care se
intersectează în acest spațiu nou,
acesta este un câmp luminos.
Și puteți vedea, dacă
am un set întreg de raze,
asta creează un fel de
linie în spațiul câmpului luminos
de acolo.
Și atunci dacă am...
oh, ei bine, asta este
de fapt important.
Dacă eu... oh, e ciudat.
Am importat asta din PowerPoint,
deci nu toate acestea--
OK, ei bine, este important
de reținut că unul dintre acestea
este ceea ce măsoară un senzor real.
Dacă luați un
senzor real în lumea reală
și doar îl expuneți la
lumină fără nicio lentilă
sau ceva în fața
lui, acesta integrează razele
din toate direcțiile.
Și deci ceea ce măsori de fapt
în spațiul câmpului luminos
este una dintre aceste linii.
Deci, așa ar
putea arăta o matrice de senzori.
Acum, dacă mă gândesc la imaginea
domeniului de frecvență
a acestui spațiu,
voi avea un câmp de lumină
aici prin care fac
proiecții, practic.
Și acel câmp luminos
are un anumit spectru
în domeniul frecvenței.
Și așa cum am menționat, aceste
linii sunt proiecții
prin câmpul luminos.
Deci, există ceva numit
teorema feliei Fourier, care
practic spune că dacă iau o
proiecție printr-o funcție
din acest domeniu, de
fapt iau
o felie prin spectrul meu
în domeniul frecvenței.
Așadar, cred că
capcana de gândire importantă aici
este că, dacă
măsoară
acest lucru cu senzorul meu din lumea reală,
în domeniul frecvenței,
măsoară de fapt doar
ceea ce este de-a lungul acestei axe.
Deci acesta este singurul
lucru care îmi este accesibil
cu un senzor din lumea reală.
Și, desigur, ceea ce
am de fapt
acolo este întregul spectru.
Și deci întrebarea este,
cum pot accesa acele date?
Așadar, următorul
lucru important de reținut atunci când
încerc să înțeleg
acest lucru este proprietatea oblică
a câmpului luminos,
care practic
spune că, dacă voi
trasa un câmp luminos,
îl pot privi fie
din această perspectivă,
fie din aceasta.  perspectivă.
Așa că pot spune, pe măsură ce raza mea
călătorește prin spațiul liber, voi
reprezenta doar
câmpul luminos pe care îl creează
în partea dreaptă acolo.
Și puteți vedea un fel
de efect interesant
în care, pe măsură ce adaug raze, o
linie dreaptă dintr-o poziție în spațiu
devine o linie oblică
într-o altă poziție.
Și apoi, după cum vă puteți aminti din
fizică sau din teoria procesării semnalului
, dacă efectuez
o
funcție de convoluție între orice
matrice de funcții delta
și o altă
funcție arbitrară,
obțin o versiune în mosaic a
funcției mele arbitrare.
Așa că voi lega toate astea
, promit.
Încercați să țineți cont de aceste
lucruri pe măsură ce mergem.
Și apoi presupun...
Nu știu dacă Ramesh a folosit
termenul de heterodyning spațial,
dar cred că este un fel
de notă istorică cool
că heterodyning este un cuvânt
care provine din vechile
emisiuni radio.
Și când spunem... a
fost într-adevăr o tehnică
care multiplica un
semnal vocal cu un semnal de înaltă frecvență
pentru a-l transmite.
Practic, ar
schimba acea voce
într-un spectru radio
care ar putea fi transmis.
Și asta este cu adevărat ceea ce
facem când
trimitem o rază printr-o masă.
De fapt, înmulțim acea
rază cu un model de frecvență.
Frecvența spațială, în acest
caz, în loc de timp,
dar principiu similar.
Și așa, pentru a aduce
toate acestea împreună acum,
imaginați-vă că creez o mască
care are o transformare care
arată așa.
Este o serie de
funcții delta.
Și pentru că
îl înmulțesc în domeniul primal,
în domeniul frecvenței,
îl convoluți.
Așa că îmi convolv
spectrul măștii
cu spectrul câmpului luminos
pe care vreau să-l măsurez.
Și, deci, ceea ce obțineți
este o versiune în mosaic
a acelui spectru de câmp luminos.
Și amintiți-vă acea
proprietate a schimbului.
Mi-am compensat puțin masca față de
senzorul meu.
Deci, masca... ei bine,
câmpul luminos pe care l-am creat
va fi de fapt
denaturat în momentul în care
ajunge la senzorul meu.
Și așa că acum vedeți
partea cu adevărat cool și perspicace
a tuturor acestor lucruri este că, dacă vă
uitați la ceea ce este pe axa fx
acolo jos, puteți
vedea, de-a lungul acestei axe,
obțin diferite părți
ale spectrului.
Așa că acum am creat
o modalitate de a măsura
bucăți din acel spectru
pe senzorul meu din lumea reală.
Așa că pot doar
să rearanjez acele lucruri
și să reconstruiesc o bună parte
din câmpurile mele de lumină înapoi la mine.
Deci, lucrul important de
reținut, sau un lucru important
de reținut,
care cred că se
referă la unele dintre discuțiile pe care le-
ați avut
înainte să încep să vorbesc, este că
trebuie să vă asigurați că
aceste
copii spectrale ale câmpului luminos sunt
bandă limitată astfel încât să nu
interfereze între ele.
Și cred că asta se referă la
punctul lui Ramesh de mai devreme.
Deci, în ceea ce privește construirea
acestui prototip real,
este bine să
facem acest lucru în teorie,
dar vrem să
o facem în practică
și să vedem dacă ceea ce facem
pe hârtie are cu adevărat sens.
Deci, ceea ce ne
dorim cu adevărat este, amintiți-vă,
un LCD separat de
un senzor de suprafață mare
printr-o mică marjă.
Dar acesta este un
lucru foarte greu de obținut.
Aceste lucruri vor apărea
pe
piața de consum în viitorul apropiat,
dar nu sunt acum.
Deci, ceea ce am
ajuns să facem
a fost să luăm câteva camere
și să imaginăm pur și simplu un difuzor.  La fel
cum
ecranul de film vă arată
o felie de lumină care trece
printr-un anumit spațiu,
un difuzor
ne va arăta optic
ceea ce am dori să măsurăm
electronic în acest plan.
Deci, aici sunt
camerele reale pe care le-am
folosit și iată un prototip.
Am, de fapt,
unul puțin mai nou acum,
dar LCD-ul stătea pe acest
ecran și acesta este un difuzor.
Și apoi voi trece rapid
prin conducta de software pe
care am scris-o.
Nu voi petrece prea mult
timp insistând asupra acestui lucru,
dar ideea de bază este că
dorim un multiplex de timp
între afișarea unei
imagini pentru ca utilizatorul să o vadă
și iluminarea acelei
imagini din spate
și apoi trecerea
la modul mască
unde nu o facem.  vrem
să-l iluminăm
pentru că nu vrem să
interferăm cu măsurarea noastră.
Și vrem să captăm de fapt
datele care
sunt modulate de acea mască.
Așa că voi reda doar
câteva videoclipuri cu datele
din diferite porțiuni
ale acelei conducte.
Deci aici, vedeți codul
[INAUDIBIL] real pe care îl
afișam
pe ecran.
PROFESOR: [INAUDIBIL] acesta
nu arată ca măști de cosinus.
Este o adevărată mască binară.
MATT HIRSCH: Da,
aceasta este masca binară
de care a menționat Ramesh.
Și de fapt se dovedește...
dacă vă amintiți din
descrierea teoriei mele,
singurul lucru pe care l-am
menționat despre mască
a fost că are o transformare
care este o serie de delte.
Așadar, se pare că dacă
plasați orice cod,
puteți obține o transformare
care ajunge să fie
o serie de funcții delta.
Aceste funcții vor
avea greutăți diferite,
dar este un fel de
efectul seriei Fourier, nu?
Și...
PROFESORUL: Dacă plăciți ceva,
veți obține [?  delte.  ?]
MATT HIRSCH: Da.
Și cred că motivul pentru
care a fost aleasă această mască
a fost că este de fapt
optimă în ceea ce
privește eficiența luminii.
Deci, această mască permite trecerea a 50% din
lumină,
ceea ce este destul de
remarcabil, având în vedere că
reconstruim o
imagine fără lentilă.
Doar pentru comparație, orificiul de ac
permite ceva de genul 1% până la 2%,
în funcție de dimensiunea
orificiului pe care l-ați folosit.
Și cred că
masca cosinus avea 18%?
PROFESOR: 18%.
Și a fost o întrebare
acolo despre diferența
cu o gaură și...
în acest sens.
Adică între 1% și 50%.
MATT HIRSCH: Da.
Deci, datele pe care le
captează senzorul nostru
și dacă ați fi așezat în
spatele ecranului,
asta este ceea ce
ați vedea, practic,
dacă o mână se mișcă pe
aici și atinge ecranul,
trecând peste el.
Și puteți vedea
zgomotul de înaltă frecvență,
sau arată ca zgomot,
pe care masca îl creează.
Și din asta, putem
decoda acest câmp luminos.
PROFESOR: [INAUDIBIL]
aveau 20 de pixeli, crezi?
[INAUDIBIL]
MATT HIRSCH: Da, deci este un
câmp luminos de 20 x 20 unghiular,
iar apoi fiecare placă mică
este de aproximativ 100 pe 80 de pixeli.
Deci, puteți vedea multe vederi
ale acelei mâini în mișcare,
practic.
Și apoi din acel câmp de lumină,
așa cum am menționat, pentru fiecare cadru,
obținem acest teanc de imagini sau
putem reorienta acel câmp luminos
la o anumită adâncime.
PROFESOR: Face
refocalizarea, care
este prima ta parte
a misiunii,
în timp real din aceste
400 de imagini, ca 20 pe 20?
MATT HIRSCH: Da.
PROFESORUL: Da.
MATT HIRSCH: Da.
Și apoi, odată ce avem o
imagine reorientată, pentru fiecare...
practic, avem un
întreg teanc de imagini.
Traversăm acea
imagine și folosim o metodă
numită adâncimea de la focalizare
în care, practic, ne
uităm la contrastul din fiecare
dintre acele imagini la fiecare pixel.
Și de aici,
obținem o hartă de adâncime.
Și acesta este ingredientul de bază
în toate aceste interacțiuni de
acolo.
PROFESORUL: Deci asta este pentru
extragerea creditului, profunzimea
de la concentrarea ta [?  SIM.  ?]
MATT HIRSCH: Deci am avut
niște videoclipuri acolo,
dar nu funcționează acolo.
PROFESOR: Aveți întrebări?
MATT HIRSCH: Deci da,
cred că e
bine [INAUDIBIL], nu?
PROFESORUL: Da,
asta am crezut.
Da.
Da?
PUBLIC: Faceți
asta în timp real?
Pentru că [INAUDIBILĂ]
complicație [INAUDIBILĂ]..
MATT HIRSCH: Ei bine, nu, din fericire,
computerele sunt foarte rapide.
Și de fapt, există câteva biblioteci de
transformate Fourier gratuite
.
Unul se numește FFTW.
Și se optimizează în funcție
de hardware-ul tău
și poate rula foarte repede.
Publicul: A fost făcut de... a fost
în MATLAB, sau...
MATT HIRSCH: Nu, nu, asta
a fost scris în C. Dar...
PROFESOR: Se
rulează în timp real.
Puteți interacționa
cu el în timp real.
MATT HIRSCH: Aproape de timp real.
PUBLIC: Șase
cadre într-o secundă.
[INAUDIBIL]
MATT HIRSCH: Deci demonstrația rulează
la aproximativ 20 de cadre pe secundă.
PROFESOR: Nu sunt
60 de cadre pe secundă.
MATT HIRSCH: Da,
sperăm să îmbunătățim asta.
PUBLIC: Ce zici de
latența de la mișcarea mâinii
la mișcarea reală?
MATT HIRSCH: Este
un cadru sau cam asa ceva.
PUBLIC: Suntem pe
un alt sistem.
MATT HIRSCH: Da,
computerele sunt foarte rapide.
Cheia este să
alegeți o transformată Fourier
care poate fi descompusă
în factori primi mici,
pentru că o puteți implementa
foarte repede.
Dar atâta timp cât faci
asta, va rula foarte repede.
Kevin?
PUBLIC: Care este cea
mai lentă parte a [INAUDIBLE]?
MATT HIRSCH: Cele mai lente
părți sunt părțile pe
care a trebuit să le scriu.
Adică, există o mulțime de instrumente.
De exemplu, OpenCV este un
instrument excelent pentru a lucra
cu grafică în timp real.
Există
biblioteci cu transformate Fourier.
Lucrurile care sunt lente pe un
computer modern sunt accesele la memorie.
Și astfel ajung să am seturi mari
de date pe care trebuie să le remapez.
De exemplu, puteți măsura o
dată 2D de la cameră, nu?
Dar apoi trebuie să
lucrați cu date 4D
și trebuie să
le remapați într-un mod în
care biblioteca dvs. de transformate Fourier să le
poată înțelege.
Și astfel că
remaparea este de fapt
unul dintre cei mai lungi pași.
Este pur și simplu
remanierea lucrurilor.
Și cred că una dintre cele mai
provocatoare probleme practice
de aici este doar
sincronizarea totul.
Deși computerele sunt
foarte rapide, ele
nu sunt, de asemenea, foarte fiabile
în ceea ce privește sincronizarea.
Deci lucrurile se pot întâmpla
oricând se întâmplă.
Și mai ales cu redarea
lucrurilor pe o placă video
și încercarea de a înțelege
exact când vor
apărea
pe un monitor,
există o mulțime de
întârzieri diferite și variabile,
care sunt
dificil de luat în considerare.
Deci e ceva la care
încă lucrez.
PROFESORUL: Acesta este genul de
proiect final pe care vrem să-l vedem.
PUBLIC: Întrebare [INAUDIBILĂ].
De ce este difuzorul o
parte cheie a acestui dispozitiv?
MATT HIRSCH: Difuzorul
este doar senzorul nostru stand-in.
PROFESORUL: Da.
Adică, aceasta este
partea cheie, nu?
Camera viitorului
nu va arăta
ca camerele de astăzi.
Ecranul dvs. LCD,
un ecran de 15 inchi,
este de fapt
camera dvs. în viitor.
Doar că
acum nu-l avem.
PUBLIC: Așa că
îl folosești ca senzor
și apoi
imaginezi lucrul
și apoi lucrezi din
imaginea pe care o obții.
PROFESORUL: Deocamdată este o
scurtătură.
PUBLIC: OK, înțeleg.
Da.
PROFESOR: Dar în
viitor, toată treaba
va fi o cameră.
Deci, dacă cineva dorește să
ducă acest concept mai departe,
apropo, ce
vei face când
camera are o lățime de 15 inci
, dar numai când
o atingi, primești o imagine?
Este ca o scanare a unui document.  Îi
iei orice,
primești doar un lucru neclar.
Deci, dacă cineva dorește să se
gândească mai mult la asta,
voi fi foarte interesat...
MATT HIRSCH: Deci vând
aceste dispozitive acum că... există
un laptop
la vânzare în Japonia
care are un trackpad care este fabricat
dintr-unul dintre aceste dispozitive optice.  LCD-uri.
Deci, aceasta este o
tehnologie pe termen foarte apropiat.
În câțiva ani,
va fi peste tot.
Deci este ceva grozav
să te gândești la folosire.
PUBLIC: Am o
altă întrebare.
Care este raza de acțiune a acestui dispozitiv?
Ca, dacă ar fi să
înmoaie [INAUDIBIL]..
MATT HIRSCH: Da,
asta e o întrebare bună.
Acesta este un
spațiu de parametri foarte mare.
Există o mulțime de
variabile de schimbat.
Deci prototipul pe care l-am
construit l-am
optimizat pentru aproximativ
50 de centimetri
în fața ecranului.
Dar vă puteți gândi la
schimbarea
acestei distanțe între
ecran și senzor
și la modificarea dimensiunii pixelilor
ecranului și senzorului.
Și toate aceste
variabile vă vor permite
să controlați intervalul de
adâncime pe care o puteți măsura.
PROFESORUL: Și înainte să o
facem pe un dispozitiv ca acesta
și să facem totuși și așa mai departe.
Acest factor de formă [INAUDIBIL]
mic.
MATT HIRSCH: Da, trebuie doar
să cumpărăm unul dintre acele laptopuri.
PROFESORUL: Da.
MATT HIRSCH: Da.
PROFESOR: Atunci parametrii
vor fi foarte diferiți,
pentru că atunci nu te aștepți
să interacționezi [INAUDIBIL]..
Așa că doar pentru a da un context
pentru clasă, desigur,
nu ai făcut
toată chestia asta în timp real.
Te-ai uitat doar la
captură, nu-i așa?
MATT HIRSCH: Da, așa este.
Și, de fapt, pentru clasă,
am început fără un LCD,
deoarece există o
mulțime de
probleme hardware provocatoare în a face ca
un LCD să funcționeze așa.
Deci, ceea ce am început
a fost pur și simplu o mască imprimată.
Și există o resursă grozavă
chiar aici, în Cambridge,
numită PageWorks, care poate imprima
măști de foarte înaltă rezoluție.
Cred că asta
folosești pentru [INAUDIBIL]..
PROFESORUL: Așa că a făcut
mai întâi o versiune statică, pentru clasă,
și a făcut o demonstrație de
concept [INAUDIBIL]
și prototipul static.
Și apoi,
după două luni,
spre termenul SIGGRAPH,
a făcut toate aceste lucruri.
Din nefericire,
lucrarea nu a fost acceptată
în ciuda tuturor
lucrărilor grozave și a tuturor rezultatelor.
Asta vă spune cât de
înaltă este ștacheta.
MATT HIRSCH: Din fericire, am
ajuns la agentul SIGGRAPH.
Deci [INAUDIBLE] o
școală din Louisiana.
PUBLIC: Atunci trebuie să
cumpărați laptopul, nu?
MATT HIRSCH: Așa este.
PROFESOR: Dar a
fost destul de mișto
încât, când a prezentat-o
la SIGGRAPH din New Orleans, a
câștigat al doilea premiu pentru cea mai bună
lucrare [INAUDIBIL]..
MATT HIRSCH: A fost un poster.
PROFESOR: [INAUDIBIL].
Deci acum este un [INAUDIBIL].
MATT HIRSCH: Nu știu
ce înseamnă asta, dar...
PROFESORUL: În cele din urmă,
[INAUDIBIL]..
Cool, alte
întrebări pentru Matt?
Așadar, acesta este un exemplu de modul în care
vă gândiți la formarea
și procesarea imaginii
în dimensiuni mai mari.
Deschide un
spațiu complet nou.
Nu vă gândiți la
aparatul foto ca la ceva
care duce lumea 3D
și mapează imaginea 2D
și tot ce puteți face este să vă
jucați cu pixelii.  Se
întâmplă mult mai multe
dacă începi să te gândești
la întregul pachet.
Așa că haideți să luăm o scurtă
pauză și vom reveni
și vom vorbi
despre alte
aplicații HCI ale camerelor în
general, nu doar despre camere [INAUDIBILE]
.