Main Page

From Kulki

todo

Kompiuterinio matymo algoritmai meninÄ�je praktikoje

(Kompiuterinis matymas ir skaitmeninio vaizdo apdorojimas meninÄ�je praktikoje)

BartoÅ¡as Polonskis,

fotografijos ir medijos meno studijÅ³ programos studentas

Vizualiojo ir taikomojo meno fakultetas

magistro darbas

Vadovas dokt. Vytautas MichelkeviÄ�ius

RedaktorÄ� Justina ChristauskaitÄ�, RÅ«ta KiÅ¡kytÄ�

Vilniaus dailÄ�s akademija

Vilnius, 2006

Santrauka

[edit]

Kompiuterinio matymo samprata

[edit]

Kas yra kompiuterinis matymas

Bendrai kompiuterinis (maÅ¡inos) matymas tai kompiuterio sugebÄ�jimas perimti ir apdoroti vaizdÄ�. Paskutinius 40 metÅ³ kompiuterinis matymas (angl. computer vision) iÅ¡sivystÄ� kaip brandi dirbtinio intelekto mokslo Å¡aka, kurios laimÄ�jimai taikomi apsaugos sistemose, apÅ¾iÅ«ros sistemose medicinoje, robotÅ³ asambliaÅ¾ui, transporto priemoniÅ³ valdymui, judÄ�jimo monitoringui ir kontrolei, asmeniniÅ³ duomenÅ³ tikrinimui, biometriniams matavimams, nuotolyje matomo vaizdo analizei. Ne maÅ¾iau Ä¯domiai kompiuterinis matymas yra naudojamas meninÄ�se praktikose, pradedant nuo interaktyviÅ³ju erdviniÅ³ sÄ�sajÅ³ sistemÅ³ baigiant vizualiniais efektais kine.

[edit]

Psichologiniai aspektai

Å nekant apie kintanÄ�io vaizdo matymÄ�, kompiuteryje vyksta su laiku susijÄ� (angl. time based) procesai, t.y. realiam laike kadre judanÄ�iÅ³ objektÅ³ analizÄ�. Kompiuterinio matymo sensorinÄ�s savybÄ�s siejasi su matymo skaitmenizavimu. Video kameros vaizdo perÄ�mimas ir iÅ¡saugojimas yra akies (ir smegenÅ³) simuliacijos atitikmuo. TaÄ�iau protingas vaizdo skenavimas primena tam tikrÄ� mÄ�stantÄ¯ vaizdo apdorojimÄ�. KognityvinÄ� informacijÄ� apie vaizdo signalÄ� gauname per kompiuterinio matymo algoritmus, (kamera siunÄ�ia video kadrus Ä¯ kompiutrio atmintÄ¯ ir atintinkama programa perskaito kiekvieno kadro pikselio spalvos kodÄ� ir pagal tai daro iÅ¡vadas). Kompiuterinis matymas yra pakankamai supaprastintas palyginus su Å¾mogaus matymu, taÄ�iau jis gali atsakyti Ä¯ kai kuriuos naudingus klausimus:

Ar (judantis) objektas matomoje zonoje iÅ¡vis egzistuoja?

Kokia yra objekto judÄ�jimo trajektorija/greitis?

Kokia yra judanÄ�io objekto forma/spalva?

Tai yra pakankamai naudinga informacija skaitmeninei maÅ¡inai, kuri galÄ�tÅ³ iÅ¡ tokio vaizdo daryti iÅ¡vadas ir vykdyti komunikacijÄ� tarp Å¾mogaus ir kompiuterio.

1 pav. AtskirÅ³ kÅ«no daliÅ³ detekcija ir sekimas realiame laike (programa segmentuoja atskiras Å¾mogaus kÅ«no dalis ir seka jÅ³ judesÄ¯)

SudÄ�tingi kompiuterinio matymo algoritmai gali atpaÅ¾inti veidÄ� (http://www.betaface.com/), taÄ�iau perskaityti jo emocijas yra sudÄ�tingiau, kadangi tai siejasi su atskirÅ³ veido bruoÅ¾Å³ analize, o kompiuterinio matymo algoritmai yra labai konkretÅ«s, todÄ�l bendrÅ³ principÅ³ (emocijÅ³) analizÄ� yra kolkas sudÄ�tingesnÄ�. Veido atpaÅ¾inimas yra naudojamas Å¾mogaus identiteto detekcijai. AnksÄ�iau tik filmuose naudotas efektas, kai durys atidaromos atpaÅ¾inus Å¾mogaus vyzdÅ¾ius, pirÅ¡tÅ³ atspaudus, Å¡iandien tampa realiai naudojama priemone. Pvz. Tokijo metro stotelÄ�se Ä¯rengtos veido atpaÅ¾inimo sistemos, kurios pvz. paleidÅ¾ia signalÄ�, jei veidas yra atpaÅ¾Ä¯stamas iÅ¡ tam tikro sÄ�raÅ¡o, pvÅ¾. policijos ieÅ¡komÅ³ Ä¯tariamujÅ³ sÄ�raÅ¡o. [[1]]

[edit]

Kognityviniai aspektai

Kompiuterinio matymo algoritmai mene daÅ¾niausiai yra skirti augmentuotos realybÄ�s kÅ«rimui ir Å¾mogaus-kompiuterio sÄ�sajÅ³ konstrukcijai. Tai susijÄ� su Å¾mogaus veiksmÅ³ detekcija, jÅ³ augmentacija ir atitinkama skaitmenine reakcija.

Augmentacija yra realybÄ�s iÅ¡ÂplÄ�ÂtiÂmas, kai tam tikri Å¾mogaus veiksmai (pvz. gestai) yra apdorojami kompiuterio, nuo kuriÅ³ priklauso tolesni skaitmeniniai signalai, besiskverbiantys Ä¯ aplinkÄ�, t.y., Ä¯ fizinÄ� Å¾mogaus erdvÄ�. Augmentuotos realybÄ�s principai suformuluoti PARC laboratorijoje 1980-taisiais metais ir kilo iÅ¡ â��visur esanÄ�ioâ�� kompiuterizavimo (angl. ubiquitous computing) koncepcijos. PrieÅ¡ingai negu virtuali realybÄ�, kuri Ä¯traukia Å¾mogÅ³ Ä¯ savo erdvÄ�, augmentuota realybÄ� dalyvauja Å¾mogaus erdvÄ�je.

Kompiuterinis matymas meno kurinyje atlieka psichologinÄ� funkcijÄ�, suvokia matomÄ� objektÄ� (Å¾mogÅ³-Å¾iÅ«rovÄ�, daiktÄ�). Kompiuterinis matymas meniniame procese reikalingas pereinamajam etapui. Å is etapas tai meno kÅ«rinio Å¾iÅ«rovo(-atlikÄ�jo) detekcija bendriausia prasme.

Levo ManoviÄ�iaus poÅ¾iÅ«riu kompiuterinis matymas yra dar vienas (po fotografijos) regÄ�jimo automatizavimas. Å iuolaikinÄ�s laboratorijos iÅ¡vystÄ� labai sudetingas regÄ�jimo simuliacijas, skirtas pvz. roboto asambliaÅ¾ui, simuliuojanÄ�ias rÄ�gÄ�jimÄ�, o vÄ�liau ir matymÄ�. SkaitmeninÄ�s maÅ¡inos ne tik perimÄ� vaizdÄ�, bet ir jÄ¯ atitinkamai interpretuoja. BÅ«tent interpretavimo bÅ«dÄ� gerai uÅ¾programavus, galima kurti nepaprastai protingas sistemas, galinÄ�ias komunikuoti su Å¾mogumi.

[edit]

Praktiniai aspektai

Nors skaitmeninis vaizdo perÄ�mimas ir apdorojimas realiam laike reikalauja didelÄ�s skaiÄ�iavimo galios, 1990-Å³jÅ³ metÅ³ pabaigoje iÅ¡populiarÄ�jo procesoriai (~1Ghz), kuriÅ³ pakako kompiuterinio matymo sÄ�sajoms implementuoti ruoÅ¡iant meninÄ¯ projektÄ�. Å iÅ³ sÄ�sajÅ³ kÅ«rimas prieinamas daugybei individÅ³ ir institucijÅ³, nes tam reikalingas yra kompiuteris ir maÅ¾os skaitmeninÄ�s kameros, kuriÅ³ kainos nÄ�ra per didelÄ�s eiliniam vartotojui. Jos nereikalauja specialaus paruoÅ¡imo ir neriboja kÅ«no judesiÅ³ specialia apranga jÅ³ sekimui. TodÄ�l paskutiniu metu vykstantis programinÄ�s Ä¯rangos progresas, atviro kodo platinimas tarp meninikÅ³/dizaineriÅ³/programuotojÅ³, kompiuteriÅ³ procesoriÅ³ greiÄ�iÅ³ intensyvus didÄ�jimas, video Ä¯rangos kainÅ³ sumaÅ¾Ä�jimas sÄ�lygojo staigÅ³ meniniÅ³ eksperimentÅ³, Ä¯traukiant kompiuterinio matymo technikas, padidÄ�jimÄ�.

===EstetinÄ� kategorija=== Kompiuteriniame matyme estetika yra susijusi su matymo kokybe.Insert non-formatted text hereInsert non-formatted text here

[edit]

Meno ir technologijÅ³ kontekstas

[edit]

AlgoritmÅ³ paskirtis

Kompiuterinis matymas kilo iÅ¡ 1950-Å³jÅ³ koncepcijÅ³ apie Å¾mogaus percepcijÅ³ kompiuterizavimÄ�. Kompiuterinis matymas siejasi su daugeliu algoritmÅ³, kurie leidÅ¾ia kompiuteriams atlikti protingus tvirtinimus apie skaitmeninÄ¯ vaizdÄ� (statiÅ¡kÄ� ir video). IstoriÅ¡kai kompiuterinio matymo sistemos buvo laikomos iÅ¡skirtine sritimi, prieinama tik mokslininkams ekspertams ir inÅ¾inieriams, dirbantiems signalÅ³ apdorojimo (angl. signal processing) ir dirbtinio intelekto srityse. Kompiuterinio matymo technologijos plÄ�tra buvo nukreipta militarizmo ir Ä¯statymÅ³ grieÅ¾tinimo linkme.

Pirmieji bandymai buvo susijÄ� su paprastÅ³ formÅ³/raÅ¡tÅ³ atpaÅ¾inimu [Selfridge, 1960]. Kiti buvo tobulesni ir susijÄ� su sudÄ�tingesniu vaizdo suvokimu, pavyzdÅ¾iui, erdvÄ�s suvokimu. IÅ¡ fotografijos, kurioje buvo pavaizduota geometrinÄ� trimatÄ� figÅ«ra, kompiuteris galÄ�jo perskaityti duomenis apie trimates figÅ«ros savybes: "Tam, kad galima bÅ«tÅ³ Ä¯galinti kompiuterÄ¯ sudaryti trimatÄ¯ masyvÄ� iÅ¡ geometrinio kÅ«no dvimatÄ�je fotografijoje, atidÅ¾iai buvo iÅ¡analizuotos ir mechanizuotos taisyklÄ�s ir prielaidos apie trimatÄ¯ suvokimÄ�. Yra taikoma prielaida, jog fotografija yra geometriniÅ³ objektÅ³ serijos perspektyvinÄ� projekcija, kuri gali bÅ«ti sudaryta iÅ¡ trimaÄ�iÅ³ modeliÅ³ pakeitimÅ³ ir kad objektai gali remtis kitais matomais objektais arba plokÅ¡tuminiu pagrindu. Å ios prielaidos leidÅ¾ia kompiuteriui gauti nuosaikÅ³ trimatÄ¯ apibÅ«dinimÄ� iÅ¡ kraÅ¡tÅ³ (angl. edges) informacijos per topologinÄ¯, matematinÄ¯ procesÄ�." [[2]Lawrence 1963]

2 pav. Vieni iÅ¡ pirmÅ³jÅ³ kompiuterio erdvinio vaizdo suvokimo eksperimentÅ³.

[edit]

Kompiuterinis matymas sÄ�sajÅ³ kÅ«rime

Kompiuteris turi savo istorijÄ�, kilusiÄ� iÅ¡ militaristiniÅ³ ir komerciniÅ³ iniciatyvÅ³. Kompiuterio ekrano vaizdo konvencijos turi ilgÄ� reprezentacijos istorijÄ� VakarÅ³ kultÅ«roje, pradedant nuo tapybos ir perspektyvos, fotografijos, kino, iki kompiuterinÄ�s animacijos ir darbastalio metaforos (angl. desktop metaphor). FizinÄ� kompiuterio klaviatÅ«ros ir pelytÄ�s sÄ�saja taip pat turi savo istorijÄ� (PARC). Å½mogus nesuvokia, kad be pelytÄ�s ir klaviatÅ«ros yra kitÅ³ skaitmeninÄ�s informacijos ar metodo integracijos bÅ«dÅ³ Ä¯ jo gyvenimÄ�. Faktas, jog pelytÄ� ir klaviatÅ«ra reikalauja iÅ¡ Å¾mogaus prisiriÅ¡imo prie Ä¯renginio, patvirtina, kad VakarÅ³ kultÅ«roje galioja disciplinos ir kontrolÄ�s modeliai. Å½mogaus kÅ«no veiksmai sumaÅ¾inami iki minimumo. Kai kurie analitikai teigia, kad tokie fiziniai ribojimai suprantami plaÄ�iau kaip kultÅ«riniai modeliai, susijÄ� su kÅ«no baime ir neapykanta. [Wilson 2002]

TyrinÄ�tojai ir menininkai pradÄ�jo abejoti dÄ�l to, kaip sÄ�sajos tarp skaitmeniniÅ³ sistemÅ³ ir Å¾mogaus galÄ�tÅ³ plÄ�totis ir integruotis Ä¯ Å¾mogaus gyvenimÄ�. Å½velgiant toliau negu pelytÄ� ir klaviatÅ«ra, kyla klausimas, kaip kompiuteris gali perskaityti tokius Å¾mogaus veiksmus kaip judesys, gestas, prisilietimas, Å¾vilgsnis, kalbÄ�jimas ir interakcija su fiziniais objektais.

Tam tikri kompiuterizuoti rÅ«bai (duomenÅ³ pirÅ¡tinÄ�s, duomenÅ³ Å¡varkai, galvos sekimo Å¡almai, elektroniniai pieÅ¡tukai) sukuria virtualios realybÄ�s sÄ�sajÄ�, kurioje kompiuteris Ä¯gali skaityti Ä¯vairius Å¾mogaus veiksmus. SpecialÅ«s Å¡almai ar kambario dydÅ¾io ekranai Å¾mogaus judesio atitikmenÄ¯ perteikia vizualizacija.

3 Pav. 1989 m. Mattel firmos pristatyta "Power Glove" duomenÅ³ pirÅ¡tinÄ� skirta rankÅ³ judesio sekimui. Power Glove buvo skirtas Nintedo Å¾aidimams valdyti (rankÅ³ judesiais arba pirÅ¡tÅ³ sulenkimais).

Kitos sistemos bando perskaityti judesÄ¯ nesinaudojant papildomais kÅ«no Ä¯renginiais. Naudojant video vaizdo apdorojimÄ� (per kompiuterinio matymo algoritmus) judesiui ar gestui susekti laisvoje, specialiai neparuoÅ¡toje erdvÄ�je. Nuo 1980-Å³jÅ³ menininkai sukÅ«rÄ� daugybÄ� projektÅ³, kurie reaguoja Ä¯ daugelÄ¯ Å¾iÅ«rovÅ³ veiksmÅ³. Å ios Ä¯ kÅ«nÄ� orientuotos sÄ�sajos atitolsta nuo tradiciniÅ³ stereotipÅ³ ir gali skaitmeninÄ¯ menÄ� integruoti Ä¯ gilesnes ir platesnes gyvenimo sritis.

[edit]

Myron Krueger

Pirmasis atliktas kompiuterinio matymo technika meno kÅ«rinys/projektas buvo Myrono Kruegerio "Videoplace" (1969-1975). Myron Krueger tikslas buvo atskleisti Å¾mogaus ir kompiuterio interakcijos principus. Jis sukÅ«rÄ� dirbtinÄ� realybÄ�, kur Å¾mogaus kÅ«no veiksmai yra nuskaitomi simuliuoto regÄ�jimu, garsu ir kitais pojÅ«Ä�iais, daranÄ�iais Å¡Ä¯ patyrimÄ� Ä¯tikinamÄ�. Dirbdamas Wisconsino universitete 1960-ais ir 1970-tais Krueger iÅ¡vystÄ� keletÄ� klasika tapusiÅ³ meno projektÅ³, iÅ¡ kuriÅ³ "Videoplace" skaitomas pirmuoju kompiuterinio matymo technika atliktu meno kÅ«riniu. Å iame darbe kompiuteris kontroliavo ryÅ¡i tarp dalyvio-Å¾mogaus ir grafiniÅ³ objektÅ³ ekrane. Grafiniai objektai buvo koordinuojami dalyvio kÅ«no veiksmais. RealybÄ�je Å¾mogaus kÅ«nas yra sÄ�lygotas traukos ir kitais fizikinias dÄ�sniais, bet kompiuterio sugeneruotam pasaulyje Å¡ie dÄ�sniai gali nebegalioti. Vystant "Videoplace" Krueger sukÅ«rÄ� apie 50 interakcijos bÅ«dÅ³, pradedant nuo virtualios tapybos ar skaitmeninio pieÅ¡imo, baigiant virtualiais prisilietimais tarp dviejÅ³ Å¾moniÅ³ skirtingose patalpose.

"DirbtinÄ� realybÄ� yra grafinÄ�s fantazijos pasaulis, kuriame Å¾mogus naudoja visÄ� savo kÅ«nÄ� dalyvavimui kompiuterio sugeneruotoje aplinkoje. Supratau, jog tai yra daugiau negu technologija - tai kultÅ«rinis reiÅ¡kinys. Nuo pat pradÅ¾iÅ³ norÄ�jau sukurti tarpdisciplinines priemones, kuriose galÄ�Ä�iau vystyti medijÄ�, kuri gali bÅ«ti pritaikyta estetiniams, moksliniams ir praktiniams tikslams". [Krueger 1991]

3 pav. Myron Krueger video eksperimentai: moteris pirÅ¡tais Ä¯jungia Å¡viesas Niujorko dangoraiÅ¾iuose

Myrono Kruegerio darbas labai stipriai prisidÄ�jo prie Å¾mogaus-kompiuterio interakcijos plÄ�tros, jo "dirbtinos realybÄ�s" koncepcijoje nÄ�ra papildomos Ä¯rangos/aprangos, padedanÄ�ios kompiuteriui sekti Å¾mogaus judesius, bet analizuoja bÅ«dus, kaip kompiuteris gali suprasti Å¾mogaus judesius (norus), naudojant video perdavimÄ� ir jo analizÄ�.

"Nors praejo 30 metÅ³, interaktyvumas yra pradinÄ�je stadijoje. Daug preliminariÅ³ idÄ�jÅ³, kurias pradÄ�jau, iki Å¡iol yra nerealizuotos, dar sudÄ�tingesnÄ�s koncepcijos laukia savo atradimÅ³" - po 30-ties metÅ³ sako Krueger. [[3]Krueger 1998]

[edit]

Very Nervous System

"Very Nervous System" (1986-1990) tai Davido Rockeby klasika tapÄ�s interaktyvaus meno kÅ«rinys, naudojantis kompiuterinio matymo technikas. Trylika metÅ³ Å¡Ä¯ darbÄ� vystÄ�s menininkas pripaÅ¾ista, jog sukÅ«rÄ� kompiuterinÄ� varlÄ�s akies kopijÄ�: "Å½mogaus akis yra nepaprastai jautri formai ir spalvai, tuo tarpu varlÄ�s akis yra labiau specializuota, ji turi ribotÄ� statiÅ¡kÄ� matymÄ�, bet labai jautrÅ³ judesio jutimÄ�, todÄ�l varlÄ� pastebi muses ir staigiai pagauna jas savo lieÅ¾uviu." [[4]Rockeby 1995]

4 Pav. Very Nervous System instaliacija ir kompiuterinis matymas (T.p. Å¾r. DVD-doku: video 1)

VNS yra interaktyvi instaliacija, susidedanti iÅ¡ keliÅ³ kamerÅ³ ir kompiuterio, su atitinkama programa, kuri perdirbinÄ�ja kamerÅ³ siunÄ�iamÄ� vaizdÄ�. VNS labai jautriai reaguoja Ä¯ Å¾mogaus judesÄ¯. Skirtingi judesiai gali sukelti skirtingas VNS sistemos reakcijas: priklausomai nuo rankÅ³ ar kojÅ³ judesio realiu laiku garso sintezatorius generuoja muzikÄ� (pvz., kairÄ� ranka gali sukelti Å¾emus sintezuotus daÅ¾nius, o deÅ¡inÄ� aukÅ¡tus, ir panaÅ¡iai).

[edit]

Å iuolaikinÄ�s meninÄ�s praktikos

Dabar kompiuterinis matymas mene naudojamas labai Ä¯vairiai. Tokie meno projektai bÅ«na tiek visiÅ¡kai individualaus pobÅ«dÅ¾io, dalyvaujant tik menininkui ar vienam Å¾iÅ«rovui, tiek ir labai socialÅ«s, Ä¯traukiantys daugybÄ� Å¾moniÅ³.

[edit]

Snibbe

Scott Snibbe ekrano instaliacijos Ä¯traukia dalyvius Ä¯ interaktyvÅ³jÄ¯ Å¾aidimÄ�. Dalyviai tampa meno kÅ«rinio herojai. DalyviÅ³ Å¡eÅ¡Ä�liai ekrane pavirsta gyvomis formomis ir transformuojasi priklausomai nuo dalyviÅ³ judesiÅ³. Kai kuriais atvÄ�jais Å¡eÅ¡Ä�liÅ³ judesiai atkartojami, kitais atvejais jie pradeda gyvuoti pagal savo taisykles, nepriklausomai nuo dalyvio.

http://snibbe.com/scott/screen/concentration/images/concentration 2 people med.jpg http://snibbe.com/scott/screen/concentration/images/concentration 2 people touching med.jpg

5 pav. Aplink dalyvio Å¡eÅ¡Ä�lÄ¯ sukuriama Å¡vieÄ�ianti aura, kuri gali bÅ«ti perduodama Å¡alia esanÄ�iam Å¾mogui (t.p. Å¾r: DVD-doku video 2)

[edit]

Cheese

Kompiuterinio matymo algoritmai konkreÄ�iai apskaiÄ�iuoja informacijÄ� apie matomÄ� objektÄ�, kurÄ¯ fiksuoja kamera. Gauname tiksliÄ� informacijÄ� apie Å¾mogaus projekcijÄ� kadre. Turime judesio trajektorijÄ� Ä¯raÅ¡ytÄ� skaiÄ�iais (kartezinÄ�je koordinaÄ�iÅ³ sistemoje), kitaip tariant, gauname informacijÄ� apie pagrindines Å¾mogaus (objekto) fizines savybes (lokacija, judÄ�jimo greitis, spalva). Kuo tiksliau algoritmas apskaiÄ�iuoja objekto savybes, tuo didesnÄ� tikimybÄ�, kad objekto intencija bÅ«s apskaiÄ�iuota. PlaÄ�iai naudojamas kompiuterinis matymas siejasi su ekrano metafora, tai yra, kai turime Å¾mogaus interakcijÄ� su ekranu. TaÄ�iau paÅ¾angios laboratorijos vysto projektus, kuriuose yra Ä¯manoma trimatÄ� Å¾moniÅ³ analizÄ� bei interakcija, suteikianti didesnÄ� galimybÄ� "apskaiÄ�iuoti" Å¾mogÅ³-interaktoriÅ³. Galima Å¡nekÄ�ti apie virtualiÄ� realybÄ� arba dirbtinÄ� realybÄ� (Myron Krueger). Kuo detaliau galime atskirti Å¾mogaus kÅ«no savybes (atskirai rankÅ³ judesÄ¯, atskirai veido detales), tuo iÅ¡ kompiuterinio matymo iÅ¡gaunama didesnis psichologinio kodo rezultatas. Christiano MÃ¶llerio meninis projektas "Cheese" (2003) naudoja kompiuterinÄ¯ matymÄ� veido analizei. Speciali programinÄ� Ä¯ranga sukurta atskirti, ar Å¾mogaus Å¡ypsena yra natÅ«rali, ar dirbtina.

6 pav. Moeller cost (t.p. Å¾r DVD-doku: video 3).

EmocijÅ³ atpaÅ¾inimo sistema paleidÅ¾ia "neigiamÄ�" signalÄ� jeigu Å¾mogus nesiÅ¡ypso arba tampa Å¡ypsena nebenatÅ«rali.

[edit]

Å½aidimai

Mene kompiuterinio matymo algoritmai yra sÄ�kmingai panaudojami interaktyviems Å¾aidimams, kuriuose Å¾aidimo personaÅ¾as yra valdomas ne pele ar klaviatÅ«ra, o gestais.

"Kick Ass Kung-Fu" (2004) [5] projektas Ä¯ Å¾aidimÄ� Ä¯traukia visÄ� Å¾mogaus kÅ«nÄ�. Kompiuterinio matymo ir vaizdo apdorojimo metodais Å¾aidÄ�jas neprivalo devÄ�ti specialios sekimo Ä¯rangos/aprangos.

7 pav. Å½mogaus kÅ«nas augmentuotas Ä¯ video Å¾aidimÄ� (t.p. Å¾r DVD-doku: video 4)

[edit]

StebÄ�jimo sistemos

Socialinis, su stebÄ�jimu susijÄ�s projektas yra "Access" (2003). "Access" - tai vieÅ¡osios erdvÄ�s instaliacija, kurioje dalyviai yra sekami robotizuotos Å¡viesos dÄ�mÄ�s, valdomos interneto Å¾iÅ«rovÅ³. Sekami individai neÅ¾ino kas juos seka, o sekantys interneto Å¾iÅ«rovai neÅ¾ino, jog jÅ³ veiksmai generuoja garsÄ�, nukreiptÄ� Ä¯ taikinÄ¯. Rezultate sekantys ir sekamieji yra suriÅ¡ti paradoksalia komunikacijos grandine. "Access" projektas nuteikia apmÄ�stymams apie vieÅ¡Ä�jÄ¯ stebÄ�jimÄ�, sekimÄ�, buvimo garsenybe fenomenÄ� ir jÅ³ Ä¯takÄ� visuomenei. Projekto struktÅ«ra yra sÄ�moningai dviprasmÄ� (bauginanti arba Å¡maikÅ¡ti vienu metu), atskleidÅ¾ianti Å¾moniÅ³ Å¾avÄ�jimÄ�si kontrole, budrumu ir buvimu matomu. [6]

8 pav. Access instaliacijoje Å¾mogÅ³ seka koncentruota Å¡viesos dÄ�mÄ�, valdoma interneto Å¾iÅ«rovÅ³. (t.p. Å¾r DVD-doku: video 5)

"(In)security camera" (2003) projektas yra stebÄ�jimo kamera, naudojanti kompiuterinio matymo programÄ�, galinÄ�iÄ� sekti, priartinti, eiti paskui judantÄ¯ objektÄ� matomoje zonoje. Ji yra paremta JAV militarizme naudojamais dirbtinio intelekto algoritmais. TaÄ�iau Å¡i kamera yra uÅ¾programuota Å¡iek tiek nesaugiai, turint omenyje jos paskirtÄ¯ tarnauti saugumui. Projekto autoriai perstato prieÅ¾iÅ«ros sistemÄ� ir jos subjektÄ�. Menininkai kamerai suteikia Å¾mogaus savybiÅ³. Kamera tampa drovi ir vengia akies kontakto su nepaÅ¾Ä¯stamais. (Å½r. DVD-doku video 8)

[edit]

SÄ�sajÅ³ sistemos

Kompiuterinis matymas taip pat yra taikomas sÄ�sajÅ³ sistemÅ³ vystymui. IspanÅ³-vokieÄ�iÅ³ dizaineriÅ³ projektas "reacTable" (2004) yra labai Ä¯domus sÄ�sajos sprendimas audiovizualiniams performansams vykdyti. Kompiuterinis matymas Å¡iuo atveju yra naudojamas raÅ¡to (angl. pattern) atpaÅ¾inimui. Kiekvienas miniatiÅ«rinis kubas ir cilindras turi specifinÄ� Å¾ymÄ�, kuri reiÅ¡kia tam tikrÄ� tos figurÄ�lÄ�s paskirtÄ¯. Kompiuteris esamuoju laiku seka figurÄ�lÄ�s padÄ�tÄ¯ ir perskaito raÅ¡tÄ� (infraraudonÄ�ja Å¡viesa), pagal kurÄ¯ generuoja garsÄ� ir vaizdÄ�. [7]

9 pav. reacTable sÄ�sajÅ³ sprendimai (t.p. Å¾r DVD-doku; video 6)

Nors pats "reacTable" projektas yra gana abstraktus ir Austrijos Linz mieste per Ars Electronica festivalÄ¯ buvo panaudotas audio-vizualinio tinklo performansui, jo kodas (visas projektas yra paremtas atviru kodu) ir idÄ�ja yra naudojami konkreÄ�iuose atvejuose, kur vietoj garso ir vaizdo gali bÅ«ti generuojamas tekstas. PavyzdÅ¾iui Linzâ��o interaktyvaus dizaino studentai sukÅ«rÄ� "recipeTable" (2005) - maisto produktÅ³ ingredientÅ³ atpaÅ¾inimo sÄ�sajÄ�, kuri ekrane parodo produkto sudÄ�tÄ¯. Kai produktas padedamas atitinkamoje skenavimo vietoje, kompiuterinio matymo programa automatiÅ¡kai perskaito pakuotÄ�s apaÄ�ioje esantÄ¯ specifinÄ¯ raÅ¡tÄ�.

10 pav. "recipeTable" sÄ�saja. Maisto produkto pakuotÄ�s apaÄ�ioje yra specialus raÅ¡tas, kuris yra nuskaitomas kompiuteriu ir ekrane automatiÅ¡kai parodoma maisto produkto sudÄ�tis.

[edit]

Drawn

"Drawn" (2005) yra menininko Zachary Lieberman performansas, kuriame tapybos metu tuÅ¡o potÄ�piai pavirsta gyvomis organinÄ�mis formomis, kurios, jau nupaiÅ¡ytos, reaguoja Ä¯ menininko rankas. Jis jas mÄ�to po ekranÄ�, tampo, stumdo. Vaizdas matomas ekrano projekcijoje, rodanÄ�ioje menininko stalÄ�. Augmentacijos procesas vyksta taip: kamera yra nukreipta Ä¯ menininko stalÄ�, kuriame jis paiÅ¡o potÄ�pius. Realiame laike kamera potÄ�piÅ³ formas siunÄ�ia Ä¯ kompiuterÄ¯ ir Ä¯raÅ¡o jas kaip formÅ³ koordinates. Tuo pat metu rankos ir teptukas, kuriais autorius judina savo potÄ�pius, yra Ä¯raÅ¡omos kaip formos koordinatÄ�s. PotÄ�piÅ³ ir rankÅ³ koordinatÄ�s kompiuteryje yra sujungtos fizinÄ�mis formulÄ�mis. Taip gauname iliuzijÄ�, jog menininkas fiziÅ¡kai judina savo potÄ�pius. Nors augmentavimo rezultatai matomi tik ekrane, gyvas tapymas ir potÄ�piÅ³ judrumas atrodo Ä¯spÅ«dingai.

11 pav. potÄ�pio formos pavirsta gyvom formom, kurios reaguoja Ä¯ Å¾mogaus gestus (t.p. Å¾r. DVD-doku: video 7)

Kompiuterinio matymo technikas naudojantis menininkas savo darbuose daÅ¾nai sujungia aukÅ¡tÄ�sias technologijas ir sudÄ�tingus dinamikos dÄ�snius su Å¡maikÅ¡Ä�iomis, netgi vaikiÅ¡komis realizacijomis, kurios kelia nuostabÄ�.

[edit]

Eksperimentai

[edit]

Motyvacija

Matymas yra paÅ¾intinis procesas. Be matymo pasaulio suvokimas bÅ«tÅ³ labai ribotas. Kiekvienas vizualios raiÅ¡kos menininkas matymÄ� naudoja savo kÅ«rybiniame procese - tai vaizdo suvokimas. 2005 m. vasarÄ� dirbau Ars Electronica skaitmeniniÅ³ medijÅ³ laboratorijoje. Ten sutikau Å¾moniÅ³, kurie dirba su skaitmeninÄ�mis medijomis, naudojant Å¾emo lygmens programavimÄ� (angl. 'low level') vaizdo kÅ«rimui ir apdorojimui. Ten supratau, kad aukÅ¡to lygmens vaizdo, video, interaktyvios grafikos Ä¯rankiai (pavyzdÅ¾iui tokie, kaip Adobe ar Macromedia produktai), kuriuos naudojau iki Å¡iol, yra toli graÅ¾u ne viskas, kÄ� galima daryti skaitmeniniame mene. Naudojant atitinkamÄ� programavimÄ� (java, c ), skaitmeninÄ� erdvÄ� galima formuoti ir kurti daug giliau ir valdyti visÄ� kÅ«rybinÄ¯ procesÄ�. Vizualumas ir matymas mene yra bene svarbiausi reiÅ¡kiniai, kurie vyksta kuriantis bet kokiam darbui, todÄ�l jo [matymo] simuliacija skaitmeninÄ�je erdvÄ�je yra neiÅ¡vengiama. Kompiuterinis matymas yra programavimo algoritmai, kurie analizuoja skaitmeninÄ¯ vaizdÄ� ir kurie yra iÅ¡eities taÅ¡kas kuriant bet kokias skaitmenines simuliacijas, susijusias su fizinÄ�s erdvÄ�s analize (Å¾mogaus detekcija). NorÄ�damas tÄ�sti sÄ�moningÄ� medijÅ³ meno kÅ«rimÄ�, turÄ�jau Ä¯sigilinti Ä¯ matymo programavimÄ�, tai yra supaprastintÄ� (o kai kuriais aspektais ir sudÄ�tingÄ�) matymo simuliacijÄ�, lyginant su Å¾mogaus matymu.

[edit]

Metodologija

NorÄ�damas suprasti kaip veikia kompiuterinis matymas, turÄ�jau pats matyti ne kaip Å¾mogus, o kaip kompiuteris. TodÄ�l turÄ�jau ekperimentuoti su vaizdo manipuliavimu, t.y. pikseliÅ³ skaitymu ir apdorojimu. Taip pat turÄ�jau iÅ¡siaiÅ¡kinti kaip vyksta tiesioginÄ� interakcija tarp Å¾mogaus ir kompiuterio. Iki Å¡iol komunikacijÄ� tarp kompiuterio ir Å¾mogaus laikiau peliuko ir klaviatÅ«ros spaudinÄ�jimÄ�. TaÄ�iau naudojant kompiuterinÄ¯ matymÄ�, komunikacija iÅ¡sipleÄ�ia iki viso Å¾mogaus kÅ«no. NorÄ�jau iÅ¡siaiÅ¡kinti, kaip vyksta tokia sÄ�sajos metafora, kai Å¾iÅ«rovas komunikuoja su ekranu savo gestais ir kaip ekrane vyksta atitinkama reakcija Ä¯ juos. RaÅ¡au metaforiÅ¡kai, nes Å¡ioje komunikacijoje Ä¯vyksta taktiliÅ¡kumas, kuris yra simuliuotas -- taip pat, kaip metaforiÅ¡ka yra sakyti, jog perjunginÄ�ju langelius grafinÄ�je operacinÄ�s sistemos aplinkoje, o tiesiogine prasme judinu savo rankÄ� ir spaudinÄ�ju peliuko mygtukÄ�. TurÄ�jau suprasti, kokiu tikslumu kompiuteris gauna informacijÄ� apie Å¾iÅ«rovo rankos padÄ�tÄ¯ ir kaip jis tÄ� padÄ�tÄ¯ augmentuoja tolesnei komunikacijai. Savo eksperimentuose apsiribojau iki Å¾mogaus kÅ«no komunikacijos su ekranu (videoprojekcija).

Tokiu pat bÅ«du kaip architektas ar scenografas vystydamas savo projektÄ� visada eskizuoja maketus, taip pat aÅ¡ turÄ�jau simuliuoti miniatiÅ«rinÄ� projekcijÄ�. Mano atveju tai buvo kompiuterio monitorius ir pieÅ¡tukas, kurÄ¯ judinau prieÅ¡ monitoriÅ³. Kamera-sensorius yra nukreipta Ä¯ monitoriÅ³ taip, kad vaizdo srautas suktÅ³si ratu ir fiksuotÅ³ pasikeitimus vaizde. Å is augmentavimo procesas vyksta 25 kadrus per sekundÄ� (nors srauto greitÄ¯ galima keisti priklausomai nuo poreikio):

12 pav. Augmentacijos procesas: 1) Monitoriuje matome krentanÄ�ius objektus; 2) Fizinis dirgiklis (ranka pieÅ¡tukas) yra prieÅ¡ais monitoriÅ³; 3) video kamera nukreipta Ä¯ monitoriÅ³, fiksuoja dirgiklio padÄ�tÄ¯ ir jo koordinatÄ�s (x,y) siunÄ�iamos programai, kuri jas transformuoja Ä¯ kliÅ«tÄ¯ sukurdama iliuzijÄ�, jog virtualÅ«s objektai atsimuÅ¡a nuo fizinio dirgiklio.

Vystant Å¡Ä¯ diplominÄ¯ darbÄ� bandÅ¾iau iÅ¡siaiÅ¡kinti pagrindinius kÅ«no augmentavimo Ä¯ virtualiÄ� erdvÄ� principus. Galima Å¡nekÄ�ti apie dviejÅ³ realybiÅ³ susipynimÄ�:

realybÄ�, kuri yra sugeneruota kompiuterio - generatyviniu (programavimo) bÅ«du sukuriami objektai ekrane, kuriems suteikiamos dinamiÅ¡kos savybÄ�s (krentatys rutuliukai);
fizinÄ� realybÄ�, tai yra Å¾mogus - interaktorius, kuris iÅ¡ esmÄ�s kompiuterio atÅ¾vilgiu savo veiksmais yra nenuspÄ�jamas, nuo kuriÅ³ priklauso dirbtinos realybÄ�s generavimas. TodÄ�l objektÅ³ ekrane realybÄ� turÄ�jo bÅ«ti kuo protingesnÄ�, kad galÄ�tÅ³ reaguoti Ä¯ kuo ivairesnius interaktoriaus veiksmus. Daug dÄ�mesio skyriau paprastÅ³ fiziniÅ³ savybiÅ³ priskyrimui rutuliukams, kad jie taisyklingai atsimuÅ¡inÄ�tÅ³ nuo interaktoriaus rankos. Tam rankos yra skenuojamos video kameros ir rankÅ³ siluetas yra uÅ¾raÅ¡omas kaip dÄ�mÄ�, kurios koordinatÄ�s yra siunÄ�iamos kaip informacija rutuliukams atsimuÅ¡ti nuo kÅ«no (kolizija). Darbo pirminis uÅ¾davinys buvo susijÄ�s su taisyklinga detekcija ir fizinÄ�mis generuojamÅ³ objektÅ³ savybÄ�mis. Detalesnis apraÅ¡ymas yra skyriuje "Eksperimentai". Konceptualioji Å¡io darbo pusÄ� siejosi su Å¾mogaus ir kompiuterio tiesiogine interakcija, jÅ³ taisyklinga/teisinga komunikacija, kai dalyvauja visas Å¾mogaus kÅ«nas, o ne tik vienas pirÅ¡tas (klaviatÅ«ra ir pÄ�lÄ�). TiesioginÄ� interakcija yra tada, kai realiu laiku Ä¯vyksta "dirgiklis - reakcija" veiksmas, o ne metaforinÄ� ar medijuota interakcija.

[edit]

PikseliÅ³ apdorojimas

Å iame etape kodo pagalba apdorojau pikselius. PikseliÅ³ apdorojimas iki Å¡iol buvo susijÄ�s su vaizdinÄ�mis manipuliacijomis naudojant tokius Ä¯rankius kaip Photoshop ar Premiere. "Processing" programavimo aplinka kodavimo lygmenyje labai iÅ¡pleÄ�ia skaitmeninio vaizdo manipuliacijos suvokimÄ�. Programavimo lygmenyje menininkas gali kontroliuoti kiekvienÄ� pikselÄ¯, ko [paradoksaliai] su Photoshop padaryti neÄ¯manoma, turint omenyje, kad galima apdoroti vaizdÄ� laike, o dar svarbiau realiam laike.

Norint atlikti skaitmeninio vaizdo manipuliacijas, reikia suvokti kiekvieno pikselio spalvos kodÄ� ir jÄ¯ atitinkamai apdoroti. Grupinis pikseliÅ³ perdirbinÄ�jimas gali bÅ«ti susijÄ�s ne tik su vaizdo spalvinÄ�m transformacijom, bet ir formos hibridizacija (filtrai, deformacija). Naudojantis geometrinÄ�mis Å¾iniomis, galima pikselius dÄ�lioti plokÅ¡tumoje/erdvÄ�je/laike kuriant generatyvinÄ¯ vaizdÄ�.

Mano poÅ¾iÅ«ris Ä¯ skaitmeninÄ¯ vaizdÄ� pakito. Nuo Å¡iol egzistuoja tik pikseliai ir jÅ³ apdorojimas (angl. image processing). TurÄ�jau matyti vaizdÄ� taip, kaip jÄ¯ mato kompiuteris. Kompiuteris mato vaizdÄ� kaip pikseliÅ³ rinkinÄ¯ kartezinÄ�je koordinaÄ�iÅ³ sistemoje (x,y,z). Ribotas vaizdo manipuliavimas (Photoshop principu) pavirto pilna kontrole ties skaitmeniniu vaizdu. PavyzdÅ¾iui., norint paversti vaizdÄ� negatyvu, Photoshope naudojama funkcija invert, o norint padaryti negatyvÄ� â��Processingâ�� aplinkoje, raÅ¡omas toks kodas, kuris yra interpretuojamas kompiuterio:

for(int i=0;i<width*height;i  ){
    pixels[i]=color(255-red(pixels[i]), 255-green(pixels[i]), 255-blue(pixels[i])); 
}

Å¾mogaus kalba tai reiÅ¡kia perskaityk kiekvienÄ� vaizdo pikselÄ¯; perskaityk kiekvienÄ� pikselio raudonojo, Å¾aliojo, mÄ�lynojo kanalo intensyvumÄ�; pakeisk tÄ� intensyvumÄ� Ä¯ atvirkÅ¡tinÄ� spalvÄ�.

PikseliÅ³ suvokimas turi didelÄ¯ privalumÄ�. Mokant manipuliuoti vaizdo pikselÄ¯, menininkas gali manipuliuoti kintanÄ�io vaizdo (kadro) pikselÄ¯ - tai yra neiÅ¡vengiamÄ� sÄ�moningam matymui, nes turimÄ� maÅ¾iausiÄ� kompiuterinio matymo detalÄ�, tai yra pikselÄ¯. TodÄ�l manipuliavimas pikseliais yra svarbus vystant kompiuterinÄ¯ matymÄ� (meninam projekte) artÄ�jant prie Å¾mogaus matymo, tai yra absoliuÄ�iai protingo matymo.

Programavimo lygmenyje kuriant grafikÄ�, jos formas, idÄ�jas, eskizus galima modeliuoti matematiÅ¡kai preciziÅ¡kai, o tai yra labai svarbu kuriant sÄ�moningÄ� menÄ�. Naudojantis Adobe ar Macromedia programomis, menininkas gauna iÅ¡ anksto uÅ¾programuotus Ä¯rankius, kurie teikia apribotas vizualinÄ�s iÅ¡raiÅ¡kos galimybes. TodÄ�l nenuostabu, kad dauguma 1990-ojo deÅ¡imtmeÄ�io vizualiniÅ³ kÅ«riniÅ³ labai panaÅ¡Å«s Ä¯ Å¡imtus tÅ«kstanÄ�ius kitÅ³ skaitmeninio meno kÅ«rÄ�jÅ³ darbus.

Å iame diplominiame darbe pikseliÅ³ apdorojimas yra pereinamasis etapas, susijÄ�s su "Å¾iÅ«rÄ�jimo" Ä¯ vaizdÄ� specifika. Vaizdo "matymas" buvo susijÄ�s su jo pokyÄ�iÅ³ analize ir iÅ¡vadom. Buvo pereita prie kompiuterinio matymo technikÅ³.

[edit]

PotÄ�piÅ³ Ä�dikas

Muzikoje, tapyboje ir Å¡okyje daÅ¾nai pradiniu taÅ¡ku tampa gestas. Å½mogaus Ä¯vestis Ä¯ skaitmeninÄ� erdvÄ� daugumoje atvejÅ³ yra susijusi su pelytÄ�s metafora â�� tai yra minimaliu rankos judesiu sukuriama iliuzija, kad Å¾mogus keliauja po visÄ� ekranÄ�. Å i metafora siejasi su vizualumu, kadangi Å¾mogus juda pagal kartezinÄ� koordinaÄ�iÅ³ sistemÄ� (x,y).

Buvo bandoma iÅ¡nagrinÄ�ti, kaip pelytÄ�s judesÄ¯ suvokia kompiuteris ir kÄ� Ä¯manoma su tuo padaryti. TurÄ�jau pereiti Å¡Ä¯ etapÄ�, kad galÄ�Ä�iau uÅ¾programuoti kompiuterÄ¯ skaityti ne pelytÄ�s judesÄ¯, o Å¾mogaus gestÄ� naudojantis kompiuterinio matymo technikomis.

PradÄ�jau nuo paprasÄ�iausio pieÅ¡imo. Tam, kad galÄ�Ä�iau nupieÅ¡ti linijas su peliuku, turÄ�jau paraÅ¡yti labai paprastÄ� kodÄ� â��Processingâ�� programavimo kalba:

void draw(){
    line(pmouseX,pmouseY,mouseX, mouseY);
}

(draw() yra funkcija, kuri atliekama cikliÅ¡kai laike, tai yra, ji atstovauja kadrÅ³ metaforÄ�, kai kadrai eina vienas po kito). Å is kodas Å¾mogaus kalba reiÅ¡kia "kartok Å¡iÄ� funkcijÄ� (draw()) cikliÅ¡kai: nupieÅ¡k linijÄ� nuo praeito kadro peliuko padÄ�ties (pmouseX, pmouseY) iki esamojo kadro peliuko padÄ�ties (mouseX, mouseY). Kadangi Å¡ios funkcijos vyksta apie 30 kartÅ³ per sekundÄ�, yra sukuriama iliuzija, jog Å¾mogus paiÅ¡o vaizdus, nors iÅ¡ tikrÅ³jÅ³ tai tik peliuko judesio pavaizdavimas linijÅ³ pagalba.

"PotepiÅ³ Ä�dikas" yra programa, kurioje nupieÅ¡tÄ� Å¾mogaus linijÄ� suÄ�da virtualus padaras. Kai paspaudÅ¾iama pelytÄ�, Ä¯ kompiuterio atmintÄ¯ yra iÅ¡saugojama x,y pelytÄ�s padÄ�tis. Kai paleidÅ¾iama, visa trajektorija nuo paspaudimo iki paleidimo yra atkartojama. Papildomai pagal Å¡iÄ� trajektorijÄ� yra pieÅ¡iamas padaras, pagal linijas ir sulenkimus suprogramuotas "valgyti" potepius, sukurdamas iliuzijÄ�, jog potepiai yra naikinami.

13 Pav. "PotepiÅ³ Ä�dikas" suÄ�dÄ� kiekvienÄ� Å¾mogaus nupieÅ¡tÄ� potepÄ¯.

"PotepiÅ³ Ä�dikas" yra programa, kuri siÅ«lo pasitraukti nuo peliuko ir klaviatÅ«ros tam, kad kitokiais bÅ«dais bÅ«tÅ³ komunikuojama su kompiuterio ekranu. [8]

[edit]

Virtuali tapyba

Virtuali tapyba yra pirmas bandymas pereiti prie kitokios komunikacijos tarp Å¾mogaus ir kompiuterio. Å iuo atvÄ�ju tam, kad Ä¯vyktÅ³ pasikeitimai ekrane, naudojamas ne peliukas ar klaviatÅ«ra, o Å¾mogaus ranka. Kompiuterinio matymo pagalba, naudojant video kamerÄ� kaip Å¾mogaus judesio sensoriÅ³, Virtualios tapybos instaliacijos dalyvio rankos judesys yra interpretuojamas kaip teptukas, nuo kurio ekrane atsiranda potepiai. Turint omenyje komunikacijÄ�, "Virtuali tapyba" neturi daug bendro tarp emocionalios Å¾mogaus-kompiuterio interakcijos (kalbant apie ekspresyvÅ³ji tapymÄ�), ji pagrÄ¯sta Å¾mogaus rankÅ³ judesio aktartojimu, todÄ�l reikÄ�tÅ³ paminÄ�ti taktiliÅ¡kumo simuliacijÄ� (tarp kompiuterio ir Å¾mogaus). Lyginant su klasikine, "virtualioje" tapyboje kompiuterinis matymas yra etapas jungiantis daÅ¾Ä�, Å¾mogaus gestÄ�, teptukÄ� ir drobÄ�. Estetinis rezultatas ekrane priklauso nuo dalyvio-tapytojo.

Pav. 14 Virtuali tapyba. RankÅ³ judesiais paiÅ¡omos grafinÄ�s formos ekrane (t.p. Å¾r. DVD-doku: video 9, video 10).

[edit]

"Kulki"

15 Pav. VirtualÅ«s rutuliukai atsimuÅ¡inÄ�ja nuo fiziniÅ³ rankÅ³ (T.p. Å¾r DVD-doku: video 11)

Norint suvokti, kokiu bÅ«du vyksta komunikacija tarp Å¾mogaus ir kompiuterio padaroma prisilietimo simuliacija. Å iuo atveju prisilietimas Ä¯vyksta tarp Å¾mogaus rankos ir virtualaus objekto (rutuliuko).

"Kulki" yra interaktyvi programa, sukurta â��Processingâ�� aplinkoje, atliekanti fizinÄ�s erdvÄ�s sensorikÄ� ir generuojanti virtualius objektus. VirtualÅ«s objektai yra sugeneruoti rutuliukai, kurie krenta ir matosi tik ekrane (monitoriaus, projekcijos) ir kurie atsimuÅ¡a nuo Å¾mogaus rankÅ³, kurios yra fizinÄ�je erdvÄ�je. Å io eksperimento tikslas buvo iÅ¡siaiÅ¡kinti kaip elementariais dinamikos dÄ�sniais simuliuoti kontaktÄ� tarp Å¾mogaus rankos ir virtualiÅ³ objektÅ³ esanÄ�iÅ³ ekrane. "Kulki" augmentavimas vyko dviem pagrindiniais etapais: rankos judesio detekcija ir virtualiÅ³jÅ³ objektÅ³ generavimu.

[edit]

Pirmas Etapas: judesio analizÄ�

Kad ranka butÅ³ augmentuota Ä¯ virtualiÄ�jÄ� erdvÄ�, kamera turi bÅ«ti nukreipta Ä¯ ekranÄ� taip, kad ji galÄ�tÅ³ taisyklingai fiksuoti pokyÄ�ius ekrane. Ekrano fonas yra baltas, ir ekrane atsiradus rankai arba rankos Å¡eÅ¡Ä�liui, kamera automatiÅ¡kai fiksuoja tamsiÄ� dÄ�mÄ�.

a b

16 pav. kompiuteris (kameros pagalba) privalo suvokti tamsiÄ� (arba skirtingÄ� nuo fono) dÄ�mÄ�, judanÄ�iam objektui (rankai) augmentuoti: a) pradinis vaizdas; b) tamsaus objekto atskyrimas slenkstinimo bÅ«du

Tada vykdomas skirtingos spalva/tonu nuo fono dÄ�mÄ�s iÅ¡saugojimas kompiuteryje slekstinimo (angl. thresholding) algoritmu (Å¾r. Priedas 3 slenkstinimas ). DÄ�mÄ�s pikseliai yra iÅ¡saugojami kompiuteryje, o informacija apie aptiktus pikselius panaudojama tolesniam interakcijos vykdymui ir grafiniam atsakui (rutuliukÅ³ atsimuÅ¡imui nuo rankos). PrieÅ¡ darant grafinÄ¯ atsakÄ�, reikia apibrÄ�Å¾ti silueto koordinates. Panaudotas Lucas Kanade sekimo algoritmas. 1981 m. sukurtas Lucas Kanade metodas yra daÅ¾niausiai naudojamas kompiuteriniame matyme judantiems objektams sekti. Turint siluetÄ�, panaudojamos jo linkio taÅ¡kÅ³ koordinatÄ�s, kad galÄ�tÅ³ bÅ«ti panaudotos kaip informacija rutuliukÅ³ atsimuÅ¡imui.

17 pav. tam, kad rutuliukai atsimuÅ¡tu nuo rankos, randamos judanÄ�io objekto koordinatÄ�s.

[edit]

Antras Etapas: reakcija Ä¯ judesÄ¯

Judesio analizÄ�s ir reakcijos etapai vyksta apie trisdeÅ¡imt kartÅ³ per sekundÄ�, taÄ�iau norint juos suvokti, reikia sustoti ir analitiÅ¡kai susisteminti procesÄ� bei panagrinÄ�ti kaip vyksta vieno rutuliuko taisyklingas atsimuÅ¡imas nuo rankos nepriklausomai nuo laiko.

[edit]

RutuliukÅ³ generavimas

Rutuliukai generuojami algoritmu, kuriame yra rutuliuko gravitacijos simuliacija, tai yra, nupaiÅ¡yta elipsÄ� krenta Ä¯ apaÄ�iÄ� pagal x=x vx ir y=x yx formules, kur x ir y yra elipsÄ�s koordinatÄ�s, o vx ir vy yra kritimo greitis (iki simuliacijos pagal Newtono dÄ�snius reikalingas pagreitis, masÄ� ir kitos fizinÄ�s savybÄ�s, taÄ�iau Å¡iame apraÅ¡yme apsiribojama iki minimumo, kuris uÅ¾tikrintÅ³ Ä¯tikinamÄ� gravitacijos simuliacijÄ�).

[edit]

FizinÄ� simuliacija

Jeigu krentantis rutuliukas "prisilieÄ�ia" prie rankos, tai reiÅ¡kia, jog rutuliukas atsirado [atsimuÅ¡imo momentu] tarp dviejÅ³ rankÅ³ koordinaÄ�iÅ³ taÅ¡kÅ³, ir tada pagal atspindÅ¾io dÄ�snius galima simuliuoti taisyklingÄ� rutuliuko atsimuÅ¡imo kampÄ�:

18 pav. jeigu atstumas AB yra du koordinaÄ�iÅ³ taÅ¡kai paimti iÅ¡ silueto, tai rutuliukas atsimuÅ¡a Î² kampu.

Trigonometrijos dÄ�sniai rutuliukÅ³ programavimui yra neiÅ¡vengiami taisyklingam atsimuÅ¡imui Ä¯vykti. Rutuliukai atsimuÅ¡a nuo interaktoriaus [rankos] pagal fizikos dÄ�snius,pavyzdÅ¾iui, gravitacijos trinties. TrigonometrinÄ�s formulÄ�s uÅ¾tikrina taisyklingÄ� rutuliukÅ³ atsimuÅ¡imÄ� nuo Å¡eÅ¡Ä�lio.

TrigonometriniÅ³ savybiÅ³ panaudojimas ir algoritmas, Å¾r. Priedas1.

[edit]

"Kulki" Ä¯rangos instaliavimas

Bendra ekrano kompiuterinio matymo Ä¯rangos instaliavimo schema ir sensorika naudojant video kamerÄ�:

19 pav. 1) Kompiuteris atliekantis visus apskaiÄ�iavimus. Apie 2Ghz yra pakankama instaliacijai Ä¯vykdyti, taÄ�iau turint silpnesnÄ¯ procesoriÅ³ galima naudoti du kompiuterius: vienÄ� judesio detekcijai, kitÄ� rutuliukÅ³ generavimui, informacijÄ� siunÄ�iant per tinklÄ�; 2) Kamera, fiksuojanti pasikeitimus ekrane, tai yra, Å¡eÅ¡Ä�lio arba tamsios dÄ�mÄ�s padÄ�tÄ¯; 3) Projektorius, rodantis vaizdÄ�, kuriame krenta rutuliukai bei "atsimuÅ¡a" nuo rankÅ³; 4) Projekcija yra kameros matymo zonoje.

[edit]