I en korridor på Realfagsbygget ved UiT står dørene på gløtt inn til forskere som sitter fordypet over dataskjermene sine og programmerer.

Et par studenter sitter i sofaen ute i fellesarealene og prater, lyden av kritt som hamrer på en tavle høres fra et grupperom.

Like ved, bak lukkede dører med gardinene dratt omhyggelig foran vinduet, hopper og fekter to menn, dog med varierende grad av koordinasjon og ynde. Innsatsen er det ingenting å si på. De vifter med armer og snurrer rundt, mens det hele tas opp av et kamera.

• Les også: Seksuell trakassering utbredt på teateret

Virkelige og digitale skuespillere på samme scene

Om det var Giacomo Tartaris naturlige spenst og grasiøse bevegelser som ledet han inn i dette forskningsprosjektet vites ikke, men som én av to stipendiater ble han i 2010 ansatt på et prosjekt som ble satt i gang av Institutt for informatikk, UiT og World Opera i Tromsø.

– Vi har jobbet med verktøy for å kunne sette opp en databasert forestilling, som et teater eller en opera, forklarer Tartari.

– Med det nye verktøyet vil vi kunne lage sceneshow der fremføringer fra mange scener kan slås sammen til en enhetlig opplevelse. Skuespillerne kan befinne seg i forskjellige byer, men likevel stå på den samme virtuelle scenen. Dermed får publikum se en komplett forestilling, der bare noen av aktørene er fysisk til stede, fortsetter han.

• Les også: – Reiseliv er teater med publikum i hovedrollen

Spillteknologi 

Hemmeligheten bak den virtuelle forestillingen er programmet MultiStage, som Tartari har utviklet sammen med kollegaene sine. Programmet registrerer skuespillerens bevegelser på scenen, alle fakter og trinn.

Det viser dessuten skuespillerens opptreden i nåtid på en scene et helt annet sted.

Programmet baserer seg på Kinect, et sensorsystem som fanger opp bevegelser. Kinect brukes i videospill, blant annet Microsofts spillkonsoll, Xbox 360.

Fanger bevegelser

Tartari forteller at teknikken gikk ut på å filme en person, for så å lage en tredimensjonal sky av piksler, som kan legges på hvilken som helst bakgrunn.

Sammen med kollegaene tilbragte han noen timer foran kamera der han jobbet med å fange bevegelsene sine. Dermed var målet å gjengi bevegelsene i nåtid et annet sted med mest mulig flyt og presisjon.

Slik ser Tartari for seg hvordan dette kan foregå:

På en scene i Berlin står skuespillet «Rome og Juliet» på programmet. Ulykkelige Romeo opptrer foran publikum og uttrykker sin kjærlighet til vakre Juliet.

Juliet vises på en skjerm i bakgrunnen av scenen. Men i virkeligheten befinner hun seg på en balkong på en scene i London, der hennes opptreden filmes og vises i nåtid i Berlin.

• Les også: Når tanker blir lyspartikler

Må være naturlig flyt

Siden en forestilling foregår live foran et publikum, må overføringen være rask. Det er for å unngå at skuespillerens bevegelser ikke kommer på etterskudd. I tillegg må overføringen av personen ha naturlig flyt.

Overføringen må også være så god at det ikke blir hakking og forsinkelser.

– Alt dette må tas hensyn til i det programmet vi har jobbet med, i tillegg komme oppsett av en bakgrunn som skal være troverdig og ikke minst mulighet for å bestemme hvilke kostymer den virtuelle personen skal ha på seg.

– Det har vært utfordrende å sy sammen et sett med verktøy som skal kunne fungere sammen på tvers av eksisterende arkitektur, forklarer Tartari.

Så langt har dette bare vært prøvd i liten skala under Tromsø-forestillingen La Serva Padrona i 2012.

Forestillingen ble fremført i to ulike saler, et todelt show der halvparten av scenen hadde levende aktører mens en gigantisk skjerm utgjorde den andre halvparten av scenen.

I pausen byttet publikum sal slik at de kunne se den andre halvparten av showet, «live».

Prosjektet ble støttet av Forskningsrådet og Tromsø Forskningsstiftelse.

Referanse

Giacomo Tartari: “A distributed remote presence system for latency critical human-to-human and human-to-computer interaction”. UiT – Norges arkitske universitet. Doktorgrad 27. september 2016. Sammendrag.