Slik skal de utvide virkeligheten vår – med god hjelp av 5G

En morgen i 1942 kunne innbyggerne i den australske byen Darwin se 188 japanske bombefly fylle horisonten. Målet var havner og skip, og ødeleggelsene var store – dagen skulle etter hvert bli kjent som Australias Pearl Harbor-øyeblikk.

80 år senere vandrer turister rundt langs strendene her med ett øye på mobilene sine og det andre på landskapet rundt dem. Vender de mobilkameraet ut mot havet ser de krigsskipene ligge der. Vender de det opp, kommer bombeflyene nok en gang seilende inn.

– Vi har festet det til landskapet hvor det faktisk skjedde for 80 år siden, sier Håkon Gundersen, gründer og daglig leder i selskapet PictoryTale.

– Det er satt ut tidsvitner på stranden, ekte folk som beskriver hvordan de opplevde angrepet. Så ser du flyene komme inn og skipet som angripes og synker, sier Jørn Lein-Mathisen, med-grunnlegger av PictoryTale.

Denne typen opplevelse – hvor datagrafikk mikses med virkelighet – kalles AR (augmented reality, eller utvidet virkelighet) og vil nok være kjent for de fleste gjennom apper som «Pokémon Go» eller Snapchat.

Fremover vil dette kunne bli mer utbredt, ikke minst med introduksjonen av egne AR-briller som blander databildene inn med brukerens eget blikk. Dette kan gi helt nye muligheter for alt fra gaming og undervisning, til sosiale medier og arbeidshverdagen.

Veien dit er lang og mye må komme på plass før det er mulig i stor skala, men akkurat nå er Telenor i ferd med å rulle ut en av de viktigste faktorene:

Full 5G-dekning. Hvorfor er dette viktig? 

– Ambisjonen vår er å bli et slags Netflix for AR, sier Gundersen i PictoryTale.

Selskapet er en publiseringsplattform for kuraterte AR-opplevelser som har blitt utviklet i samarbeid med Telenor. Omvisningen i Darwin er det første store prosjektet som er gjort mulig av selskapets teknologi.

– Vi har laget et produksjonsverktøy som lar utvalgte samarbeidspartnere legge historiene sine ut i et fysisk terreng, som et museum, en park eller en skolegård, sier Gundersen.

– Her kan man både ha en ekspert filmet foran en grønnskjerm eller 3D-modeller av tanks og fly for å skape et narrativt omland rundt personen som går rundt der.

Et av de viktigste premissene for kvaliteten i slike opplevelser er muligheten til å strømme store mengder datagrafikk til mobiler og andre AR-enheter i sanntid, uten forsinkelser – noe som vil kreve 5G.

Spesielt om man skal oppleve AR gjennom en brille (litt som VR-briller man kan se gjennom) blir det viktig med kjapt nett over alt, og da er 5G-dekning essensielt om man ikke skal begrense opplevelsene til stua.

– Dette skiller seg fra å strømme video, hvor du har en buffermulighet om noe ikke fungerer, sier Eric Blomquist i svenske Ericsson.

Han er selskapets leder for strategiutvikling og strategigjennomføring, og ansvarlig for satsingen på utvidet virkelighet.

– Skillet mellom når en bruker beveger seg og noe beveger seg på skjermen må være 20 millisekunder eller mindre, ellers blir man uvel.

Ikke minst vil det i mange profesjonelle bruksområder, for eksempel innenfor industri eller helsevesen, være helt avgjørende at det ikke er noe forsinkelse mellom virkeligheten og datalaget som legges på toppen.

I likhet med Telenor jobber også Ericsson nå med å klargjøre infrastrukturen som vil behøves om utvidet virkelighet skal bli allemannseie.

– Vi kommer til å se det fysiske og digitale gå mer i ett, sier Blomquist og sammenligner utviklingen med da Apple endret brukergrensesnittet i smarttelefonene fra plastknapper til fingre på glassplater.

– I stedet for knapper som var de samme – uansett hvilken oppgave man ønsket å utføre, kunne man endre grensesnittet basert på hva man ville gjøre. Med AR blir den fysiske konteksten grensesnittet.

Et velbrukt eksempel på dette, er fabrikkarbeideren som jobber utifra en tegning som viser prosessen steg for steg. I dag bytter hun hele tiden mellom tegningen og selve fabrikeringsoppgaven, noe som ofte kan gå ut over oppmerksomheten.

– En av de vanligste årsakene til menneskelige feil er veksling mellom oppgaver, sier Blomquist.

Med AR-briller på, kan instruksjonene legge seg direkte oppå utstyret hun jobber med. Om datamaskinen da kan tolke det hun gjør vil den også kunne oppdatere instruksjonene etter hvert som hun går gjennom de ulike stegene i prosessen.

– Kan du jobbe fritt med hendene mens du har informasjonen satt i kontekst, utgjør det en stor forskjell. 

Selv er Blomquist nysgjerrig på hva som vil skje når influencere, streamere og andre deler av skaperøkonomien i sosiale medier tar utvidet virkelighet i bruk.

– Det å skape opplevelser for folk kan bli en veldig spennende uttrykksmåte. Eller å oppleve influencere som om de er i rommet med deg.

Helt slik er det ikke med dagens AR-teknologi. Når skapningene i «Pokémon Go» dukker opp på mobilskjermen ser de ut til å flyte litt over bakken i stedet for å stå støtt.

Det er fordi spillet i stor grad er basert på GPS-posisjonen til spilleren, og ikke har detaljert forståelse av omgivelsene det skal plassere datagrafikken i. Dette er en utfordring PictoryTale også møter med sin plattform.

– Om man bare bruker GPS kan nøyaktigheten variere fra én til tjue meter, sier Gundersen.

En løsning PictoryTale og lignende AR-tilbydere bruker i dag, er å plassere QR-koder ut i miljøet. Disse blir markører som kameraet kan lese, slik at det blir lettere å forankre datagrafikken der den faktisk skal stå, i stedet for at den flyter en halv meter over bakken. Ifølge Gundersen er dette bare første steg.

– Framover blir utfordringen å ta i bruk teknologiske løsninger som reduserer disse avvikene.

For mer levende og ubehandlede miljøer uten QR-koder blir det nødvendig for ulike sensorer og teknologier å snakke sammen slik at maskinen skal forstå miljøer og rom rundt seg.

Samtidig må dagens klumpete AR-briller krympes kraftig om folk flest skal gå med dem frivillig. De trenger rett og slett mindre innmat – og også her vil 5G-teknologien være avgjørende, takket være såkalt edge computing.

Litt som at vi i dag lagrer filer i skyen handler dette om å utføre krevende dataoperasjoner, bare at denne datakraften med 5G og edge computing kan ligge langt ute i mobilnettet, nær brukeren. Dermed kan innholdet strømmes kjapt og trådløst til for eksempel en mobil eller en AR-brille, med minst mulig forsinkelse.

– Det vil forlenge batteritiden og gjøre brillene mindre, lettere og billigere, samtidig som kvaliteten på opplevelsen blir den samme, sier Blomquist.

Enn så lenge utvikles AR-løsningene for «folk flest» altså for mobilskjermen. Men Blomquist tror ikke det drøyer lenge før det kommer andre dingser på markedet.

– Innen to år har nok de fleste store produsentene sluppet noe, og så tar det nok noen generasjoner før teknikken er moden og flere tar det i bruk. Innen 2025-2026 tror jeg vi ser folk gå med slike briller relativt regelmessig.

Han sier likevel at det ikke er noen automatikk i denne spådommen. Brillen må ha en god formfaktor, men den også bevise sin verdi utover å bare være en kul dings.

– Det er høna og egget. En bra brille uten gode bruksområder blir ikke kjøpt, og om ingen eier en brille kommer ikke utviklermiljøene til å bygge apper til den.

AR-APP: PictoryTale står blant annet bak AR-appen SnicSnac, som lar brukere lage sine egne videoer med AR-innhold.

I mellomtiden planlegger PictoryTale allerede nye opplevelse hvor 5G vil spille en avgjørende rolle – både for historiefortellingen selskapet driver med i dag, men også for spillopplevelsene de jobber med.

– AR-gaming med 5G blir det neste steget, sier Lein-Mathisen.

–  Da kan du ha flerspilleropplevelser uten forsinkelse i signalene.

Både Lein-Mathisen og Gundersen har tro på at opplevelser som «Pokémon Go» har gjort et større publikum klart for disse opplevelsene.

– Du får folk ut i terrenget i stedet for å sitte passivt bak en skjerm, sier Gundersen.

– Det blir en fundamentalt annen måte å oppleve omgivelsene sine.