Du lukker øynene og setter på deg et briller som er koblet til hodetelefoner. De skal tolke omgivelsene for deg. Når du beveger hodet fra side til side, fanger ørene opp, via hodetelefonene, lyder med forskjellig frekvens. De ulike lydene tilsvarer forskjellige farger. 

Dette er Colorophone, et bærbart sensorsystem som kan hjelpe blinde med å orientere seg i hverdagen.

Systemet består av et par briller med innebygd kamera, en avstandssensor, hodetelefoner og en prosesseringsenhet.

Dominik Osinski, som til daglig jobber som universitetslektor ved Institutt for elektrofag og fornybar energi på NTNU, har sammen med fire studenter utviklet Colorphone.

– Ideen kom til meg på bussen. Jeg satt og så ut av vinduet og tenkte på alle de flotte fargene som fòr forbi. Så tenkte jeg på at blinde ikke kan se dette, og da begynte det nærmest å koke i hodet mitt. To døgn senere hadde jeg prototypen klar, forteller Dominik Osinski.

Skal bli mobilapp

Prototypen så riktignok verken særlig kul eller brukervennlig ut.

Osinski lanserte derfor ideen om produktutvikling for sine bachelorstudenter, og ett av student-teamene tente på oppgaven.

Førsteutgaven av Colorophone er laget på bakgrunn av billig forbrukerelektronikk. Men planen er at alt skal kunne styres fra en enkel applikasjon på mobilen.

Neste trinn blir derfor å utvikle ny design av brillene med integrert blunkekontroll, samt en mobilapp.

– Vi ønsker å utvikle et system som ikke bare er brukervennlig og forbedrer livskvalitet, men som sømløst integreres i brukerens hverdag. Det kan sammenliknes med lesebrillene som henger rundt halsen etter at man har lest, sier Osinski.

Samarbeider med Blindeforbundet

Foreløpig har de i samarbeid med Norges Blindeforbund videreutviklet teknologien og laget et nytt design på utstyret til Colorphone.

– Studentenes oppgave har vært å designe og bygge hardware-delen av systemet, og de har programmert prosesseringsenheten myRIO, som forvandler lys og farge til lydbølger, forteller han.

Prosjektet er nå blant seks finalister i en nordeuropeisk designkonkurranse. 

Studentene har kvalifisert seg til finalen i skarp konkurranse med studentprosjekter fra 30 andre europeiske land. Vinneren kåres på et arrangement i London den 29. november.

• Les også: Hvorfor blir katter blinde av vegetarmat?

Over 100 år uten god løsning

Å omsette farger til lyd har mange forskere brynt seg på.

Sir Isaac Newton var blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Den historiske vitenskapsmannen definerte syv primærfarger: rød, gul, grønn, blå, indigo, oransje og fiolett.

De syv fargene koblet han sammen med syv noter. Problemet med denne metoden var bare at den kun fungerte for folk med absolutt gehør, og at den verken kunne kode eller gjengi nyansefarger.

– Det første elektroniske hjelpemiddelet for blinde kom rundt 1898. Mer enn 100 år senere, finnes det i dag ikke et eneste anerkjent e-hjelpemiddel for blinde. Det er stor kontrast mellom utvikling av forbrukerelektronikk for folk flest, og elektroniske hjelpemidler for de med særskilte behov, understreker Osinski.

Av eksisterende løsninger, er øyeimplantater hvor en matrise av elektroder kobles direkte til synsnerven.

En slik protese er imidlertid svært dyr og krever kirurgiske inngrep.

Og med tanke på at 90 prosent av verdens blinde bor i fattige land, får i realiteten svært få tilgang på et slikt hjelpemiddel.

Billig alternativ 

Systemer for sensorisk substitusjon, som Colorphone, kan være et billig alternativ.

Sensorisk substitusjon betyr å sende informasjon til hjernen gjennom en alternativ sensorisk kanal. I dette tilfellet via ørene i stedet for øynene.

– Nye forskningsresultater innen nevrovitenskap viser at hjernen er oppgaveorientert, heller enn en sensorisk maskin. Hjernen er mer fleksibel enn tidligere antatt. Den er på sett og vis vår «plug & play-enhet», som kan tilpasses til å utføre informasjonsanalyse fra ulike sanser. Vi kan aktivere synssentret i hjernen, visual cortex, ved å sende visuell informasjon omkodet som lyd, forklarer Osinski.

Den største utfordringen med systemer for sensorisk substitusjon som skal omkode bilder til lyd, er forskjellen på informasjonsmengde som blir overført gjennom syn og hørsel.

– Hjernen får rundt hundre ganger mer informasjon gjennom øynene enn gjennom ørene. Derfor må vi kode det viktigste, nemlig fargene, sier Osinski.

• Les også: Lager kart for fargeblinde

Lyd blir til farger

Fargene vi ser rundt oss tar alle utgangspunkt i de tre primærfargene grønt, rødt og blått. Også kalt RGB.

I apparatet, Colorphone, er blått en lav tone, grønt mellomtone og rødt en høy tone. I tillegg brukes hvit farge for lavmælt støy.

Briller er koblet til hodetelefonene, der et kamera tar bilde og kommuniserer de digitale RGB-verdiene videre. Fargeverdiene blir brukt til å lage en lydbølgeform.

Når man beveger hodet fra side til side, fanger i tillegg hodetelefonene opp lyder med forskjellig frekvens. De ulike lydene tilsvarer forskjellige farger.

Ganske raskt dannes et omtrentlig indre bilde av omgivelsene.

– Vår fargeoppfattelse kommer fra sammenligning av responsene til forskjellige fargefølsomme celler kalt kjegler. Vi er utstyrt med tre forskjellige kjegletyper som har høy sensitivitet knyttet til lysbølgelengdene rød, grønn og blå, sier Osinski.

Kodingsmetoden er utviklet basert på en psykologisk analyse av intuitive assosiasjoner mellom farge og lyd.

– Dette er en ny måte å oppleve farger på. Med dette systemet er vi i stand til å lytte til et stort spekter av farger, uten at brukeren trenger å lære et stort spekter av frekvenser, sier Osinski.

Nyvinningen har dessuten fått innlagt tikkelyd som gjør det mulig å bedømme avstander, ikke ulikt parkeringssystemet til en bil.

Under testingen av metoden og utstyret greide 98 prosent av testpersonene å identifisere 14 farger etter 5 minutter av opplæringstid.

• Les også: To kvinner ble blinde av telefonen

Overkommelig i fattige land

Verdens helseorganisasjon hadde i 2014 et estimat på 285 millioner synshemmede mennesker i verden. Av disse er nærmere 40 millioner blinde, og mange av dem lever i fattige land.

– Vi håper at Colorophone-prosjektet vil bidra i utviklingen av en rimelig teknologi, som vil være tilgjengelig og overkommelig for mange, også for mennesker i fattige land, sier Sindre Bjørvik, en av studentene i Colorophone-teamet.

Oppfinneren håper på å skape et tverrfaglig prosjekt ved NTNU tilknyttet den nye teknologien, både med tanke på design, brukervennlighet og forskning. Dette for å forstå mer av hva som skjer inne i hodet ved omdanning av farger til lyd.

Han har allerede etablert samarbeid med psykologiforskere fra Storbritannia og Polen som har bygd opp et laboratorium for å forske på Colorophone.

– Forskningsmessig blir det veldig interessant å se om man kan forbedre kognisjon ved langtidsbruk av systemet, avslutter han.

• Les også: Hvordan dempe lyd vi ikke hører?