Folk som ikke kan høre kan ha vanskelig for å forstå skriftelig tekst. De kan ikke basere betydningen av ordene på dagligtale, og faller lett av under lesing av vanskelige og tunge tekster. 

Forskere fra Saarland University i Tyskland er blant dem som ønsker å gjøre døves hverdag enklere og meningsfull. Der det ikke finnes tolk, vil de for fremtiden innføre animerte figurer, ifølge en pressemelding. På jernbanestasjonen så vel som på internett vil de integrere en menneskelignende figur som oversetter skrift til tegnspråk.

Slik skal internett – ifølge dem selv – bli lettere tilgjengelig for dem som ikke kan høre.

Forskerne bruker enkle kameraer og sensorer til å fange opp døve menneskers bevegelser. Gjennom databehandling overføres bevegelsene til en menneskelignende datafigur. På lang sikt ønsker forskerne å lage en samling av korte tegnspråksekvenser, som døve kan bruke til å samhandle på nettet.

Døve har to språk

I Norge opprettet vi fra 1825 døveskoler. En konsekvens var at språket ble delt opp i ulike dialekter. Siden tegnspråk er et muntlig språk, kan man anta at det finnes mye slang-uttrykk. Tegnspråk kan også avhenge av kjønn, alder, utdanning og sosial status.

Døve er ofte tospråklige, og andrespråket er det talte og skriftlige språk. Når tegnspråk er førstespråk, kan det være vanskelig å forstå skriftlig og lydlig informasjon på internett eller fra høytalerne på jernbanestasjonen.

Først i 1997 fikk vi inn i opplæringsloven at døve og sterkt tunghørte elever skulle ha rett til å få opplæring i tegnspråk. Derfor er det mange som ikke er fullt ut tospråklige som sliter med lesing og skriving av sitt andrespråk.

Språkkultur på alvor

Når en hørselshemmet med norsk tegnspråk skal si at han eller hun er sulten, bruker vedkommende flere tegn samtidig. Det man i talen uttrykker rett frem i en setning, uttrykkes med ulike bevegelser i hvilken som helst rekkefølge. Grammatikken i tegnspråk fordrer at uttrykkene spiller på lag. Et eksempel på spørsmålet er du sulten?:

Ordet sulten beskrives med en flat høyrehåndsbevegelse på magen, og du beskrives ved å peke på mottakeren med venstre hånd. Dette kombineres med hevede øyenbryn, blikkontakt, og eventuelt med noe fremoverlent overkropp for å vise at det er et spørsmål.

Det eksisterer allerede videoløsninger med animerte mennesker som bruker tegnspråk, som tolker og oversetter skriftspråk på nett. Men dagens løsninger har teknologiske begrensninger. Folk som ikke kan høre, ser fort at mye av informasjonen blir utforståelig.

Alexis Heloir, leder i forskningsgruppen som jobber med animasjonsløsningen i Tyskland og forsker i kunstig intelligens, sier i en pressemelding at det er krevende å få det animerte mennesket til å vise virkelighetstro følelsesuttrykk.

Norsk hovedoppgave førte til en løsning

Johan Hjulstad ved Institutt for språk og litteratur ved Norges teknisk-naturvitenskaplige universitet (NTNU), har forsket på hvordan videoløsninger kan gjøre informasjonen enklere tilgjengelig for døve. Som en konsekvens av hans hovedoppgave utviklet Statens Pensjonsfond en slik løsning. 

I hovedoppgaven sin kriver Hjulstad at utviklingen innen film- og videoteknologi har ført til at tegnspråk i dag i økende grad brukes til å formidle informasjon til tegnspråkbrukere. Og løsninger som videoopptak har åpnet for mer kunnskap om tegnspråk. Han ville gjennom avhandlingen få frem viktigheten av å skjønne hvorfor vi må ha tegnspråk på nett.

Han påpeker at det er den totale språksituasjonen som gjør at døve kan ha vanskeligheter med å lese sammensatt offentlig informasjon.

Hjulstad skriver at man bør moderere optimismen rundt utviklingen av språkteknologiske løsninger for døve. Han mener at det ofte er vanskelig å finne de virkelig gode løsningene. Han drar frem et eksempel.

- Enormt mye penger er for eksempel blitt brukt på å forsøke å lage tekst til tale, og tale til tekst løsninger, som for eksempel teksting på TV, uten at man nødvendigvis er 100 prosent fornøyd med dem ennå, skriver Hjulstad.

- Og så bør man heller ikke glemme hvor mye innsats som ligger bak å utvikle de teknologiene som benyttes rundt omkring i dag, skriver han videre.

Avansert tegnspråksteknologi

Animasjonsfigurene i det tyske prosjektet blir utformet i samarbeid med Peter Schaar, som er foreleser i tysk tegnspråk ved Saarland University og selv døv.

- Vår metode bør være enkel og rimelig, og enhver i døvesamfunnet bør kunne ta den i bruk, sier medforsker Fabrizio Nunnari.

Det finnes programmer som hjelper døve med skrifttolkning på nett i dag, men de har sine begrensninger. Vcom3D har utviklet ASL Animations, som skal være det eneste ferdige animerte tegnspråkverktøyet i dag, som er lett å bruke og som lærere allerede bruker. 3D-karakterer bruker håndbevegelser, har ansiktsuttrykk og mimer. 

Her brukes amerikansk tegnspråk, hvor studentene lærer ordenes betydning og ser på koblinger mellom engelsk tekst og amerikansk tegnspråk. I en samling av fem volumer inneholder programmet mer enn 1100 tegn som representerer mer enn 1800 ord. 

Video Relay Services gir døve og hørselshemmede muligheten til å kommunisere effektivt og naturlig med hørende brukere via det amerikanske tegnspråk, følge Wikipedia. Ved hjelp av chatprogrammer og internett vil en profesjonell videotolker kunne oversette tegnspråk til muntlig språk. Så kan vedkommende uten hørsel kontakte hørende personer på telefon gjennom tolketjenester. NAV tilbyr allerede bildetolktjenesten.

Teknolgi avanseres, og roboter blir stadig likere mennesket. Vi omtalte tidligere denne måneden at en prototyp fra firmaet Toshiba som kan kommunisere med tegnspråk. Med kvantedatamaskiner kan robotens reaksjonsfart forbedres, og så snakke tegnspråk.