3D-lyd for naturtro digitale opplevelser

I virtual reality og augmented reality gjør moderne datagrafikk at vi kan vi få temmelig livaktige visuelle intrykk. Men det er fortsatt en viktig ting som hindrer disse opplevelsene fra å bli ordentlig naturtro: Lyden. Menneskelig hørsel er fantastisk kompleks, og ikke så lett å lure. Det har heldigvis i flere tiår blitt forsket på såkalte 3D-lyd-teknikker som gjør at vi kan bearbeide lyder for å få mer naturtro gjengivelse. For å forstå hvordan disse kan hjelpe, må vi først forstå vår egen hørsel.

Les mer om akustikkforskningen ved SINTEF.

Hvor kommer lyden fra?

Lukk øynene dine og hør på lydene som er rundt deg. Kan du høre hvor de kommer fra? Ikke bare retningen, men også hvor langt unna lydkilden er? Hørselen vår er et fantastisk instrument som kan høre både sterke og svake lyder, og hvor lydkilden befinner seg. Vi kan faktisk oppfatte retningen til en lydkilde med en nøyaktighet ned mot én grad. Vi har denne evnen i stor grad fordi vi ikke bare har ett øre – men to! Dette gjør at vi ganske så godt klarer å skille lyder vi er interessert i, for eksempel tale og musikk, fra annen lyd som kommer fra andre retninger.

Hørselen kan grovt sett deles i to deler: Monaural og binaural hørsel. Monaural hørsel representerer det hvert øre oppfatter hver for seg – for eksempel styrken og klangen til lyden. Binaural hørsel representerer de prosessene som foregår i hørselssystemet i hjernen som bruker lyden fra begge ørene. Det foregår også mye informasjonsutveksling i nervesystemet mellom ørene.

Lokalisering av lyd

Vi har tre hovedmekanismer for å finne retningen til en lydkilde. Den første er tidsforskjell: Hvis en lydbølge kommer fra din venstre side, vil den treffe venstreøret ditt før den treffer høyreøret, og hørselen registrerer denne tidsforskjellen mellom øresignalene. Den andre er forskjell i lydnivået: For den samme lydbølgen fra venstre, vil hodet skygge for lyden slik at høyreøret hører en svakere lyd enn venstreøret. Disse to mekanismene, som selvfølgelig er avhengig av at vi har to velfungerende ører, brukes for å finne ut hvilken retning lydkilden befinner seg i. I tillegg gjør formen på overkroppen, hodet og ørene at lyder som befinner seg høyt og lavt, foran og bak har subtile nyanseforskjeller i lydbildet (frekvensspekteret). Disse nyansene har hørselen trent seg opp til å huske, slik at vi kan skille mellom lydkilder som ligger foran og bak hodet. Vi kan også lettere skille mellom lydkilder foran og bak ved å bevege litt på hodet. Dette er noe som i stor grad skjer ubevisst hvor vi sammenligner nyanser i lydbildet fra forskjellige retninger og gjør oss opp en mening om hvor lyden kommer fra.

For å finne avstanden til lydkilden, brukes hovedsakelig den monaurale hørselen. Reflekterte lydbølger fra omgivelsene, i tillegg til forhåndskunnskap om lydnivået til kilden på forskjellige avstander, spiller en viktig rolle når vi bedømmer avstand. Det viser seg allikevel at vi vanligvis overestimerer avstanden til nære kilder og underestimerer avstanden til fjerne kilder når vi ikke har hjelp av synet.

Hvordan bruker vi dette?

I tillegg til å finne retningen til lydkilden, så gjør den binaurale hørselen det lettere å skille mellom ulike lyder rundt oss. Hørselen kan undertrykke støy sånn at vi kan oppfatte tale bedre, noe vi har stor nytte av i støyende sosiale situasjoner, for eksempel på kafé. Prøv å stikke en finger i det ene øret slik at du blokkerer øregangen neste gang du er i en slik situasjon. Du vil oppleve at det blir vanskeligere å skille ønsket tale fra bakgrunnsstøy. Hørselen kan altså «velge» ut én stemme når det er flere som prater og dermed undertrykke de andre for å forstå hva som blir sagt.

Kunnskapen om binaural hørsel brukes i dag til å bearbeide lyd som spilles av over hodetelefoner eller høyttalere slik at det oppfattes til å ha en posisjon i rommet rundt oss. Etter denne bearbeidingen får vi blant annet den samme tidsforskjellen og skyggeeffektene mellom ørene som vi ville fått i virkeligheten.

Dermed kan man spille av lyd via et par hodetelefoner slik at lydkildene kan oppleves å være foran, bak eller på siden av lytteren. Dette kalles ofte auralisering, eller mer populært, 3D-lyd.

Det er allikevel en utfordring at alle har litt forskjellig hodeform, slik at 3D-lyden ofte må tilpasses lytteren. I tillegg bør et godt 3D-lyd-system ta hensyn til at lytteren beveger på seg, og kompensere ved å dreie lydbildet. Hvis lyden for eksempel høres ut som den kommer forfra og du snur hodet til venstre, må lyden dreies til høyre i hodetelefonene dine slik at det høres ut som lyden kommer fra samme retning som før.

Eksempler på 3D-lyd

Under har vi laget et par eksempler på 3D-lyd. Det første eksempelet er et lydklipp av en munnharpe. I første halvdel av klippet kan man høre opptaket i mono, som er gjort med én mikrofon. I andre halvdel er opptaket modifisert med binaurale filtre slik at man opplever at munnharpen beveger seg rundt hodet. NB! Bruk hodetelefoner eller øreplugger for å få riktig opplevelse.

Klarer du å høre om munnharpen beveger seg med eller mot klokka? Fasit finner du på bunnen av siden.

I neste eksempel hører vi tre stemmer samtidig, først lagt oppå hverandre i mono. Det er nesten umulig å høre hva noen sier. Deretter modifiserer vi hver stemme med et binauralt filter slik at de oppleves å befinne seg på tre steder: Bak mot venstre, foran, og bak mot høyre. Nå er det mye lettere å fokusere på én av stemmene og forstå hva som blir sagt.

For å gjøre binaurale opptak, bruker man gjerne kunsthodedukker som det på bildet under. Disse dukkene har nesten-menneskelig hode- og øreform, og har mikrofoner plassert i øregangen. Hvis man hører på lyden fra disse mikrofonene vil man få samme hørsel som dukken, og høre både retning og avstand til lyder rundt den. Om dine proporsjoner (særlig størrelsen på hodet) samsvarer godt med dukken sine, blir opplevelsen ekstra realistisk. Slike dukker blir blant annet brukt til å gjøre realistiske konsertopptak og til å forske på binaural hørsel.

Om oss

Akustikkgruppene på SINTEF og NTNU har jobbet med 3D-lyd i mange år. NTNU har forsket mye på romlig lydgjengivelse med høyttalere (Ambisonics), mikrofonteknologi for å ta opp 3D-lyd, og auralisering. SINTEF har jobbet med prosjekter hvor vi studerer hvordan 3D-lyd kan brukes til nye anvendelser, for eksempel til kommunikasjon i grupper av mennesker, til underholdning og utdanning, eller som hjelpemiddel for svaksynte og hørselshemmede

Dette blogginnlegget er hentet fra bloggen til Acoustics Research Centre.

Les også deres sak How do you imitate the sound of traffic? for å se og høre hvordan 3D-lyd kan brukes i auralisering av trafikkstøy.

(Fasit: Munnharpen skal bevege seg med klokka (mot høyre). Om den beveger seg andre veien, har du antakelig byttet om venstre/høyre side på hodetelefonene eller ørepluggene dine.)