“평면에 갇힌 소리를 해방하라!”
음향 데이터에 위치정보 덧씌우기…음반·영상·게임 등 활용분야 무궁무진
잠깐 이런 상상을 해보자.
“저는 지금 집에서 TV로 대중가수 이정현의 공연실황을 보고 있어요. 신이 나 노래하는 가수가 무대 위에서 이리저리 열광적으로 뛰어다니네요. 관객도 환호성을 질러대고요. TV는 지금 실시간 입체음향을 중계하는 중이죠. 마치 내가 공연장 객석의 앞자리에 앉아 있는 거 같아요. 가수가 왼쪽, 오른쪽, 앞과 뒤로 움직일 때마다 소리가 들리는 방향과 거리가 달라지네요. 뒤쪽에선 관객들 환호가 밀려와 방안 가득히 울려퍼지고요. 앗, 이정현이 무대에서 뛰어내려 객석을 한바퀴 돌아요. 그의 노래소리가 내 머리 주위를 한바퀴 휘돌아가는군요.”이번엔 가상현실의 상상에 빠져보자. “당신은 지금 가상현실 공간에 들어오셨습니다.
길거리를 자유롭게 걸어보세요. 걷다 보니 주변에 지나치는 사람들의 목소리가 들리죠. 왼쪽으로 몸을 틀어보세요. 뒷전으로 지나친 사람들의 목소리가 다른 방향에서 들려오겠죠. 고개를 들어보세요. 조금 전보다 새소리가 더 선명하게 들릴 겁니다.
당신 귀의 위치가 달라질 때마다 소리도 조금씩 달라지는 겁니다.
자, 이제 뛰어가며 듣는 소리, 높은 곳에 올라 듣는 소리, 숲속에서 듣는 소리, 공연장의 울림 소리 등등 신기하게도 때와 장소마다 다른 소리를 실감나게 경험해보세요.” 첨단기술의 연구개발엔 때때로 상상력이 필요하다.
입체음향 역시 이런 상상력의 결과물이다.
사람의 귀에 들리는 자연음 그대로 녹음해 재생하는 ‘실감음향’ 분야의 핵심, 입체음향이 주목받고 있다.
소리 데이터에 거리와 방향정보를 입힌다 입체음향이란 재생되는 음향에서 소리가 나는 방향과 거리, 그리고 공간감각을 느낄 수 있는 음향을 말한다.
실제 소리는 앞쪽 스피커에서 발생하지만 사람 귀엔 옆에서, 뒤에서, 저 멀리서, 바로 옆에서 들리는 것처럼 느끼게 할 수 있어야 한다는 얘기다.
그래서 음체음향 기술의 목표는 머리를 스치는 총알 소리, ‘앵앵’대며 내 주위를 빙글빙글 도는 모기 소리, 땅을 박차고 하늘로 날아가는 독수리 소리 등처럼 소리가 3차원 공간을 날아다니는 것처럼 느끼게 하는 것이다.
물론 예전에도 입체음향을 구현하려는 노력이 있었다.
듣는 사람의 전후좌우와 위아래 2개 이상의 스피커를 설치한 다음에 서로 다른 소리를 내어 사람의 귀에서 입체감을 느끼게 해주는 서라운드는 대표적 방식이다.
소리의 파동에 따라 정확히 계산된 자리들에 여러 대의 스피커를 설치한 영화관에서 현실 같은 실감음향을 느낄 수 있는 건 이 때문이다.
이는 주로 스피커에 따라 소리를 크고 작게 하면서 소리가 멀어지고 가까워지는 이동음 효과(이른바 ‘도플러 효과’)를 이용한 것이다.
하지만 최근 주목받는 디지털 입체음향 기술은 음향파일 자체를 입체화하는 방식이다.
이는 하드웨어 대신에 소프트웨어를 이용해 입체음향 파일을 생성하기 때문에 2개의 스피커만으로 또는 헤드폰만으로도 입체음을 재생할 수 있다는 장점이 있다.
입체음향 개발업체 ‘베스텍’ www.bestek.co.kr의 이명진(45) 사장은 “이로써 소리는 비로소 평면에서 뛰쳐나와 3차원 공간을 이리저리 돌아다니기 시작했다”고 말한다.
가짜머리의 귀로 기본파형 측정 입체음향은 음향 데이터에 거리와 방향 정보를 얹혀 만들어진다.
소리가 들릴 때 눈을 감고 있더라도 어느 방향에서 얼마나 떨어진 거리에서 들리는지 사람 귀로 느낄 수 있는 것은 이처럼 소리가 주는 거리와 방향 정보 때문이다.
한국전자통신연구원(ETRI) 연구원 출신인 이명진(45) 사장은 “음의 발생 위치를 뜻하는 ‘음원’은 3차원 공간에서 XYZ의 좌표값을 갖게 마련”이라며 “그 음원의 좌표값을 디지털 데이터로 만들 수 있어야 음의 입체화가 가능해진다”고 기본원리를 설명한다.
그런데 거리와 방향이 다른 소리는 모두 다른 파형을 나타내기 때문에 결국 좌표값이란 거리와 방향에 따른 파형의 차이를 뜻한다.
거리와 방향의 차이에 따른 파형, 즉 음원의 좌표값은 사람을 흉내낸 가짜머리(더미 헤드)의 귀를 이용해 만들어진다.
음의 반사를 최대로 없앤 무향실에서 가짜머리를 중앙에 두고 마이크로폰을 가짜머리의 귀 속에 집어넣어 거리와 방향을 달리하는 소리를 정밀하게 녹음한 뒤 수백~수천가지의 파형으로 걸러낸 뒤 이를 데이터베이스로 차곡차곡 담는다.
그 다음엔, 입체감을 주려는 음향에 적당하게 고른 파형 데이터를 얹히면 입체음향이 완성된다.
예컨대 대중가수가 무대 왼쪽에서 오른쪽으로 움직이며 노래하는 음악파일에 입체감을 주려면 왼쪽에서 들릴 때의 음향 파형에서 오른쪽 음향 파형까지 이어지는 파형의 변화를 동작의 시작과 끝 시간에 맞춰주면 되는 것이다.
완성된 입체음향 파일을 눈 감고 들으면 대중가수의 움직임이 느껴진다.
올해 세계 최초 입체음향 음반 선보일 예정 소프트웨어로 입체음향을 재생하는 기술은 국내에서 최근 본격적 상용화 단계를 맞이하고 있다.
ETRI의 기초기술 연구성과를 바탕으로 ETRI 연구원 출신들이 벤처기업을 잇따라 창업하고 있다.
대전 대덕연구단지에 자리잡은 ‘베스텍’과 ‘이머시스’ www.emersys.co.kr는 대표적인 입체음향 기술개발업체다.
베스텍은 현재 음향에 입체감을 자유자재로 덧붙이고 수정하는 입체음향 편집기 ‘3rd 웨이브’를 개발해 입체음향 제작 서비스를 벌이고 있다.
이명진 사장은 “입체음향은 음반·게임·TV 등 엔터테인먼트와 영상 분야에서 주로 활용될 전망”이라며 “국내 인기 대중가수의 음반을 입체음향으로 제작하기로 해 올해 안에 세계 최초의 입체음향 음반이 나올 예정”이라고 말했다.
영상물의 디지털화가 발달할수록, 소리의 거리·방향 정보 처리를 손쉬워지는 만큼 입체음향은 갈수록 자리를 넓혀갈 것이라는 게 이 사장의 전망이다.
이머시스 역시 입체음향 콘텐츠 제작 시스템의 개발을 마치고, 게임 등 분야에서 입체음향의 진입을 시도하고 있다.
이머시스 김풍민(41) 사장은 “입체음향이 좀더 발전하면 굳이 공연장의 특별석을 사지 않고도 공연현장에서 듣는 똑같은 입체음향의 감동을 느낄 수 있게 될 것”이라며 “고소공포증 환자를 치료하는 가상현실 의료시스템이나, 현장감 있는 운동경기 중계방송 등 응용분야는 무궁무진할 것”이라고 내다봤다.
이머시스는 특히 전후좌우와 위아래에서 적이 출몰하는 컴퓨터 게임에서 박진감을 더해주는 요소로 입체음향을 활용하는 사업을 추진중이다.
입체음향 실시간 재생이 성장 관건 미래 활용 분야는 무궁무진하지만 당장 기술이 갈 길은 아직 멀다.
입체음향은 왼쪽 귀에 들려야 할 음과 오른쪽 귀에 들려야 할 음을 미리 계산해 재생하고 사람의 두 귀는 이를 각각 듣고 입체감을 느낀다.
그래서 2개의 스피커 앞에서 소리를 들을 경우, 두가지 음이 뒤섞여 애초 계산된 입체감을 깨뜨릴 수 있다는 약점을 지니고 있다.
일종의 소리 간섭(cross-talk) 현상이다.
이머시스 김현석(31) 연구소장은 “이 때문에 스피커로 입체음향을 재생할 경우 사람은 2개의 스피커와 정삼각형을 이루는 꼭지점의 위치에서 청취해야만 제대로 음향효과를 느낄 수 있게 된다”고 말한다.
김 소장은 현재 이런 간섭현상을 제거하는 기술을 개발해 특허출원중이다.
헤드폰을 이용하면 소리 간섭현상을 차단할 수 있다.
오른쪽 귀와 왼쪽 귀가 들어야 할 소리가 제대로 나뉘어 들리기 때문이다.
하지만 헤드폰의 입체음향은 소리가 머리 주변에서 맴도는 느낌을 완전히 지워버릴 수 없다는 또다른 문제점을 지니고 있다.
더 큰 문제는 듣는 사람이 움직일 때이다.
움직이는 사람에게 입체음향을 느끼게 하려면 사람의 움직이는 위치좌표에 맞춰 새로운 방향과 거리의 음향이 재생돼야 한다.
사람이 움직이는 데 소리는 애초 입력된 대로라면 입체음향은 멍청한 소리로 들릴 게 뻔하다.
ETRI 가상현실연구개발센터 김현빈 팀장은 “이런 이유 때문에 영상 안에서 움직이는 음원(음의 발생 위치)을 추적하는 것은 물론 듣는 사람의 위치를 추적하면서 현실에서 느끼는 것과 같은 실제의 입체감을 느끼도록 하는 기술이한창 개발되고 있다”고 말한다.
현실의 소리를 똑같이 베끼는 실감음향 기술은 향후 가상현실 등 멀티미디어 환경이 더욱 일상화하면서 우리의 생활을 바뀌어놓을 변화의 요소가 될 것이 분명하다.

“현실 같은 실감음향도 가능할 것 ” ETRI 가상현실연구개발센터 김현빈 팀장 국내에서 입체음향 기초기술을 개발해 기업에 기술이전을 해온 한국전자통신연구원(ETRI) 가상현실연구개발센터의 김현빈(41) 팀장은 “아직 완벽한 수준은 아니지만 디지털이 실감음향을 재현하는 것은 불가능한 일이 아니다”라고 강조한다. 기술은 결국 인간 오감을 충족하기 위한 것이다. 실감음향에서 입체음향은 어느 정도나 중요한 기술인가. 실감음향이란 기술 측면으로 말하자면 ‘영상에 등장하는 객체의 움직임, 그리고 영상을 보는 사람의 머리 움직임을 실시간으로 추적해 서로 상황을 일치시키는, 즉 동기화하는 입체음향’을 말한다. 실감음향은 현재 입체음향이 더욱 복잡하고 발전된 형태라 말할 수 있다. 일반 컴퓨터에선 단순 입체음향으로도 충분하겠지만, 영상장치와 결합한 고급오디오 등이 등장하면 실감음향을 구현하려는 제품 개발 경쟁이 활발하게 이뤄질 것이다. 이때에도 입체음향은 실감음향의 핵심요소로 중요한 구실을 할 것이다. 현실의 소리와 디지털이 재현하는 소리엔 근본적 차이가 있는가. 디지털 음향 기술의 목표는 디지털 신호를 이용해 실제 생활에서 듣는 소리와 같은 소리의 효과를 얻는 것이다. 아직 완벽한 생활 현장의 소리를 구현했다고는 말할 수 없다. 하지만 지금의 기술 성과와 개발속도 등을 보면 이를 실현하는 기술은 머잖아 이뤄질 수 있을 거라고 생각한다. 디지털 음향 기술과 관련해 ETRI에서 지금 진행하는 연구작업은. 우리팀에선 현재 ‘음향 콘텐트 제작 시스템’을 개발하고 있다. 음향 데이터를 편집·재생하거나 압축·복원하고, 입체음향·특수음향으로 가공하는 등 기능을 담아, 멀티미디어시대에 음향 콘텐츠를 좀더 쉽게 만들 수 있게 하자는 것이다. 다른 한편으로는 세계 최고 수준의 ‘디지털 음향 워터마킹’ 기술을 개발해 기업에 기술이전하는 것을 연구목표로 삼고 있다. 이는 음악 파일의 저작권을 보호하기 위해 음향 파일 안에 저작권 정보를 사람이 듣지 못하도록 집어넣는, 새로운 분야의 기술이다. 입체음향 외에 디지털 음향 분야에서 주목받는 다른 기술은 무엇인가. 입체음향은 요즘 가장 주목받는 신기술이다. 다른 분야의 기술로는 음성신호를 압축·복원하는 기술이다. 요즘 많이 쓰이는 MP3 파일이 이와 관련된 것이다. 앞으로는 AAC 파일이 MP3 파일을 대체할 가능성이 높다. 또 ‘디지털 오디오 워터마킹’ 기술도 주목받을 것이다.