영화 속 그 장면 찾았다! 동영상 내용 기반한 검색 표준 MPEG7 확정… 전자 도서관 등 활용범위 넓어 요즘 인터넷에는 동영상과 음악을 포함한 다양한 멀티미디어 자료를 제공하는 사이트들이 많이 있다.
많은 영화 관련 사이트들이 곧 개봉될 신작 영화나 비디오를 트레일러 형태로 제공하고, 방송국 사이트에서는 뉴스나 드라마, 오락 프로그램들을 스트리밍이나 VOD(Video on Demand:주문형 비디오) 형태로 제공한다.
스포츠 관련 사이트에서는 인기 스포츠 경기의 하이라이트를 동영상 형태로 제공하기도 한다.
최근에는 프로 게이머들이 펼치는 한판 승부를 VOD 형태로 관람하는 게임 마니아들도 늘어나고 있다.
음반 판매 사이트에서는 새로 나온 음반에 수록된 곡들 일부를 소비자들에게 무료로 들려주고 음반 구매를 유도하기도 한다.
이렇게 인터넷을 통해 제공되는 영화를 보면서, 혹은 음악을 듣다 보면 갑자기 '이 장면은 어디선가 본 것 같은데…' 또는 '이 부분은 어느 노래와 상당히 비슷한데…' 같은 생각이 들 수도 있다.
이런 생각이 한번 들면 반드시 그것을 확인해보고 싶은 욕구가 생기기 마련이다.
이런 경우말고도 원하는 동영상이나 노래와 같은 시청각 자료를 검색하고자 하는 경우는 많다.
2001년 12월17일의 뉴스, 그날 있었던 농구 경기 내용, 내가 좋아하는 어떤 가수의 노래나 좋아하는 배우가 출연한 올해의 영화 등 ‘자료 외적인 정보’를 이용한 검색은 그동안에도 보편적으로 이용됐다.
그러나 축구 경기의 골인 장면, 영화 <스피드>에서 키아누 리브스가 지하철 안에서 벌이는 긴박감 넘치는 싸움 장면과 비슷한 액션 장면, 또는 영화 음악 <시네마 천국>과 비슷한 곡 등 ‘자료의 내용’에 기반한 검색을 원하는 경우도 있다.
시청각 자료를 제공하는 정보 제공자가 자료의 ‘외적 정보’가 아니라 ‘내용’에 기반한 검색 기능이 가능하기 위해서는 몇가지 작업이 필요하다.
해당 시청각 자료의 내용과 관련 정보를 추출해 이를 별도로 기술한 후, 그 정보를 바탕으로 하는 검색 방법을 제공해야 하기 때문이다.
따라서 이를 위해서는 기존 검색과는 달리 네가지 문제를 먼저 해결해야 한다.
멀티미디어 자료로부터 어떤 종류의 정보를 추출해야 하고, 이 정보를 어떻게 추출할 것이며, 추출한 정보를 어떻게 기술하고, 기술된 정보를 어떻게 검색할 것인가 하는 것이다.
동영상을 문장으로 표현해 기술 MPEG1, MPEG2, MPEG4 등 동영상과 멀티미디어 관련 부호화 표준안들을 내놓았던 국제표준화기구(ISO)의 동화상 전문가 그룹 MPEG(Moving Picture Experts Group)에서는 1996년 말부터 시청각 자료를 포함하는 멀티미디어 자료의 내용 기술과 검색에 관한 표준안을 준비하기 시작했다.
2001년 하반기에 그 최종 표준안을 확정했는데 이를 MPEG7이라고 한다.
MPEG7은 유용하다고 생각되는 멀티미디어 자료의 모든 외적 정보와 내용 정보들을 모두 기술할 수 있도록 해, 멀티미디어 자료의 검색이 가능하도록 한다.
특히 MPEG7은 검색기능 제공에 필요한 세가지 요소인 ‘특징 추출’, ‘내용 기술 양식’, ‘검색방법’ 가운데 내용 기술양식에 관한 표준만 제공하고 나머지 부분들은 경쟁을 통해 기술적 향상을 이루도록 하고 있다.
멀티미디어 자료의 내용을 기술하는 방법에는 ‘낮은 추상단계 기술방법’과 ‘높은 추상단계 기술방법’이 있다.
낮은 추상단계 기술방법은 영상자료의 형태, 크기, 색상, 질감 등의 특징과 동영상 자료의 위치 이동 또는 움직임 특징, 오디오 자료의 음조, 음색, 분위기, 템포, 템포의 변화 특징 등 컴퓨터가 자동으로 추출할 수 있는 멀티미디어 자료의 특징을 통해 기술하는 방법이다.
주로 수치로 표현되는 특징들을 이용해 멀티미디어 자료의 내용을 기술하는 방법이라고 할 수 있다.
반면 높은 추상단계 기술방법은 ‘차 지나가는 소리가 들리는 가운데 나무 한그루가 서 있고, 그 왼쪽 옆에 앉아 있는 갈색 개가 짖어대고 나무 오른쪽에 키 180cm 정도의 까만 체크무늬 옷을 입은 사람이 왼쪽으로 지나가는 것을 카메라가 사람을 따라가며 촬영하고 있음’처럼 문장으로 표현하는 방법이다.
사람의 해석이 필요한 의미론적 정보를 이용해 자료의 내용을 기술하는 방법이라고 할 수 있다.
이밖에 멀티미디어 자료의 부호화 방법, 저작권, 저작시기, 저작자 등과 같은 정보들은 해당 자료의 실제 내용과는 별 관계가 없다.
그러나 그 자료를 검색하고 사용하는 데는 밀접한 관계가 있으므로 해당 자료의 내용 기술 범주에 포함하고 있다.
멀티미디어 자료의 내용을 기술하는 것은 해당 자료의 여러가지 특징들을 그들 사이의 관련성을 근거로 정리해 기술함으로써 가능하다.
이를 위해서는 멀티미디어 자료의 내용 기술에는 각 특징을 기술하는 ‘기술자’와 그 기술 사이의 관련성을 나타내는 ‘기술 형태’, 그리고 각각의 기술 형태를 명시하는 데 쓰이는 ‘기술 정의 언어’(description definition language:DDL)가 필요하다.
MPEG7은 이들 세요소에 대한 표준을 제공하는 것도 목표로 한다.
표준화된 DDL로, 표준 기술 형태에 맞게, 표준 기술자들을 이용해 멀티미디어 자료들의 내용을 기술하도록 하는 것이다.
앞으로 개발될 다양한 검색방법들을 통해 해당 자료들을 쉽게 검색하기 위해서는 MPEG7과 같은 표준이 필요하다.
특히 MPEG7은 XML을 표준 DDL의 기초로 이용해, 현재 널리 연구되고 있는 XML의 이점을 고스란히 이용할 수 있도록 한다.
MPEG7의 DDL과 XML의 완전한 호환을 위해 MPEG에서는 XML의 개발을 주관하고 있는 W3C와 계속 협의하고 있다.
특징 추출과 검색방법 개발 과제 MPEG7은 멀티미디어 자료의 내용 기반 검색과 관련해 앞에서 언급한 네가지 문제들 가운데 멀티미디어 자료로부터 추출할 정보의 종류와 그 기술방법이라는 두가지 문제를 해결했다.
나머지 두가지 문제인 멀티미디어 자료의 내용을 기술하는 데 쓰일 특징들을 추출하는 방법과 이를 이용한 검색방법은, MPEG7을 이용하고자 하는 주체가 스스로 개발하거나 이미 개발된 방법들을 MPEG7 표준에 맞게 수정한 후 적용해야 한다.
멀티미디어 자료의 내용을 기술하는 데 쓰일 특징을 추출하는 방법은 꾸준히 개발되어야 할 과제다.
낮은 추상단계 기술방법에 이용될 수 있는 특징들을 컴퓨터를 이용해 자동으로 추출하는 것은 컴퓨터 비전이나 신호 처리 분야에서 수십년간 널리 연구해왔다.
영상의 색상, 질감, 오디오의 템포, 음색 등 상당수의 특징들에 대해서는 좋은 추출 방법이 존재하고 있다.
동영상의 움직임 등과 같은 몇몇 특징들의 추출에 대한 연구는 아직도 만족할 만한 결과를 내지 못하고 있지만, 현재 활발하게 연구가 진행되고 있어 앞으로 만족스러운 수준의 추출방법이 개발될 것으로 보인다.
반면 높은 추상단계 기술방법에 이용되는 멀티미디어 자료의 의미론적 정보들은 해당 자료에 대한 사람의 해석이 필요하기 때문에 그 추출이 자동으로 이루어질 수 없다.
사람의 참여가 필요한 만큼 그 비용이 상당히 높다는 단점이 있다.
따라서 ‘템플릿 기반 지식 추출방법’ 등 사람의 참여를 최소한으로 줄이면서 필요한 정보를 추출하는 방법들이 현재 연구되고 있다.
템플릿 기반 지식 추출 방법은 자료 해석에 필요한 사람의 전문 지식을 컴퓨터가 추출한 특징들과 연관지어 템플릿 형태로 만든 후, 이를 이용해 컴퓨터를 통해 자동 추출된 특징들로부터 필요한 의미론적 정보를 생성해내는 방법이다.
동영상의 내용 기반 검색과 관련된 연구에서 성공적으로 적용되었다.
MPEG7은 멀티미디어 자료의 검색과 관련된 모든 응용 분야에 적합하다.
전자 도서관이나 멀티미디어 전화번호부, 음악 사전과 같은 멀티미디어 데이터베이스에서는 MPEG7에 기반한 검색방법을 제공해 사용자에게 양질의 검색 서비스를 제공할 수 있다.
병원에서는 X레이나 MRI-CT 촬영을 통해 수집한 멀티미디어 자료들을 MPEG7을 이용해 관리함으로써 환자의 적절한 치료에 많은 도움을 줄 수 있다.
방송국에서는 사용자의 기호에 맞도록 방송 프로그램을 재편집하는 데 MPEG7의 도움을 받을 수 있으며, 교통 통제, 침입 발견 등에 이용되는 감시시스템에서는 MPEG7을 이용한 검색을 통해 돌발 상황의 발생을 쉽게 탐지할 수 있다.
이밖에도 가상 박물관이나 전자상거래, 인터넷 맞선에 이르기까지 많은 분야에서 폭넓게 MPEG7이 적용될 수 있다.
몇년 전에는 상상하지도 못했던 인터넷 영화관이 현실이 된 오늘을 보며, 원하는 멀티미디어 자료를 손쉽게 검색할 수 있는 그날이 빨리 현실이 되기를 기대해본다.