영상압축 방식

21세기 멀티미디어 시대를 맞아 정보의 디지털화는 급격히 요구되고 있
고, 이에 따른 정보압축기술은 그 적용분야의 필요에 따라 발전해 오고 있
다. 이로 인해 여러 분야에서 불가능했던 일들이 점차 가능해지고 있다.

정보통신분야의 경우는 종래 불가능하다고 여겨졌던 영상 등의 멀티미디어
통신을 전화요금 정도의 저렴한 가격으로 이용할 수 있게 되었고, 정보저
장분야에 있어서는 값싼 저장매체로 멀티미디어 정보를 기록할 수 있게 되
며 저장매체에 있어서도 기록에 필요한 점유량을 작게 할 수 있다. 또 방
송분야에도 열화의 문제없이 고품질 전송이 가능해지고 특히 다채널 방송
이 가능해졌다.

특히 보안·감시분야에서는 영상 압축률이 저장매체의 기록점유량에 직접적
으로 영향을 미쳐 상품으로서의 경쟁력을 좌우할 뿐 아니라 고품질 원격전
송감시를 가능하게 하여 보안·감시 시스템의 네트워크화에 결정적 역할을
하고 있다.

이상과 같이 정보압축을 이용하면 종래 생각할 수 없었던 저가의 매체를 이
용해서 멀티미디어 정보를 전달할 수 있다. 즉, 멀티미디어 정보를 전달하
기 위해서는 정보압축기술의 진전에 발맞추어 새로운 미디어 인프라
(Infrastructure)를 정비해야 한다.

따라서 정보압축기술의 발전은 국제표준화 작업을 가속시킴과 동시에 통
신, 방송, 가전, 컴퓨터 등의 광범위한 분야에서 멀티미디어 정보를 상호
이용할 수 있는 환경을 제공하게 되었다.

이와 같이 정보의 상호 이용이 가능한 것을 상호운용성
(Interoperability)이라고 한다. 상호 운용성은 MPEG 등 멀티미디어 부
호화의 연구개발을 추진하는 사람들과 개방형 시스템을 지향하는 네트워크
분야의 사람들에게 초점이 되고 있다.

JPEG(Joint Photographic Coding Experts Group:컬러 정지화상 압축
의 국제표준)과 MPEG은 ISO(International Organization for
Standardization:국제표준화 기구)의 하부조직으로, 표준화 작업을 진행
시키는 전문가회의의 이름을 그대로 따온 표준 규격의 명칭이기도 하며,
정식 권고에는 ISO×××××같은 번호가 붙는다. 또 H.261, H.221,
G.721, G.722, G.728 등은 ITU-T(International Tele-
communication Union-Telecommunication Standardization Sector:
국제전기통신연합 전기통신 표준화 부문)에서 정해진 권고번호로, 멀티미
디어 요소기술에 관련되는 표준화 작업은 주로 ISO와 ITU-T에서 진행되고
있다.

표 1에 멀티미디어 부호화의 국제표준을 나타낸다. 지금까지 보안·감시분
야에서는 이와 같은 국제표준화된 압축방식을 적용해 왔으나, 영상 압축률
이 상품 경쟁력에 직접적으로 영향을 미치고 있어 고효율의 압축방식 개발
이 필요할 뿐 아니라 저장된 영상정보의 보안을 위해서도 표준화된 압축방
식을 따를 필요는 없다.



■ 디지털 영상압축방법이란
영상압축기술은 멀티미디어 시대에 극히 중요한 기술이며, 특히 상품 경쟁
력과 직결되는 보안·감시분야에서의 중요성은 다른 어느 분야보다도 크다
할 수 있다.

일반적으로 동영상은 카메라의 아날로그 신호가 디지털 정보로 변환된 후
일단 프레임 메모리(한 화면을 저장하는 메모리)에 기억되어 화소단위(화
면을 구성하는 영상정보의 기본단위)로 분해 처리된다. 예를 들어, 하나
의 화면은 「세로 352×가로 240화소」처럼 나타낼 수 있다. 각 화소는
휘도(밝기)와 색차(색정보)를 갖는데, 휘도와 색차는 각각 다음의 네 가
지 방법에 의해 영상정보를 압축시킨다.

① 색감도 스펙트럼의 중복성을 제거한다. 즉, 화소당 RGB 24비트 정보
를 YCbCr 12비트로 변환하여 정보를 압축한다.

② 일반적으로 영상은 인접화소간의 값이 거의 비슷하기 때문에(상관관계
가 높기 때문에) 화면내의 공간적 상관관계를 이용하여 정보를 압축한다.

③ 시간적으로 과거 화면의 정보를 기억해 두고 현재 화면을 과거 화면으로
부터의 차분치로 나타냄으로써, 화면내의 시간적 상관관계를 이용하여 정
보를 압축한다.

④ 위 방식을 부호화할 때, 부호의 발생 확률이 서로 다름을 이용하여 정
보를 압축한다.

일반적으로 이 네 가지 압축방법이 혼합되어 이용되는데 이런 방식은 하이
브리드 부호화라고 부르며, MPEG, H.261도 이 방식을 이용한 것이다.



■ 디지털 영상압축의 원리



(1) 화면내 공간적 상관관계를 이용한 압축
화면내의 공간적 상관관계는 공간주파수 개념으로 쉽게 설명될 수 있다.
예를 들어 화면 전체가 같은 색인 경우, 밝기는 다소 달라도 인접한 화소
들이 같은 색이어서 전혀 다른 색보다 인접한 값들을 유추하기가 쉽다. 이
러한 경우를 “화면내의 공간적 상관관계가 높은 상태”, 즉 화면의 변화
가 거의 없는 평활한 상태라 한다. 이렇듯 화면이 평활하고 천천히 변화
할 때 “공간주파수가 낮다”라고 표현하며, 반대로 체크무늬처럼 그림이
세밀하고 변화가 많을 때는 “공간주파수가 높다”라고 한다.
한 장의 영상은 일정한 크기의 정방형 영역으로 나뉘어져 각 영역에 대해
변환처리함으로써 영역내 평균값에서 매우 정교한 최고 주파수의 영상성분
에 이르기까지 여러 가지 주파수의 영상성분으로 분해된다.
이 분해과정을 직교변환이라고 하는데 보다 정교한 성분은 보다 고주파인
성분으로 이해하면 된다. 즉, 영상은 제1주파수항(평균치영상)에서 차례
로 고주파항으로 분해된 영상성분들의 중첩으로 표현된다. 직교변환은 60
년대 이래 여러 종류가 있는데, 그 중 텍사스대학의 Rao 교수팀이 발명한
DCT(Discrete Cosine Transform:이산여현변환)가 영상압축에 가장 효
과적인 방식으로 꼽히고 있다.
이 DCT는 MPEG, JPEG, H.261 등의 국제표준규격에 채택되고 있다. 직교
변환(특히 DCT)의 장점은 변환하기 전에 화면에 불규칙하게 퍼져 있던 화
소값이 변환 후에는 저주파항 쪽으로 집중되어 있다는 것이다.
따라서 고주파항을 버리는 조작을 통해 정보손실이 거의 없이 영상정보압축
을 할 수 있게 되었다. 고주파항들을 버리기 위해 생각할 수 있는 것이 양
자화이다. 양자화는 화소값 혹은 직교변환된 각 주파수의 성분값을 맛양자
화 스텝 사이즈맜라 불리는 어떤 값으로 나누어 나머지를 반올림 등의 방법
으로 없애는 것이다. 이 없어진 부분은 재생시 양자화 스텝 사이즈를 곱하
더라도 원상태로 완전히 복원될 수 없다.
양자화 스텝 사이즈가 크면 클수록 많은 항들이 없어지고 이에 따라 압축률
을 높일 수는 있지만 고주파항들이 손실되어 섬세함이 없어지고 저주파항들
도 양자화 에러가 커지기 때문에 재생시 흐릿한 영상이 될 수 있다. 반대
로 양자화 스텝 사이즈가 작으면 작을수록 없어지는 항들이 줄어들어 재생
시 섬세함이 손상되지 않고 원화에 가까워지지만 압축률은 낮아진다.



(2) 화면간 시간적 상관관계에 의한 압축
영화 필름에서도 알 수 있듯이 동화상은 조금씩 다른 화면을 차례로 디스플
레이하여 마치 연속된 것처럼 보이는 화면을 만들어 낸다. 따라서 이웃하
는 화면끼리는 매우 유사하다.
과거의 화면정보를 이용하여 압축하려면 부분에 따라 크게 두 개의 경우가
발생한다.

첫 번째의 경우는 전혀 변화가 없는(정지된) 경우로, “전 화면과 비교해
보니 변화가 없다”라고 하는 부호를 보내는 것만으로 화면을 재생시킬 수
있다.

두 번째의 경우는 현재 화면의 어느 부분이 전 화면의 어느 부분에서 이동
해온 경우로, “전 화면중 같은 그림을 찾아보니 그 부분의 이동량(x, y좌
표)은 ××이다(이것을 ‘움직임 벡터’라고 한다)”라는 정보만을 보냄으
로써 화면을 재생시킬 수 있다. 이렇게 이전 화면에서 움직임 벡터가 가리
키는 곳을 찾아 일정한 영역분의 화면을 가져오는 과정을 “움직임 보상”
이라 부른다.




(3) 부호발생확률의 편중을 이용한 압축

앞의 두방법은 영상의 성질에 주목하여 여러 가지 변환에 의한 정보압축방
법이였으나, 이 방법은 지금까지의 방법들과는 전혀 다른 것으로 부호의
발생확률을 이용한 것이다.

예를 들어 영상의 휘도 신호를 살펴보면 커다란 편중을 볼 수는 없으나,
DCT 변환후의 계수에는 그 발생확률에 눈에 띄는 편중이 생기고, 전술한
움직임 벡터에서도 비슷한 경향이 나타난다. 그래서 DCT 계수나 움직임 벡
터 등에 대해 발생확률이 높은 값에 길이가 짧은 부호를 할당하고 출현확률
이 낮은 값에 길이가 긴 부호를 할당하도록 부호기와 복호기 사이에 새로
운 부호체계를 세우면 평균부호길이를 줄일 수 있다. 이것을 가변장부호화
(부호에 따라 부호의 길이가 다른 방식) 또는 엔트로피 부호화(발생확률
의 편중을 이용하는 방식)라고 부른다.

발생확률의 편중을 이용한 정보압축의 효과를 예를 들어 살펴보면 다음과
같다. 가령 1, 2, 3, 4의 발생확률이 같을 때에는 이진수인 00, 01,
10, 11 두 자리 고정길이의 부호로 표시할 수 있는데, 이때 평균 부호의
길이는 2비트가 된다. 이와 달리 발생확률이 차이가 있는 경우에는 1이 나
올 확률이 0.7, 2의 경우가 0.2이고 3과 4의 경우에는 0.05라고 한다면
가장 발생확률이 높은 0에는 1비트, 다음으로 발생확률이 높은 1에는 2비
트, 가장 발생확률이 낮은 2와 3에는 3비트의 부호를 각각 할당하는 방법
을 생각해 볼 수 있다. 이때 평균부호의 길이는 다음과 같다.

고정장부호의 경우

평균 부호의 길이=2×0.6+2×0.2+2×0.1+2×0.1=2비트

가변장부호의 경우

평균 부호의 길이=1×0.7+2×0.2+3×0.05+3×0.05=1.4비트

위의 계산을 비교해 보면 가변장부호 쪽이 유리함을 알 수 있다.




■ 디지털 영상압축기술의 분류
정지영상의 압축기술로는 무손실 압축인 GIF(256색), TIFF (자연색) 등
이 있고 손실압축으로는 사진저장 등에 많이 사용되는 JPEG이 있다. 동영
상 압축기술로는 영상저장용인 MPEG-1, MPEG-4와 HDTV에 사용되는 영상
방송용인 MPEG-2, 그리고 영상통신용으로는 LAN 및 전용선에 사용되는
H.261과 PSTN에 사용되는 H.263 등이 있다.



(1) JPEG
JPEG은 H.261과 함께 MPEG의 기초가 되는 중요한 표준으로, 컬러 정지영
상의 압축표준이다. ISO/TC97/SC2/WG8에서 컬러 정지영상압축에 관한 표
준화가 처음으로 시작된 것은 80년대 초였는데, 그후 표준방식을 통신용도
로까지 넓히기 위해 CCITT(International Telegraph and Telephone
Consultive Committee) SG8(현 ITU-T SG8)과의 합동위원회가 조직되
고 ISO/TC97/ SC2/WG8 산하에 JPEG이 설치되었다.
JPEG은 원래 조직의 명칭이었지만, 최근에는 MPEG과 마찬가지로 압축 알
고리즘의 권고 그 자체를 말하는 것으로 사용되고 있다.
JPEG은 저해상도의 표시계(소프트 카피)에서 고해상도의 인쇄계(하드 카
피)에 이르기까지 여러 종류의 해상도에 대응할 수 있고 폭넓은 응용에 적
용할 수 있도록 고려되었다. 또 흑백의 계조로부터 원색계(RGB), 색차계
(YCbCr), 보색계(YMCk)에 이르기까지 많은 성분을 취급함으로써 다양한
색공간에 대응하고 있다. 단, 범용성이 풍부한 반면, 특정응용을 효율적으
로 구현하기 위해서는 기능 혹은 시방면에서 응용에 의존하는 부분을 새로
이 결정해서 추가시킬 필요가 있다. JPEG은 디지털 방식의 전자 스틸 카메
라나 영상 데이터베이스와 같은 저장계, 정지화상 전송장치나 오디오 그래
픽 회의, 영상회의 등의 전송계, 나아가 컬러 프린터 등의 인쇄계 등에 널
리 이용되고 있다. 또 이것을 구현하는 하드웨어(LSI)도 속속 공급되고 있
어 세계적으로 컬러 정지영상압축의 국제표준방식으로 인정받고 있다.
JPEG은 두 가지 방식으로 분류되는데, 하나는 가역부호화방식(Lossless)
이고 다른 하나는 비가역부호화방식(Lossy)이다. 가역부호화방식이란 압
축·신장의 과정을 거쳐도 원래의 정보를 보존할 수 있는 방식이고, 비가
역부호화방식은 압축·신장의 과정에서 왜곡이 생겨 완전히 원래대로 재생
되지 않는 방식이다.
가역부호화방식에는 화면내 공간적 예측부호화방식이 채용되고 있으며, 이
에 의한 압축률은 비가역부호화방식에 비해 작지만 원래의 영상품질이 잘
보존되기 때문에 화질열화가 허용되지 않는 응용에 유효하다. 비가역부호
화방식은 DCT를 기본으로 하고 있어 본래의 영상을 완전히 재현시킬 수 없
지만 높은 압축률에서도 충분히 실용적인 복호화질을 얻을 수 있는데, 이
것은 기본방식(기본 시스템)과 확장방식의 두가지로 다시 나눌 수 있다.
기본방식(기본 시스템)은 필수기능이라 할 수 있는데, JPEG 방식을 채용
한 모든 시스템에서는 이 기본방식에 의해 부호화된 압축 데이터를 복호할
수 있도록 되어 있다. 일반적으로 JPEG이라고 하면 이 기본방식을 가리키
는 경우가 많다. 기본방식은 1화소 1색성분당 8비트로, Sequential
Mode와 Huffman 부호화(데이터 발생확률의 편중을 이용한 압축기술의 하
나)로 되어 있다. 이에 비해 확장방식(확장 시스템)은 보다 광범위한 응용
에 대응하기 위해 제정된 것으로, 1화소 1색성분당 8비트 또는 12비트이
고, Sequential Mode 또는 Progressive Mode, Huffman 부호 또는 산
술부호로 되어 있어 응용에 따라 모드를 선택할 수 있다.




(2) MPEG
MPEG은 Moving Picture Experts Group의 약자로 정식명칭은
ISO/IECJTC1/SC29/WG11이다. 즉, 국제표준기관인 ISO와 IEC의 Joint
Technical Committee에서 SubCommittee29의 Working Group11이다.
MPEG은 88년에 설립되어 15명 정도로 시작했으나 그후 20배가 넘는 인원
으로 증가했다. 처음에는 저장매체를 근간으로 하는 1.5Mbps급 이상의
MPEG1(공식명칭:ISO/IEC1172)으로 시작했으나 MPEG1이 끝날 즈음인 90
년 9월 미국 산타클라라 회의로부터 5Mbps급 이상의 MPEG2에 대한 논의
가 시작되어 94년 싱가포르 회의에서 MPEG2 IS(국제표
준:International Standard)가 만들어지게 되었다. MPEG2는 시스템,
오디오 등의 작은 그룹들로 이루어져 있으며 현재 IS로 된 이 3개 표준의
공식명칭은 시스템이 ISO/IEC 13818-1, 비디오가 ISO/IEC 13818-2, 오
디오가 ISO/IEC 13818-3이다. 현재 MPEG2는 화상압축분야에서 거의 세계
공통이 되다시피 하고 있는데, MPEG2가 이렇게 널리 쓰이게 된 이유는 다
음과 같이 2가지로 꼽을 수 있다.

첫째로 압축부호화의 기술이 거의 최고 수준에 달했고 비디오의 디지털 세
계표준이 요망되고 있던 시점에서 세계 각국 대표들이 같이 모여 최고의 기
술을 위해 서로 경쟁했으며 각국의 대표들이 정해진 기술에 대해 동의했다
는 것이다. 둘째는 MPEG의 신택스 부분에서 찾아볼 수 있는데 MPEG은 어
떤 특정한 응용분야만을 목표로 해서 만든 것이 아니고 화상압축을 필요로
하는 모든 분야에 쓰일 수 있도록 유연성을 주어 제작되었다는 것이다.
MPEG2의 최초 목표는 5~10Mbps 정도의 현행 TV 품질을 실현하는 것이 되
었고, 더 나아가 그 후속 작업으로 HDTV(High Definition TV) 품질을
실현하기 위한 MPEG3의 표준화 작업에 착수하기로 합의되었다.
MPEG은 복원시(Decoding)에는 실시간으로 처리하는 반면, 압축시
(Encoding)에는 비실시간으로 처리되는 비대칭형 압축방식이므로, 상대적
으로 높은 압축률을 얻을 수는 있지만 압축속도가 매우 느려 실시간 압
축, 복원을 요구하는 보안·감시분야보다는 비디오 CD와 같은 영상저장이
나 HDTV 같은 방송용으로 주로 사용될 수 있다.



(3) MPEG1
부호화 단위를 매크로 블록(MB)으로 하고 각 MB에 대해 16×16화소의 휘
도 블록에 대한 움직임 벡터를 추정하여 움직임 벡터를 이용한 MB단위의
움직임보상 프레임간 예측방식을 통해 시간적 화면상관도에 따른 정보압축
을 수행한다.
각 MB을 8×8화소의 블록으로 세분화하여 DCT에 의한 공간적 정보압축을
행한다. 연산 대상은 휘도 블록 네개와 색차신호 블록 두개다.
전체적으로 움직임 보상 프레임간 예측과 DCT를 조합하여 행한 부호화 정
보의 발생확률 편중을 이용해 Huffman 부호에 바탕을 둔 가변부호화(엔트
로피 부호화)를 행한다.
DCT 계수의 양자화 스텝 제어에 의해 전체부호 발생량 제어를 행하고, 양
자화 매트릭스 테이블은 보다 나은 화질을 위해 H.261보다 복잡한 구조
(JPEG)로 한다.
랜덤 액세스를 가능하게 하기 위해 화면내로 닫힌 정보만을 이용하는 부호
화 화면(프레임내 부호화화면)을 정기적으로 도입하고, 프레임내 부호화화
면이 적어도 한장 들어가는 화면군 구조를 갖도록 한다. 이것을 GOP
(Group of Pictures)라고 부른다.
CD-ROM과 같은 읽기 전용 메모리에서의 이용이 상정되기 때문에 부호화 처
리에 걸리는 시간이 어느 정도 허용되나 복호처리는 실시간성을 중시한
다. 이때 한장의 프레임내 부호화화면을 바탕으로 하여 예측화면을 만들
경우에는 다음의 미래화면을 두장 이상 먼저 예측한 후에 그 사이의 쌍방
향 예측화면을 생성할 수 있다. 쌍방향 예측화면이 있으면 부호화 시간은
좀더 걸리지만 고화질을 실현할 수 있다는 장점을 갖는다.
화면 포맷에 있어서 화면크기(해상도)에는 자유도를 갖게 하되 NTSC와
PAL 방식 모두에 친화성이 좋은 부호화대상화면을 갖도록 한다. 여기서
SIF(Source Input Format)는 두 가지 형식으로 되어 있는데, NTSC용
은 352×240화소에 30프레임/초, PAL용은 352×288화소에 25프레임/초
로 되어 있으며 순차 프레임(Progressive Frame)만 지원한다.



(4) MPEG2
저장매체뿐 아니라 통신, 방송미디어에의 적용도 고려되고 있는 MPEG2는
현행 TV 품질 이상의 고품질영상을 대상으로 하여 HDTV까지 확장할 수 있
으며, MPEG1, H.261과 달리 순차주사뿐만 아니라 비월주사영상도 취급할
수 있다.
가변분해능력을 가져 공간해상도에 대해서는 비트열의 일부만을 취해 본래
크기의 화면보다 작은 해상도의 디스플레이가 가능하게 된다.
MPEG2의 복호기는 MPEG1의 복호도 할 수 있는 등 호환성을 갖는다.




(5) H.261
H.261은 영상통신의 기준인 H.320의 영상부분으로 LAN에서 사용되는 것으
로, 현행 TV의 카메라 신호를 전제로 한다. 당초는 전송속도가 약
40kbps~2Mbps로 한정되었기 때문에 방송품질을 보호하기는 불가능할 것으
로 예상되었다. 그래서 미·일 방식인 NTSC나 유럽방식인 PAL 시방의 카
메라 신호가 가진 해상도(각각 720화소×240라인×60필드 및 720화소×
288라인×50필드)를 미리 간축한 공통중간 포맷으로 하기로 결정했다.
즉, 352화소×288라인에 최대 30프레임/초(프레임 스킵을 허용한다)인
CIF(Common Intermediate Format)가 선택되었다. 이 CIF 화면은 다
시 16×16의 정방향화소블록으로 분할해서 처리하도록 되어 있다. 구체적
으로는 가로 22개, 세로 18개씩 합계 396개의 매크로 블록(MB)단위로 부
호화하고 있다.
매크로 블록(16×16화소) 휘도신호에 대해 움직임 보상에 의한 시간적 정
보압축(프레임간 예측)을 행하며, 매크로 블록을 8×8화소의 블록으로 세
분하고 DCT에 의한 공간적 정보압축을 행한다. DCT 연산의 대상은 휘도신
호 블록 4개와 색차신호 블록 2개이나 색 정보에 대해서는 인간의 시감도
가 휘도에 비해 민감하지 않으므로 수평·수직방향 모두 반으로 간축한
다.
움직임보상 프레임간 예측과 DCT에 의한 부호화정보의 발생확률 편중을 이
용해서 Huffman 부호에 기초한 가변장부호화(엔트로피 부호화)를 행하
고, DCT 계수의 양자화 제어에 의해 전체 부호발생량을 제어한다.



(6) H.263
MPEG과 유사한 것으로 영상회의용 기준이 H.263이며, 전화선을 이용하는
영상통신의 기준인 H.324의 영상쪽으로 낮은 비트율 통신을 위해 개발되었
다. H.263의 한계는 이 영상 부호화가 H.261을 기초로 한다는 것이다.
H.263은 MPEG처럼 움직임 예측(motion detection)과 움직임 보상
(Motion compensation)을 포함한 블록과 매크로 블록을 가지며, 여기
에 사용되는 지그재그형 양자화 계수는 비록 다른 모형과 함께 사용되지만
MPEG 수준으로 부호화된다. 다음 4개의 조건모드(optional mode)는
H.263의 능력을 높인다.
첫째, 자유로운 영상 벡터 모드는 화상밖의 기준으로 빠진 샘플들을 만들
게 해주며, 이 변수는 큰 영상 벡터를 허용한다. 두번째로 산술 부호화 모
드는 다양한 부호 길이를 대신한다. 이 산술적 부호화효율의 증가는 더 적
은 부호화 비트로 같은 화질의 구현을 가능하게 한다. 세번째 예측 모드
는 P-화상의 각 8×8 블록에 사용될 움직임벡터를 생성한다. 네번째로
PB-프레임 모드는 한 단위처럼 두 개의 화상을 부호화한다. P-화상은 이전
의 프레임으로부터 부호화되고 두 개의 P-화상들을 이용해서 B-화상이 부
호화된다. 이 P-화상안의 매크로 블록은 B-화상으로부터 유사한 매크로 블
록에 의한다.



(7) Hybrid Wavelet/MPEG 기술
더 높은 압축률과 빠른 시스템을 구현하기 위해 개발된 Hybrid
Wavelet/MPEG 기술은 높은 압축률로 실시간에서 보다 많은 프레임을 처리
함으로써 고화질의 영상을 오랜 시간동안 저장하여 보안 감시 시스템의 효
율을 극대화하고 비용을 절감하기 위한 것이다.
이 기술은 기존의 MPEG 디코더를 사용하는 것을 전제로 하고 있다.
Wavelet 연산법을 이용하여 초기 영상을 1/3씩 나눈 후 Low Pass(그림 1
의 1면)면만 MPEG 인코더를 이용하여 처리하고, MPEG과 똑같은 움직임 보
상을 이용하여 움직임이 있는 곳만 처리한다. Wavelet을 이용하면 분할
된 화면들은 모두 움직임이 있는 곳이 똑같기 때문에 Low Pass면의 움직
임으로 다른 High Pass면들(그림 1의 2면, 3면)의 움직임이 있는 곳들
을 쉽게 알아낼 수 있다는 것이 기존 MPEG의 움직임 보상과 다른 점이다.
Low Pass면의 움직임은 DCT를 이용하여 코딩하고 다른 High Pass(그림
1의 2면, 3면)는 밴드간의 연관성을 이용하여 Zero-Tree Coding으로 코
딩한다. 이렇게 4분할대신 3분할을 할 경우에는 Wavelet을 이용한 MPEG
에서 중요한 Wavelet 변환시간을 종래의 4분할보다 1/4 가량 줄일 수 있
고 움직임 보상시에도 움직임 보상의 처리시간을 줄일 수 있다. 그림 1과
같이 (b)화면에서 2면은 이미 열 방향으로 Wavelet 변환했기 때문에 1면
만 다시 행 방향으로 Wavelet 변환한다. 또한 한 방향(행 또는 열 방향)
으로 이미 Wavelet 변환된 상태이므로 또 한번 다른 방향으로 Wavelet
변환하면 밴드간의 연관성이 그만큼 낮아지므로 변이가 상대적으로 커져 인
코딩시 보다 많은 양의 데이터를 저장해야 한다.
보안 감시 장치의 성격을 최대한 극대화하기 위해 움직임이 발생할 때만 녹
화하여 밤시간과 같이 움직임이 거의 없을 때 소비되는 하드 디스크의 용량
을 절약할 수 있다. 이 점이 특히 일반 MPEG 기반의 시스템과 다른 점이
다.

그림 2에 블록 다이어그램을 나타낸다.

그림 2와 같이 기존의 MPEG 기술은 전체 화면을 MPEG 기술로 처리했지
만, Wavelet 기술을 이용하여 Low Pass만 MPEG으로 한다.
3분할 Wavelet 변환으로 Low Pass에서 움직임 탐색시간이 종래의 MPEG보
다 1/4 줄고(Low Pass에서의 움직임 위치는 High Pass에서의 움직임과
같아서 할 필요가 없다) High Pass면을 코딩할 때 High Pass면간의 연관
성을 최대한 이용한 Zero-Tree Coding 방법을 이용하여 코드 비트수를
줄일 수 있다. Low Pass면은 움직임을 탐색한 후 움직임이 있는 부분만
DCT(기존의 MPEG과 같이)로 처리한 후 Huffman Coding을 이용하여 비트
를 생성한다. 모든 Low Pass와 High Pass면의 코딩이 끝나면 합쳐서 데
이터 스트림을 형성한다. 복원과정은 정확하게 반대로 진행된다. 역으로
Huffman Coding과 Zero-Tree Coding후 Low pass면은 역 DCT를 하고
역 움직임 보상후 움직임이 있던 곳에 추가한다. 그리고 마지막으로 역
Wavelet을 취해 본래의 영상을 복원한다.
기존의 MPEG 기반의 기술과 비교해 볼 때, Wavelet으로 3분할한 후 한면
만 MPEG을 이용하고 나머지 분할면을 Zero-Tree Coding한 것은 이번이
처음이다. 영상을 4분할 대신 3분할함으로써 Wavelet 연산시간을 1/4만
큼 줄이고 대신 1면에서의 1픽셀은 2픽셀과 같게 되어 3면에서의 움직임
은 그림과 같이 2배(세로방향으로)로 된다.



■ 보안·감시용 영상압축기술
국제 표준화된 영상 압축기술을 응용하여 보안·감시용 시스템으로 사용되
고는 있으나 압축과 복원이 실시간으로 변환되지 않는 비대칭형 압축기술이
라는 문제를 비롯, 정지화질의 문제, 초당 녹화 프레임 수를 높이기 위한
압축기술의 향상과 이에 따른 화질의 저하 등 보안·감시분야에서 요구되
는 특수 기능들을 만족시키기 위해 보안·감시 시스템 제작사들은 끊임없
는 연구와 노력을 하고 있다.
최근 들어 많이 사용하고 있는 방식이 Motion-JPEG(M-JPEG) 방식이긴 하
지만 전술한 바와 같이 보안·감시용으로는 압축방식이 표준화될 필요는 없
고 오히려 보안·감시분야에서 필요한 기능만 만족하면 충분하기 때문에
각 제작사별로 독특하고 우수한 고유의 압축기술을 개발하여 시스템에 응용
하고 있다. 각 제작사별로 개발된 압축기술은 많은 노하우를 포함하고 있
어 공개가 쉽지 않기 때문에 여기서는 일반적으로 많이 사용되는 M-JPEG
과 특허출원중인 당사의 Hybrid MPEG/ Wavelet에 대해 소개하고자 한
다.

M-JPEG을 쉽게 설명하면 JPEG 영상들을 시간적으로 나열한 형식이라 할
수 있다. 따라서 압축률은 JPEG과 동일하여 고화질인 경우 1:10~1:20이
며 최대 1:30까지 가능하다. MPEG에서와 같이 시간적 중복성을 제거하지
않기 때문에 빠른 압축속도를 나타내며, 개별 제작사마다 독자적 움직임
검출로 보완하고 있는 추세이다.
프레임간의 연관성으로 인해 MPEG에서는 불가능한 프레임 단위의 편집이
용이하여 주로 비디오 편집용으로 사용되어 왔다. 따라서 압축률은 떨어지
지만 프레임 단위의 편집이 가능하기 때문에 보안·감시분야에서 M-JPEG
이 많이 이용되고 있다. 그러나 JPEG 자체가 보안·감시용으로 쓰기에는
압축률이 크지 않기 때문에 보안·감시시스템 제작사들은 화질을 유지하면
서 압축률을 높이기 위해 전세계적으로 연구와 개발에 힘쓰고 있으나 아직
선도적인 기술은 없는 상태이다.