BCFD란 배경영상과 카메라로부터 획득되는 영상과 대응하는 화소를 비교하여, 정적인 영역(static region)과 움직이는 물체가 있는 영역(dynamic region)을 구분하여 영상에서 움직이는 물체가 있는 부분을 찾는 방식이다.

Equation (1)에서 I_{t, (x,y)}는 시간 t에서 획득되는 영상의x,y좌표에 위치하는 픽셀의 명도 값을 의미하며, B_(x,y)는 사전에 획득한 배경영상의 x,y 좌표에 위치하는 픽셀의 명도 값을 의미한다. O_{t, (x,y)}는 I_{t, (x,y)}와 B_(x,y) 간의 차이의 절대값이 임계값보다 큰 경우 1을 취하고, 그렇지 않은 경우 0으로 설정한 이진 신호이며, 공간영역의 x 및 y좌표상에 배열되어 물체가 있는 영역을 인식하게 된다.

신호의 변화 혹은 혼입된 잡음의 제거는 고정형태나 적응형태의 필터를 이용하여 신호를 개선할 수 있는데, 일반적으로 고정된 필터의 경우 사전에 신호와 잡음의 특성에 대한 정보를 알고 있어야 하는 반면, 적응형 필터는 그 자신이 자동적으로 필터인자 각각을 조절할 수 있다. 특히, 적응형 필터는 입력신호가 시간에 따라 변화하거나, 잡음 혹은 신호 변화의 특성을 알 수 없을 경우 유용한데, 이때 LMS(Least Mean Square) 알고리즘이 필터인자를 찾는데 식의 간편함으로 널리 사용되고 있다.

Equation (2)에서 x_n은 입력신호의 벡터를 의미하며, Equation (3)의 A_n은 가중치의 벡터를 의미한다. Equation (4)에서 y_n은 필터의 출력을 의미하며, Equation (5)에서 E_n은 필터출력 y_n과 요구되는 신호 d_n와의 차가 된다.

LMS 알고리즘은 Equation (6)에 따라 새로운 데이터가 도달할 때 마다 가중치 벡터 A_n을 새롭게 갱신함으로써 자승의 평균 오차를 최소로 한다. 이때 μ는 수렴에 이용되는 학습률이며, μ값이 크면 수렴속도는 빠르나 그 오차가 입력 신호에 따라 커지는 경우가 생기며, μ값이 작으면 수렴속도는 늦는 반면 오차는 최종적으로 적게 된다.

기존의 BCFD 기법의 경우, 빛 변화 및 기후적 잡음으로 인한 실외환경에 실제 획득된 영상과 배경의 변화가 발생하였을 경우, 객체 영역 뿐만 아니라 정적 영역의 경우에도 객체영역으로 인식하는 문제점이 있다.

따라서 본 논문에서는 실외환경에서 카메라로부터 획득된 영상과 배경이 빛 변화 및 기후적 잡음으로 인해 변화가 발생하였을 경우, 배경의 변화를 인식하고, 배경을 자동으로 갱신할 수 있는 기법을 통하여 실제 획득된 영상에서 객체영역을 비교적 정확하게 인식할 수 있는 기법을 제안한다.

먼저 시간 t에 카메라로 획득된 영상을 Equation (7)과 같이 표현한다면, 이와 동일하게 배경영상을 Equation (8) 과 같은 2차원의 배열로써 표현이 가능하다. 그리고 본 논문에서는 획득된 영상의 각 픽셀에 가중치를 적용하기 위해서 동일한 크기의 가중치 배열을 생성하였으며, Equation (9)와 같이 표현이 가능하다.

객체의 영역을 알 수 있는 출력 영상의 각 픽셀 값을 구하는 방법은 Equation (10)과 같으며, 각 픽셀의 배열은 Equation (11)과 같이 나타낼 수 있다. 이때, T는 임계값을 의미한다.

한편, LMS 알고리즘을 구현하기 위해서 배경영상에서 획득된 영상과 가중치를 곱하여 뺄셈연산을 해주며, Equation (12)에서 알 수 있듯이, 이 연산은 각 픽셀마다 적용된다.

시간 t+1에 사용할 가중치를 산출하는 방법은 Equation (13)과 같으며, n번째 동일한 입력신호에 대해 가중치를 반복적으로 산출한 후, 오차가 수렴하거나, n번 반복이 완료되면 W_{t+1, (x,y)}을 산출한다.

Figure 1은 제안한 방법의 블록 다이어그램을 나타낸 것이다.

Figure 1: 
Block diagram of proposed method

실험은 한국해양대학교 공과대학 1호관과 후생복지관 사이의 도로 및 주차장이며, 2014년 5월 31일 4시 30분에 배경영상을 촬영하고, 동일한 시간부터 5시 30분까지 배경과 획득된 영상의 차이가 급격히 달라지는 일출기간 동안 동영상으로 촬영하였다. 배경영상 및 획득된 영상은 320×240의 컬러영상을 기준으로 실험을 진행하였으며, 이때 동영상으로부터 획득된 영상은 1차 저주파 필터를 이용하여 고주파 성분을 제거하여 실험을 진행하였다. 개발언어 C++ 및 OPENCV를 이용하여 알고리즘을 구현하고 실험결과를 획득하였다.

본 논문에서 사용된 영상에서 배경의 변화에 의해서 객체의 오인식 혹은 미인식 상황이 발생하는 경우를 Figure 2에서 나타내었다. Figure 2-A는 실외환경에서 빈번히 발생하는 대류의 순환에 의해 나뭇가지, 깃발, 와이어등이 움직이면서 발생하게 되는 배경의 변화구역을 표시하였다. Figure 2-B는 사용자가 임의로 구성한 조명의 작동상태에 따라 광원 및 광원이 비추는 주위의 전반적인 영역에 화소값의 변화가 생기게 되며 배경의 변화가 발생한다. Figure 2-C는 움직이거나 변화가 없는 구간이지만, 일출 혹은 일몰에 따른 조명의 변화로 인하여 화소값의 변화로 나타나게 되며, 특히 화소값이 높은 배경화소의 경우 그 오차는 더욱 커지게 되는데, 이는 화소값이 높은 배경이 더욱 조명의 변화에 민감함을 실험을 통해 확인할 수 있다.

Figure 2: 
The dynamic region of background image, (A) moving background, (B) Operating states of the light source and (C) static region

본 논문에서는 총 3가지의 실험결과를 통해 제안한 방법의 유효성을 검토하였다. 첫 번째는 시간에 지남에 따른 적응 여부를 평가하였으며, 두 번째는 조명의 변화에 성능여부를 검토하였으며, 세 번째는 최종적인 적응형 배경 모델을 통한 객체 인식 여부를 확인하였다.

Figure 3은 4시 30분의 배경영상과 4:40분에 획득된 영상을 비교한 실험이다. LMS를 이용하지 않은 경우, 실제 화소값이 높은 영역으로부터 오차가 심하게 발생함을 알 수 있다. 하지만 이전의 연구와 제안한 방법의 경우 배경영상과 획득된 영상의 차이가 거의 없음을 알 수 있다. 획득된 영상 속에 객체가 존재하지 않을 경우에도 시간이 지남에 따라 객체로 인식되는 오인식 영역이 실험 결과영상의 공간영역에 부분적으로 발생하게 되며, 이상적인 결과영상과 실제 결과영상의 잡음발생 비율을 Table 1에 나타내었다. PSNR은 각각 28.98, 28.36, 28.64, 29.07로 나타났으며, 각각 알고리즘의 평균 처리속도는 각각 57fps, 56fps, 123fps, 60fps이다.

Figure 3: 
Experimental results of (a) Acquired image (after 10 minutes) , (b) Subtraction image, (c) RGA, (d) GMM, (e) AMF and (f) Proposed method

Figure 4는 4시 30분의 배경영상과 5시에서 5시 15분 사이에 획득된 영상을 비교한 실험이다. Figure 3과 다른 점은 가로등에 의한 오차 발생 여부이다. LMS을 이용하지 않은 경우, 가로등이 비추고 있는 영역에 오차가 상당수 발생함을 알 수 있다. 이전의 방법과 제안한 방법 역시 오차가 발생하지만, 수초 이내로 변화를 갱신하여 동일한 영역에서 오차가 줄어들어 적응되는 성능을 확인할 수 있다.

Figure 4: 
Experimental results of (a) Acquired image (street lamp off) , (b) Subtraction image, (c) RGA, (d) GMM, (e) AMF and (f) Proposed method

Figure 5는 실제 객체가 존재할 경우, 객체 인식 여부에 관한 실험이다. LMS을 적용하지 않은 경우에도 객체를 인식할 수 있지만, 배경에 의한 오차에 의해서 실제 객체와 배경을 구분하기 힘들다. 하지만 제안한 방법은 배경의 변화에 비교적 적응적인 성능을 가지며, 실제 객체 검출이 기능함을 확인할 수 있다.

Figure 5: 
Experimental results of (a) Acquired image (object detection) , (b) Subtraction image, (c) RGA, (d) GMM, (e) AMF and (f) Proposed method