안개 모델링을 이용한 안개 제거는 안개가 포함된 원영상에서 안개 영역을 검출하고 안개의 정도를 추정한 후 안개 영역에서 안개를 배제한 영상을 얻는 과정을 말한다. 가로축 h 및 세로축 v으로 구성된 2차원 좌표 x = (h,v )에 대한 영상 I (x) 은 안개 모델을 이용하여 식 (1)과 같이 나타낼 수 있다[1][4][5].

여기서 J (x)은 안개가 제거된 영상이고, t(x)는 물체의 색이 산란되지 않고 카메라에 전달된 전달량이다. A 는 대기값이며 안개가 전체 화소에 영향을 준 정도를 나타낸다. 여기서 전달량 t(x) 는 식 (2)와 같이 화소의 깊이에 대한 지수감소함수 형태로 표현된다.

여기서 β는 산란 계수(scattering coefficient)이고 d(x)는 화소위치 x의 깊이를 나타낸다. 먼 물체일수록 깊이가 크기 때문에 안개에 의해 산란되는 정도도 커서 카메라까지 전달되는 정보가 감소함을 의미한다. 그리고 안개값 A 가 크게 반영되기 때문에 안개의 색이 더 강하게 나타나게 된다. 따라서 안개 제거 알고리즘은 안개 모델링 식 (1)에서 획득한 영상 I (x)에서 전역적 안개값 A 와 각 화소의 전달량 t(x) 를 추정하여 J (x) 를 계산하는 과정을 말한다. r, g, b 중 채널 c에 대한 안개 제거 영상은 식 (3)과 같다[4].

안개 모델링의 원리는 Figure 1 (a)와 같다. 우측의 소나무를 담은 원래 장면 J (x) 는 안개가 끼었을 경우 안개를 구성하는 대기 중 성분에 의해 산란되는 등의 이유로 온전히 전달되지 못하고 안개가 포함된 채로 카메라나 사람의 눈에 도달하게 된다. 이는 대기 중에 산란된 빛의 양 A{1 - t(x)}과 물체로부터 직접 반사되어 도달하는 빛의 양 J (x)t(x)이다. 이러한 모델링을 표현한 그림은 Figure 1 (b)와 같다. 안개 제거 영상 J (x) 는 전역적 대기값 A 과 합성되어 안개 영상 I (x) 를 발생시키는데 이 과정에서 전달량 t(x) 가 적용된다.

Figure 1: 
(a) Fog modelling (b) modeling via images

안개 영상에서 안개 영역은 전반적으로 무채색에 회색 계열의 색을 띄는 반면, 안개의 영향이 적거나 안개 없는 영역은 본래 피사체의 고유색을 잘 유지하는 특성을 갖는다. 특히 안개 없는 영역의 임의의 화소를 추출하여 r, g, b 채널을 분석해보면 이들 중 적어도 한 채널의 값이 0에 수렴하는 성질이 있음을 알 수 있다. DCP는 이러한 통계적 특성을 이용한다[4].

임의의 화소 x를 중심으로 형성된 일정한 크기의 안개 영역 Ω(x) 의 dark channel J_dark (x) 는 식 (4)과 같다.

여기서 y는 중심화소 x의 주변영역 Ω(x) 에 포함된 화소이고 J_c(y) 는 화소 y의 각 채널값이다. J_dark (x) 는 영역 Ω(x) 의 각 화소별 r, g, b 중 가장 작은 채널값을 각 화소의 대푯값으로 하고, 이들 중 가장 작은 값을 취한다. 이 때 안개가 없는 영역의 Jdark (x) 는 0에 수렴한다. 안개 영상과 추출한 dark channel 예시는 Figure 2와 같다. 영상 하단의 나무에는 안개가 없기 때문에 dark channel이 0에 가깝게 나타난다.

Figure 2: 
dark channel evaluation (a) input fog image (b) dark channel of (a) by 15 × 15 window

획득된 안개 영상 I (x)에서, 임의의 안개 영역 Ω(x)의 대기값 A 은 0이 될 수 없다는 전제하에 식 (1)에 식 (4)을 대입하여 각 화소별 전달량 t (x )를 얻을 수 있다. 이렇게 얻은 전달량을 적용하면 흰색 또는 검은색 화소와 같은 포화된 화소가 많아지기 때문에 시각적으로 부자연스럽다. 이러한 점을 개선하기 위해 식 (5)와 같이 가중치 ω 를 적용하여 전달량을 계산한다[4].

이 때 ω 는 경험적인 수치 0.9 또는 0.95로 정하는 경우가 대부분이다. 대기값 A 는 각 채널별로 독립적으로 산출되며 영상에서 가장 높은 명암도로 간주하는게 일반적이다.

DCP 처리후 에지 영역의 보전을 위해 soft matting [4], guided filter [8][9], bilateral filter [7][10][11]를 이용하여 전달량 보정한다. 이 과정은 일종의 후처리 과정에 해당하며 후광 효과 등을 완화시킬 수 있으나 많은 계산량을 요구한다. 이를 개선하기 위해 전달량 계산 과정에서 중간값 필터를 적용하는 MDCP 방법이 제안되었다 [6]. 이는 식 (6)과 같다.

DCP를 이용하여 안개를 제거한 결과의 예시를 Figure 3에 보였다. 입력 안개 영상은 Figure 3 (a), DCP만 적용하여 안개를 제거한 영상은 Figure 3 (b), soft matting으로 전달량 정련한 영상은 Figure 3 (c), 그리고 MDCP로 처리한 영상이 Figure 3 (d)이다. DCP만 적용했을 때 관심영역의 경계선 주변에 후광 현상이 두드러짐을 Figure 3 (b)를 통해 확인할 수 있으며, Figure 3 (c)와 같이 전달량 정련을 통해 완화시킬 수 있다. MDCP도 후광 현상을 억제하는데 효과는 있으나 안개 제거 후 채도를 왜곡 시킬 수 있음을 Figure 3 (d)를 통해 확인할 수 있다.

Figure 3: 
An example about defogging (a) Input fog image (b) defogging image with halo artifact before transmission map refinement (c) defogging image after transmission map refinement (d) defogging image using MDCP

채도 보정 가중치는 안개값과 안개 영상과의 관계를 이용해 계산한다. 안개 영상에 DCP를 적용하는 과정에서 무채색의 물체 영역이 안개 영역으로 판단되는 경우가 있다. 해당 영역에 안개가 없더라도 물체가 무채색이라면 계산과정에서 최소 채널값이 다소 높게 나타나기 때문이다. 이러한 현상은 무채색 물체 영역에 비슷한 밝기의 안개가 분포되어 있는 경우에도 발생한다. 이와 같은 경우에 적은 전달량으로 인해 안개 제거 과정에서 무채색 물체에 색상이 입혀져 있는 등의 문제가 발생한다.

이러한 특성은 Figure 5를 통해 확인할 수 있다. 해당 영역의 대기값이 100이라고 했을 때, 전달량이 0.5이상 범위, 즉 전달량이 클 때는 화소값의 변화에 상관없이 채도비가 1에 수렴한다. 이는 안개 제거 전후 채도의 왜곡이 없다는 의미이다. 반면 안개값과 화소값의 차이가 적어질수록 낮은 전달량에서 채도비가 기하급수적으로 늘어나는 것을 볼 수 있다. 이는 그만큼 채도가 왜곡될 여지가 크다는 의미이다. 특히 안개값보다 화소값이 작을 때 채도비가 더 커지는데 이 경우에는 실제로 안개 영상에서는 안개색만 나타나는, 즉 원래 물체색이 온전히 전달되지 못하는 경우를 말한다. 따라서 이를 보정해 줄 가중치가 필요하다. 제안한 방법은 채도 보정 가중치를 안개 제거 전 영상에 적용한다.

Figure 5: 
A graph about saturation ratio according to transmission value (A = 100)

안개 영상 I (x) 와 안개 제거 영상 J (x) 의 채도는 HSI 색공간의 채도 변환식에 의해 각각 식 (7)과 식 (8)과 같다.

안개 제거 전후 영상 각 화소의 최소 채널은 그 값은 변하지만 최소 채널 자체는 동일하다. 이러한 성질을 이용하여 구해지는 채도비 R_sat는 식 (9)와 같다.

화소값과 대기값의 차이가 적을 때 전달량을 낮게 보정해 주기 위해 제안한 방법은 가중치 wts (x) 를 대기값과 화소값에 대한 가우시안 함수로 표현하였고 이는 식 (10)과 같다.

안개 영상에 곱해질 채도 보정 가중치는 다음과 같다.

제안한 채도 보정 가중치의 효과는 Figure 6을 통해 확인할 수 있다. Figure 6 (a)와 같이 안개 영역에 무채색 건물이 겹쳐져 있을 경우 Figure 6 (b)와 같이 건물의 색이 왜곡되어 나타난다. 제안한 채도 보정 가중치를 적용하여 얻은 영상이 Figure 6 (c)이다. 기존 방법에서 주변 조명색과 유사하게 나타난 건물의 색이 왜곡되지 않았음을 확인할 수 있다.

Figure 6: 
A comparison about different defogging image according to saturation weight (a) input fog image (b) defogging image using MDCP (c) defogging image using saturation weight

제안한 방법은 안개 영상에서 색상 및 채도 왜곡을 줄이기 위해 영역 분할을 통해 하늘 영역을 검출하고 대기값 A 를 얻는다. 제안한 하늘 영역 검출 순서는 Figure 7과 같다. 채도 보정된 안개 영상 I_sw (x) 전체에 대해 차분연산을 수행하여 기울기 영상 G (x) 를 얻고 이진화한다. 이진화 영상에서 각 영역들에 대해 모폴로지 침식 연산 수행후 라벨링을 수행하고 그 중 영상 전체의 평균 명암도보다 큰 영역들 중 가장 큰 영역을 하늘 영역으로 간주한다.

Figure 7: 
Processing step of the sky region detection

보통 영상에서 하늘은 깊이가 거의 무한대에 가깝고 이웃 화소와의 차분 연산 결과가 거의 0에 수렴한다. 그리고 순백색 피사체를 제외하고 명암도가 가장 높으며 넓은 영역에 걸쳐서 분포되어 있다. 제안한 방법의 기울기 연산은 하늘 영역의 차분 연산 특성을 판별하기 위해 적용한다. 평균 명암도와의 비교 후 가장 큰 넓은 영역을 선택하는 것 또한 하늘 영상의 특성을 반영하기 위함이다. 제안한 방법으로 영역 분할을 수행한 예가 Figure 8과 같다. 흰 영역들이 평균 명암도보다 큰 영역들이며 이들 중 가장 큰 최상단 영역을 하늘 영역으로 판별한다.

Figure 8: 
Region segmentation (a) input fog image (b) white :sky region candidates, black : non-sky region

하늘 영역을 검출한 후 대기값을 결정해야 한다. 기존의 안개 모델링 기반 방법들은 경험적으로 0.9~0.95로 설정하는게 일반적이었다. 그러나 노을 등 특정 색이 섞여있거나 안개 자체가 전반적으로 짙게 분포되어 있는 경우 위와 같이 대기값을 설정한다면 별도의 색상 보정 과정을 거쳐야 한다. 제안한 방법은 검출된 하늘 영역의 평균 명암도를 대기값으로 설정한다. 이는 본래 안개 모델링에서 대기값이 갖는 의미인 깊이가 가장 큰 화소의 값이라는 의미에도 부함될 뿐만 아니라 안개 자체가 유색광에 영향을 받은 경우에도 피사체의 색상의 왜곡을 최소화할 수 있다.

제안한 방법의 비용 함수는 MDCP 항과 히스토그램 균등화 항의 가중합으로 표현되며, 적용하는 가중치는 해당 영역의 안개 제거 전의 색상(hue)값과 현재 전달량에 의해 얻어진 새로운 색상값의 비로 결정된다. 최적 전달량 t(x)에 대한 총 비용함수 S _total (t(x)) 는 식 (12)와 같이 나타낼 수 있다.

S _total (t(x)) 를 구성하는 MDCP항 S_MD (t(x)) 과 히스토그램항 S_HE (t(x)) 은 각각 식 (13)과 식 (14)로 표현된다.

여기서 J_dark (x)는 M × M 윈도우내의 화소 x에 대해 MDCP를 이용해 사전에 얻은 기준 전달량 t_dark (x) 에 의해 안개를 제거한 후 도출된 x의 화소값이다. 이때 화소값의 동적범위는 [0,L - 1]이고 최대값은 8비트 최대치인 255이다. J_c (t(x)) 는 특정 전달량 t(x) 에 대한 안개 제거 결과 얻은 화소값이다. h_i (t(x)) 는 현재 화소 x에서의 임의의 전달량 t(x) 에 대해 얻어진 x의 화소값 i에 해당하는 히스토그램의 bin값이며 해당 윈도우 영역에서 히스토그램 성분들이 균등하게 분포될수록 작은 값을 갖는다.

총비용함수의 가중합에 적용되는 가중치는 안개 제거 과정에서 색상이 왜곡되는 것을 방지하기 위해 먼저 전달량에 대한 색상 함수 F (t(x)) 는 식 (15)와 같이 계산한다.

색상 함수 H (J_dark (x)) 는 기준 전달량 t_dark (x) 를 적용하여 안개를 제거한 영상에서 특정 화소 x의 hue값이고 H (J (t(x)) 는 실제 구해야 할 전달량 t(x) 에 대한 특정 화소 x의 hue값이다. g_hue는 HSI 색공간 상에서 H가 360˚주기로 반복되기 때문에 식 (16)과 같다[12].

색상 가중치 w_hue는 색상함수 F (t) 를 이용하여 식 (17)과 같이 지수함수로 나타낼 수 있다.

히스토그램항으로 최적화되는 전달량은 색상 왜곡을 발생시킬 여지가 비교적 크기 때문에 이 경우 또한 F (t)가 증가하므로 S_HE (t(x)) 의 비중을 낮춰줌으로써 색상 왜곡을 방지할 수 있다.