해상환경에서의 표적식별 성능 향상을 위한 적외선영상 화질개선 기법

1. 서 론

적외선영상(Infrared Image)은 물체에서 방출되거나 반사되는 적외선 에너지를 영상으로 가시화한 것으로 외부 광원이 없어도 원거리의 피사체를 인식할 수 있어 국방 분야에서 표적을 탐지하고 추적하는 시스템에 주로 사용된다. 하지만 적외선영상은 히스토그램 명암비가 한쪽으로 치우친다는 특성이 있기 때문에 표적 탐지 추적 시스템에 효과적으로 활용하기 위해서는 명암비 개선이 필수적이다.

현재까지 디지털 영상처리 분야에서 영상의 명암비 개선을 위한 많은 기법들이 연구되었으며 대표적인 기법으로는 히스토그램 평활화(Histogram Equalization)기법[1]이 있다. 히스토그램 평활화는 한쪽으로 치우친 명암분포를 균등한 분포로 재분배하는 기법으로 명암비를 향상시키지만, 히스토그램이 특정 밝기값에 집중적으로 분포하는 경우 과포화 현상이 발생하고, 낮은 확률분포를 가지는 히스토그램의 밝기값 영역에서는 명암비 향상처리가 수행되지 않아 영상의 세부정보를 손실하는 문제점이 있다.

이러한 문제점을 개선하기 위해 임계치(Threshold)를 사용하거나, 히스토그램 영역을 분할하여 특정 밝기값에 집중되는 히스토그램의 영향을 억제하는 변형된 히스토그램 평활화 기법들이 제안되었다. PHE(Plateau Histogram Equalization)기법[2]은 임계치를 사용한 대표적인 기법으로 임계치보다 큰 히스토그램 값을 임계치로 처리하여 히스토그램 평활화를 수행한다. 이 기법은 과포화 현상이 개선되지만 다양한 입력영상에 대해 임계치를 적응적으로 설정해야하는 어려움이 있다. SAPHE(Self-Adaptive PHE)기법[3]은 임계치를 입력영상의 global maximum과 local maximum의 median값으로 하여 히스토그램 평활화를 수행하고, MSAPHE(Mean SAPHE)기법[4]은 mean값으로 임계치를 설정하여 히스토그램 평활화를 수행한다. 이 기법들은 PHE 기법이 가지는 임계치 설정의 어려움을 개선하였다. BHEPL(Bi-Histogram Equalization with a Plateau Limit)기법[5]은 히스토그램 영역을 분할하는 대표적인 기법으로 입력영상의 평균값을 기준으로 히스토그램을 2개의 밝기영역으로 분할하고 각 영역에 대해 독립적인 임계치를 설정하여 히스토그램 평활화를 수행한다. EDSHE(Entropy-based Dynamic Sub-HE)기법[6]은 입력영상의 엔트로피 값을 기준으로 히스토그램을 2개의 영역을 나누어 히스토그램 평활화를 수행하고, QHECL (Quadrant Histogram Equalization with a Clipping Limit)기법[7]은 히스토그램의 median값과 평균 밝기값을 기준으로 히스토그램을 4개의 밝기영역으로 분할하고, 분할된 각 영역의 평균 밝기값을 임계치로 설정하여 히스토그램 평활화를 수행한다. PLTHE(Plateau Limit-based Tri-Histogram Equalization)기법[8]은 히스토그램의 median값과 평균 밝기값의 평균값으로 임계치를 설정하고 임계치를 적용하여 얻는 결과 히스토그램의 표준편차를 이용하여 히스토그램을 3개의 밝기영역으로 분할하여 히스토그램 평활화를 수행한다. 이러한 기존의 임계치와 히스토그램 영역 분할 방법을 사용한 히스토그램 평활화 기법들은 과포화 현상이 개선되는 효과가 있다. 하지만 해상환경의 적외선영상과 같이, 히스토그램 분포가 배경성분에 집중되는 영상에 기존 기법을 적용할 경우, 표적성분을 고려하지 않은 임계치 설정과 히스토그램 영역 분할로 인해 표적정보가 소실되거나, 여전히 과포화 현상이 발생하여 표적 식별이 어렵다는 단점이 있다.

본 논문에서는 해상환경에서의 표적식별 성능 향상을 위해 Retinex알고리듬 기반의 개선된 PHE기법을 제안한다. 제안한 기법은 변형된 Retinex알고리듬을 기반으로 영상에서 배경성분을 제거한 뒤, 그 결과값을 이용하여 PHE의 임계치를 적응적으로 설정한다. 이때 임계치는 표적성분의 히스토그램 최대치로 설정하여 표적영역에서의 명암비를 향상시키고, 기존 기법의 문제점인 표적정보에 대한 손실, 과포화 현상을 개선하여 표적식별 성능을 향상시킨다.

본 논문의 구성은 다음과 같다. 2장에서는 Retinex이론 및 대표적인 Retinex알고리듬에 대한 설명과 히스토그램 평활화에 대한 개념 및 PHE기법에 대한 설명을 언급한 뒤 본 논문에서 제안하는 기법에 대해 기술한다. 3장에서는 기존의 기법들과 제안한 기법에 대한 성능 평가 및 결과분석을 하고 4장에서 결론을 맺는다.

2. Retinex알고리듬 기반의 개선된 PHE기법

2.2 Histogram Equalization 기법

히스토그램 평활화 기법은 한쪽으로 치우친 명암분포를 가진 히스토그램을 균등한 분포로 재분배하여 명암비를 향상시킨다. 이 기법은 식 (6)과 같이 정규화된 히스토그램인 확률밀도함수 PDF(Probability Density Function)와 식 (7)과 같이 입력영상에 대한 누적분포함수 CDF(Cumulative Distribution Function)를 기반으로 mapping 함수 f(x)를 구해 평활화를 수행한다. 이는 식 (8)과 같다.

$\[ \begin{array}{cc}p\left(X_k\right)=\frac{n_k}{N}, & k=\mathrm{0,1},\dots ..,L-1\end{array} \]$

(6)

여기서, X는 입력영상, N은 입력영상의 전체 화소수, k는 입력영상의 밝기값, n_k는 입력영상의 밝기값이 k인 화소수를 의미한다.

$\[ \begin{array}{cc}c\left(X_k\right)=\sum _{i=0}^{k}p\left(X_i\right), & k=\mathrm{0,1},....,L-1\end{array} \]$

(7)

$\[ f\left(x\right)=X_0+\left(X_{L-1}-X_0\right)c\left(x\right) \]$

(8)

여기서 [X₀, X_L-1]은 입력영상의 동적영역(Dynamic Range)를 의미한다.

2.2.1 PHE 기법

PHE 기법은 임계치를 이용한 히스토그램 평활화 기법이다. Figure 1은 PHE 기법의 개념도를 나타낸다. Figure 1과 같이 입력영상의 히스토그램에 임계치를 적용하여 임계치보다 큰 히스토그램 값을 임계치로 처리하여 히스토그램 평활화를 수행한다. PHE 기법은 히스토그램의 높은 확률분포를 차지하는 화소들의 영향을 임계치로 제한하여 밝기값이 과포화 되는 단점을 개선하고, 영상 전체의 명암비를 향상시킨다. 하지만 다양한 입력영상에 대한 임계치를 적응적으로 설정해야하는 어려움이 있고, 낮은 확률분포를 가지는 밝기값의 히스토그램 영역에서 명암비 향상처리가 수행되지 않아 세부정보가 손실되는 문제점이 있다. PHE 기법의 확률밀도함수는 식 (9)와 같이 표현할 수 있다.

Figure 1:

The process in plateau histogram equalization. (a) The original input histogram, (b) The setting of the Threshold, (c) The clipping of the histogram based on the threshold

$\[ p_T\left(X_k\right)=\begin{array}{cc}\left\{\begin{array}{cc}p\left(X_k\right),\hfill & p\left(X_k\right)\le T\\ T,\hfill & p\left(X_k\right)>T\end{array}\right.,\hfill & k=\mathrm{0,1},.., L-1\end{array} \]$

(9)

여기서, T 는 임계치를 의미한다.

2.3 제안한 기법

본 논문에서는 해상환경에서의 표적식별 성능 향상을 위한 적외선영상의 화질개선 기법을 제안한다. 아래 Figure 2은 해상환경에서의 적외선영상에 대한 히스토그램 분포 예를 보여준다. 해상환경의 적외선영상 Figure 2 (a)는 Figure 2 (c) ~ Figure 2 (d)와 같이 바다, 하늘영역인 배경성분이 영상의 대부분을 차지한다. 특히, 하늘영역은 고도에 따라 넓은 온도분포를 가지는 특성이 있어, 배경성분은 히스토그램 상에서 넓은 동적영역과 높은 확률분포를 가진다. 반면 표적성분은 배경영역에 비해 영상에서 차지하는 비율이 낮아 히스토그램 상에서 좁은 동적 영역과 낮은 확률분포를 가지는 특성을 Figure 2 (b)를 통해 확인 할 수 있다.

Figure 2:

Histogram distribution of Infrared Image. (a) The original input image, (b) The histogram distribution of input image, (c) The gray level of input image (x-z), (d) The gray level of input image (y-z)

따라서 이러한 특성을 갖는 해상환경의 적외선영상에서 표적식별 성능을 향상시키기 위해 본 논문에서는 Retinex알고리듬 기반의 개선된 PHE 기법을 제안한다. Figure 3은 본 논문에서 제안하는 알고리즘의 개념도를 나타낸다. Figure 3과 같이 입력영상에 Retinex알고리듬 기반의 서로 다른 크기의 평균필터를 적용하여 배경성분을 추정하여 제거하고, 그 결과값을 이용하여 PHE의 임계치를 적응적으로 설정한다. 이때 임계치는 표적성분의 히스토그램의 최대치로 설정하여 높은 확률분포를 가지는 배경성분을 억제하고 상대적으로 낮은 확률분포를 가지는 표적성분을 강조한다.

Figure 3:

Overview of proposed method

2.3.1 Retinex알고리듬 기반의 평균필터를 이용한 배경 추정

본 논문에서는 식 (10)과 같이 Retinex알고리듬을 수정하였다. 기존 Retinex알고리듬의 경우는 주변함수로 가우시안 필터를 적용하기 때문에 연산량이 많아 실시간 연산처리가 어렵다는 단점이 있다. 따라서 본 논문에서는 주변함수로 식 (11)과 같이 평균필터를 적용하여 연산량을 간소화하였다. 또한 평균영상은 Integral Image를 이용함으로써 다양한 크기의 물체가 존재하는 상황에서도 필터 크기에 무관한 실시간 연산처리 성능을 확보하였다.

$\[ R\left(x,y\right)=I\left(x,y\right)-B_i\left(x,y\right) \]$

(10)

$\[ B_i\left(x,y\right)=\frac{1}{m_i\times n_i}\sum _{x=1}^{m_i}\sum _{y=1}^{n_i}I\left(x,y\right) \]$

(11)

여기서, I(x,y)는 입력영상, B(x,y)는 배경영상, m_i, n_i는 i번째 평균필터 크기이다.

배경성분을 추정하기 위한 평균필터 크기는 영상의 노이즈 성분에 강인하며, 영상 내에서 주변영역과의 유사 밝기를 얻기에 용이한, 크기가 큰 평균필터를 사용하는 것이 효과적이다. 하지만 Figure 4 (a)와 같이 크기가 큰 단일 평균필터만을 적용할 경우, 또는 Figure 4 (b)와 같이 다양한 크기의 평균필터를 적용할 경우, 밝기차가 큰 에지영역에서 빛의 테두리가 나타나는 halo artifact 왜곡[13]이 발생하게 된다. 따라서 본 논문에서는 배경성분을 추정하기 위한 평균필터로 서로 다른 크기의 평균필터 i개를 적용하고, 각 화소마다 평균필터를 적용한 결과값 중에서 최소값을 배경성분으로 간주한다. 이는 식 (12)과 같이 나타낼 수 있으며, 최소값을 적용함으로써 영상의 전역적인 밝기는 유지하면서, 국부적 에지영역에서는 Figure 4 (c)와 같이 halo artifact 왜곡을 줄인다.

Figure 4:

Result images according to filter Parameter. (a) 100×100 Single filter, (b) Mean filter (100×100, 50×50, 3×3), (c) Minimum filter ((100×100, 50×50, 3×3)

$\[ B_{\text{min}}\left(x,y\right)=\min \left(B_1\left(x,y\right),B_2\left(x,y\right),\dots ,B_i\left(x,y\right) \right) \]$

(12)

여기서, B_min(x,y)는 x, y화소에 i번째 평균필터를 적용한 결과값 중 최소값을 의미한다.

하지만, 각 화소마다 서로 다른 크기의 평균필터를 적용한 결과값 중 최소값을 적용할 경우 화소간의 밝기값이 불연속적인 구간이 발생하여 배경성분의 특성인 주변 화소와의 유사 밝기 분포를 가지는 특성이 저하될 수 있다. 따라서 본 논문에서는 식 (13)과 같이 B_min(x,y)를 한번 더 평활화하여 입력영상에서 제거함으로써 배경성분이 감소된 영상R_m(x,y)을 얻는다.

$\[ R_m\left(x,y\right)=I\left(x,y\right)-{\tilde{B}}_{\text{min}}\left(x,y\right) \]$

(13)

여기서 $$ {\tilde{B}}_{\text{min}}\left(x,y\right)$$는 B_min(x,y)를 평활화한 영상을 의미한다.

2.3.2 적응적 PHE 기법을 이용한 표적성분 강조

본 논문에서 표적성분을 강조하기 위해 앞서 획득한 영상 R_m(x,y)을 이용한다. R_m(x,y)은 배경성분을 감소시킨 영상으로 원본영상에 비해 영상의 히스토그램을 배경성분과 표적성분으로 쉽게 구분할 수 있다. 따라서 본 논문에서는 배경성분과 표적성분을 식 (14)와 같이 밝기값 R_T를 기준으로 분리하여 PHE 기법을 수행한다. 이때, PHE 기법의 임계치T_h는 아래 식 (15)와 같이 표적성분에 해당하는 히스토그램의 최대치로 설정하여 임계치를 넘는 배경성분의 히스토그램 값을 임계치로 처리하여 배경성분에 대한 영향을 줄이고, 상대적으로 표적성분을 강조한다.

$\[ R_T=\frac{R_{Max}-R_{Avg}}{2} \]$

(14)

$\[ \begin{array}{cc}{T}_h=\max \left(h\left(R_k\right)\right),& k=R_T,\dots ,L-1\end{array} \]$

(15)

여기서, R_Avg 영상의 평균 밝기값, R_Max는 영상의 최대밝기값, h(R_k)는 영상 히스토그램을 의미한다.

임계치에 의해 배경성분의 히스토그램이 제한된 영상의 확률밀도 함수는 식 (16)과 같이 표현할 수 있다. 표적성분을 더 강조하기 위해 가중치α를 이용하여 표적영역의 히스토그램 확률분포를 조정하여 표적 명암비를 향상시킬 수 있다. Figure 5는 다양한 가중치를 적용하여 얻는 결과영상이다. Figure 5에서 확인할 수 있듯이 가중치는 표적성분을 강조할 수 있지만 영상의 평균밝기는 감소시킨다. 본 논문에서 가중치는 1로 설정하였다.

(16)

Figure 5:

Result Images for weight α (a) α=1, (b) α=2, (c) α=3, (d) α=5

3. 실험 및 결과 분석

본 논문에서 제안하는 기법의 성능을 검증하기 위해 다양한 적외선영상을 이용하여 기존의 PHE, BHEPL, SAPHE, MSAPHE 방법과 제안한 기법을 비교 평가한다. 실험에 사용된 적외선영상은 해상환경에서 표적으로 간주할 수 있는 선박, 항공기, 그 외 지형/지물이 포함된 영상을 사용하였으며, 총 220개의 영상은 표적별로 분류하였다. Class-1은 선박영상 100개, Class-2는 항공기 영상 50개, Class-3은 지형/지물 영상 70개로 구성하였으며, 14bit, 640×480(pixel) 해상도를 가진다. 표적 별 대표 영상은 아래 Figure 6 과 같다. 객관적 평가지표는 영상의 히스토그램의 균등 분포를 측정할 수 있는 DE(Discrete Entropy)[14]를 적용하였고, DE는 아래 식 (17)과 같이 정의된다.

Figure 6:

Test target classes. (a) Class-1: Ship, (b) Class-2: Aircraft, (c) Class-3: Ground

여기서, p(l)은 PDF를 의미한다.

실험을 위해 제안한 기법에 적용한 평균필터 크기는 3×3, 50×50, 100×100, 3개의 필터 크기를 사용하였고, 기존 PHE 기법의 임계치는 실험적으로 150으로 설정하여 시뮬레이션을 수행하였다.

Figure 7 (a)는 Class-1의 해수면 배경에 선박 표적이 포함된 영상이며 Figure 7 (b) ~ Figure 7 (f)는 기존 알고리듬과 제안한 알고리듬을 적용하여 얻은 결과영상이다. Figure 8 (a)는 Class-1의 해수면 배경에 선박 표적, Class-3의 하늘과 해수면 경계에 지형/지물 표적, Figure 9 (a)는 Class-2의 하늘 배경에 항공기 표적, Class-3의 하늘 배경에 지형/지물 표적이 포함된 영상이며, Figure 8 (b) ~ Figure 8 (g), Figure 9 (b) ~ Figure 9 (g)은 기존의 알고리듬과 제안한 알고리듬을 적용한 결과영상에서 표적으로 간주되는 부분을 확대한 것이다. 영상으로 확인할 수 있듯이 해상환경의 대부분의 배경성분은 해수면과 하늘임을 확인 할 수 있다. 따라서 영상의 히스토그램은 배경성분에 집중된다. 기존의 PHE, BHEPL, SAPHE, M-SAPHE 알고리듬은 이러한 집중되는 히스토그램을 임계치로 제한하는 방법을 사용한다. 하지만 기존의 기법들은 표적성분을 고려하지 않기 때문에 Figure 7, Figure 8, Figure 9의 결과영상과 같이 표적으로 간주되는 영역에서 과포화 현상이 여전히 존재하는 것을 확인 할 수 있다. 또한 낮은 확률분포를 가지는 표적영역에서의 정보손실로 표적을 식별하는데 어려움이 있다. 반면, 제안한 기법은 영상을 구성하는 배경성분을 최대한 제거하여 히스토그램 평활화를 수행하였다. 그 결과, 제안한 기법을 적용한 영상의 평균밝기값이 기존 기법들에 비해 감소되었지만, 표적영역에서 과도한 밝기차로 인해 발생하는 과포화현상이 개선됨을 확인 할 수 있다. 또한 PHE기법의 임계치를 표적성분의 히스토그램의 최대값으로 설정함으로써 표적영역에서 명암비가 향상되고 표적영역의 세부정보 손실을 최소화하여 영상에서 표적식별이 기존 기법들에 비해 용이함을 결과영상을 통해 확인하였다.

Figure 7:

Result Images of Class-1 for various enhancement methods. (a) Input image, (b) PHE, (c)SAPHE, (d) MSAPHE, (e) BHEPL, (f) Proposed method

Figure 8:

Result Images of Class-1 & 3 according to enhancement methods. (a) Input images, (b) Target image of (a), (c) PHE, (d) SAPHE, (e) MSAPHE, (f) BHEPL, (g) Proposed method

Figure 9:

Result Images of Class-2 & 3 according to enhancement methods. (a) Input images, (b) Target image of (a), (c) PHE, (d) SAPHE, (e) MSAPHE, (f) BHEPL, (g) Proposed method

아래의 Table 1은 객관적인 평가지표인 DE를 이용하여 표적 별 평균 DE를 측정한 결과이다. DE는 히스토그램이 균등하게 분포되어 있을 경우 높은 수치를 나타내며 히스토그램이 특정영역에 집중되어 있다면 상대적으로 낮은 수치를 나타낸다. 표에서 확인할 수 있듯이, 제안한 기법이 기존의 기법에 비해 DE 측정값이 높은 것으로 보아 기존 기법에 비해 화질개선 성능이 향상되었음을 확인하였다.

Table 1:

Comparison of DE results on objective evaluation

4. 결 론

본 논문에서는 해상환경에서의 표적식별 성능 향상을 위한 적외선영상 화질개선 기법을 제안하였다. 제안한 기법은 해상환경에 적합하도록 Retinex알고리듬을 개선하여 표적/배경성분 분리가 쉽도록 하였고, 이를 이용하여 PHE 기법의 임계치를 표적성분 히스토그램의 최대치로 설정함으로써, 배경성분에 대한 영향을 줄이고 상대적으로 표적성분을 강조하여 히스토그램의 낮은 확률분포를 가지는 표적영역에 대한 정보 손실을 최소화하였다. 또한 기존 기법들이 가지는 문제점인 과도한 밝기 변화에 따른 과포화 현상을 개선하고, 배경과 표적에 대한 명암비를 향상시켜 해상환경에서도 표적식별이 용이하도록 하였다. 이는 실험을 통해 객관적, 주관적 성능을 확인하였으며, 실험결과에서 제안한 알고리듬의 결과가 기존 기법에 비해 우수한 성능을 나타냄을 확인하였다.

Acknowledgments

References

• R. C. Gonzalez, and R. E. Woods, Digital Image Processing, 3rd Edition, Prentice-Hall, Inc., Upper Saddle River, NJ, USA, (2006).
• V. E. Vichers, “Plateau equalization algorithm for real-time display of high-quality infrared imagery”, Optical Engineering, 35(7), p1921-1926, (1996).
• B. Wang, S. Liu, Q. Li, and H. Zhou, “A real-time contrast enhancement algorithm for infrared images based on plateau histogram”, Infrared Physics and Technology, 48, p77-82, (2006). [https://doi.org/10.1016/j.infrared.2005.04.008]
• A. Raju, G. S. Dwarakish, and D. V. Reddy, “Histogram equalization based mean self-adaptive plateau histogram equalization for brightness preserving and contrast enhancement”, The 3rd World Conference on Applied Sciences, Engineering and Technology, p232-239, (2014).
• C. H. Ooi, N. S. P. Kong, and H. Ibrahim, “Bi-histogram equalization with a plateau limit for digital image enhancement”, IEEE Transactions on Consumer Electronics, 55(4), p2072-2080, (2009). [https://doi.org/10.1109/tce.2009.5373771]
• A. S. Parihar, and O. P. Verma, “Contrast enhancement using entropy-based dynamic sub-histogram equalization”, The Institution of Engineering and Technology Image Processing, 10(11), p799-808, (2016). [https://doi.org/10.1049/iet-ipr.2016.0242]
• Z. Yao, Q. Zhou, X. Yang, C. Yang, and Z. Lai, “Quadrants histogram equalization with a clipping limit for image enhancement”, 2016 8th International Conference on Wireless Communications & Signal Processing, p1-5, (2016). [https://doi.org/10.1109/wcsp.2016.7752466]
• A. Paul, P. Bhattacharya, S. Maity, and B. bhattacharyya, “Plateau limit-based tri-histogram equalization for image enhancement”, The Institution of Engineering and Technology Image Processing, 12(9), p1617-1625, (2018). [https://doi.org/10.1049/iet-ipr.2017.1088]
• D. J. Jobson, Z. Rahman, and G. A. Woodell, “Properties and performance of a center/surround retinex”, IEEE Transactions on Image Processing, 6(3), p451-462, (1997). [https://doi.org/10.1109/83.557356]
• E. Land, and J. Mccann, “Lightness and retinex theory”, Journal of the Optical Society of America, 61(1), p1-11, (1971). [https://doi.org/10.1364/josa.61.000001]
• W. S. Lee, K. H. Kim, and S. W. Lee, “Thermal infrared image enhancement method based on retinex”, The Institute of Electronics Engineers of Korea, p32-39, (2011), (in Korean).
• Z. U. Rahman, D. J. Jobson, and G. A. Woodell, “Multi-scale retinex for color image enhancement”, Proceedings on 3rd IEEE International Conference on Image Processing, p1003-1006, (1996). [https://doi.org/10.1109/icip.1996.560995]
• T. H. Lee, and W. J. Song, “Adaptive windowing for sharpness enhancement and halo reduction”, The Institute of Electronics of Electronics Engineers of Korea, p893-894, (2008), (in Korean).
• L. Zhuang, and Y. Guan, “Image enhancement via subimage histogram equalization based on mean and variance”, Hindawi Computational Intelligence and Neuroscience, 2017, p1-12, (2017). [https://doi.org/10.1155/2017/6029892]