TFT-LCD 셀 영상에서 Saliency map 기반 결함 강조 알고리즘

1. 서 론

TFT-LCD(Thin Film Transistor Liquid Crystal Display)의 결함검출은 목시검사자에 의해 이루어졌으나 목시검사자의 건강상태 및 숙련도에 따른 검사율이 상이할 뿐만 아니라, TFT-LCD 산업의 발달과 함께 늘어나는 수요를 감당하기 힘들다[1]. 이러한 문제를 극복하기 위해, 영상처리를 이용한 결함 및 불량의 자동검출 및 분류에 대한 연구가 진행되고 있다. 생산비 절감 및 품질 향상을 통해 신뢰성 있는 자동결함 검사시스템의 개발은 영상획득에서부터 카메라 왜곡보정 및 조명성분 제거 등의 전처리[2]-[4], 결함 후보 화소 검출[5]-[7], 결함 BLOB(Binary Large Object) 검출[8], 결함 BLOB 분석에 이르기까지 다양한 분야에 걸쳐 이루어지고 있다.

영상 획득 장비 성능의 향상 및 사용자의 요구수준의 향상에 따라 저해상도 뿐만 아니라 고해상도 TFT-LCD 영상에서 결함 검출도 요구되고 있으며, 고해상도 TFT-LCD 영상에 맞는 결함검출 기법에 대한 방법이 필요하다. 고해상도 TFT-LCD 영상은 저해상도와 달리 셀 패턴이 드러나게 되며, 배경성분이 균일한 휘도를 갖는 저해상도와 큰 차이를 가지는 특징이 있다.

기존의 셀영상에 대한 결함검출 방법으로 주파수 대역의 처리를 이용한 결함검출 방법[4]이 제안되었는데, 이는 주기적으로 셀 패턴이 반복하는 특징을 이용하여 주파수 대역에서 필터링을 통해 셀 패턴 정보를 억제하고, 결함화소를 검출하는 방법이다. 그러나 경계가 불명확한 셀 패턴의 일부가 잔재하여 결함의 과검출을 발생시킨다. 이는 결함의 BLOB을 형성할 때 비정상적인 형태의 BLOB을 형성하여 결함 분석에 방해요소로 작용하게 된다. 따라서 셀 패턴의 제거 후, 노이즈와 유사한 특징을 가지는 셀 패턴 정보를 추가적으로 억제하고, 결함을 강조하여 신뢰도 높은 결함검출 방법이 필요하다.

본 논문에서는 이를 위해 Saliency map 기반의 결함 강조 기법[7]을 제안한다. 제안된 방법은 결함의 형태학적 특성과 휘도 정보를 이용하여 S map(Shape map)과 B map(Brightness map)을 구성한 후, 이를 결합하여 개선된 영상(Saliency map)을 획득한다. 따라서 제안된 방법은 셀 패턴 정보와 구별되는 결함의 특성을 고려하여 효과적으로 강조할 수 있게 된다. 그리고 배경과 결함의 휘도차가 증가함에 따라, STD(Standard deviation) 기반의 결함 검출 시에 사용되는 임계값의 변화에도 강인한 결함검출 결과를 확인할 수 있다.

본 논문의 구성은 다음과 같다. 먼저 2장에서는 기존의 주파수 영역 패턴 제거기법에 대해 간략히 소개한 후, Saliency map을 이용한 결함 강조 기법을 설명한다. 그리고 3장에서는 제안 방법을 적용한 실험결과를 통해 성능을 검증하고, 마지막으로 4장을 통해 결론을 맺는다.

2. 본 론

고해상도 TFT-LCD 셀 영상이 저해상도 TFT-LCD 영상과 가장 큰 차이점은 R, G, B 셀이 반복적으로 나타나는 점이다. Figure 1은 TFT-LCD 셀 영상 중 하나의 예를 나타낸다.

Figure 1:

Example of TFT-LCD cell image

균일한 휘도분포를 가지는 저해상도 영상과 달리, 고해상도 셀 영상에서는 R, G, B 패턴이 가지는 휘도분포가 서로 다를 뿐만 아니라 휘도차이도 크다. 따라서 일반적인 저해상도 영상의 결함검출 알고리즘을 적용하기는 매우 어렵다.

Figure 2는 TFT-LCD 셀 영상에 대해 결함강조 Saliency map을 이용한 결함 강조기법을 적용한 결과이다.

Figure 2:

False process of defect enhancement by saliency map, (a) defect image, (b) false enhanced image.

Figure 2에서 확인할 수 있듯이, TFT-LCD 셀 영상과 같은 배경성분이 균일하지 않은 영상에 대해서는 Saliency map을 이용한 결함 강조기법을 적용할 수 없음을 확인할 수 있다. 따라서 셀 영상에서 견실한 결함검출을 위해서 배경과 셀 패턴 정보의 분석 및 제거가 요구된다.

본 논문에서는 푸리에 변환을 이용한 셀 패턴 제거를 한 후, Saliency map을 적용하는 방법을 제안한다. 제안 방법을 통해 푸리에 변환을 이용한 셀 패턴 제거결과로부터 배경과 결함의 휘도차이를 강조할 수 있었으며, Saliency map이 셀 패턴 영상에 대해 적용되지 않는 문제를 해결할 수 있다.

2.1 푸리에 변환을 이용한 셀 패턴 제거

R, G, B 셀이 주기적으로 반복되는 영상 특성에 따라, 푸리에 변환을 수행하면 주파수 영역에서 높은 에너지를 가지는 스펙트럼 영역이 나타난다. 이러한 높은 에너지를 가지는 스펙트럼 영역을 억제한 후, 역 푸리에 변환을 통해 셀 패턴이 억제된 영상을 획득할 수 있다[4].

Figure 3은 원영상의 크기는 12000 × 1000 크기의 TFT-LCD 셀 영상에 대해 결함 영역을 순차적으로 확대한 그림이며, 각각 1000 × 1000과 100 × 100으로 확대하였다.

Figure 3:

Example of defect in TFT-LCD cell image

입력 영상 f(x,y)에 대해 DFT(Discrete Fourier Transform)을 적용한 영상을 F(u,v)라 할 때, 다음 ① ~ ⑤의 과정을 통해 셀 패턴을 제거한다.

① 먼저 F(u,v) 영상에 대해 스펙트럼의 크기 X(u,v)를 식 (1)과 같이 나타낸다.

$\[ X\left(u,v\right)=\left|F\left(\left(u,v\right)\right)\right| \]$

(1)

② 스펙트럼 영상 X(u,v)의 분포를 평균(μ)과 표준편차(σ)를 이용하여 식 (2)와 같이 정규분포 Z(u,v)로 변환한다.

$\[ Z\left(u,v\right)=\frac{X\left(u,v\right)-\mu }{\sigma } \]$

(2)

③ Z(u,v)영상에 대해 에일리어싱(aliasing) 오류를 줄이기 위해 식 (3)과 같이 가우시안 마스크와의 콘볼루션 연산을 적용하여 필터링 된 영상 H(u,v)를 획득한다.

$\[ H\left(u,v\right)=Z\left(u,v\right)*G\left(u,v\right) \]$

(3)

④ 필터링 된 H(u,v) 영상에 임계값 l을 사용하여 셀 패턴의 주파수 성분을 식 (4)과 같이 추출한 후, 초기 스펙트럼 영상 X(u,v)와의 콘볼루션을 통해 셀 영역의 스펙트럼을 식 (5)와 같이 제거한다.

(4)

$\[ R\left(u,v\right)=X\left(u,v\right)*T\left(u,v\right) \]$

(5)

⑤ 셀 패턴의 스펙트럼이 제거된 R(u,v)에 대해 역 푸리에 변환을 적용하여 셀 패턴이 제거된 영상 g(x,y)를 식 (6)과 같이 얻는다.

$\[ g\left(x,y\right)=IDFT\left[R\left(u,v\right)\right] \]$

(6)

Figure 4는 셀 패턴이 제거된 후의 결과영상으로써 결함 영역의 휘도값이 높게 나타나지만 완벽히 제거되지 못한 셀 패턴의 화소들도 높은 휘도를 가지는 문제점이 남아 있다.

Figure 4:

Cell pattern removed image by using Fourier transform for Figure 3 (l = 4)

2.2 Saliency map을 이용한 결함 강조

결함의 휘도는 강조하고 배경의 셀 패턴의 휘도는 억제하기 위해 Saliency map을 이용한 결함 강조 기법[7]을 제안한다. 제안한 방법은 먼저 TFT-LCD 영상으로부터 S map(Shape map)과 B map(Brightness map)을 각각 생성한다.

먼저 S map은 결함의 형태적인 특성을 고려한 영상으로, 결함강조를 위해 DoG(Difference of Gaussian) 필터를 설계하였다. 필터는 대표적인 원형 검출 필터인 LoG(Laplacian of Gaussian) 필터의 근사를 위해 사용되며 식 (7)과 같이 정의되었다.

$\[ DoG\left(x,y,{\sigma }_1,{\sigma }_2\right)=G\left(x,y,{\sigma }_1\right)-G\left(x,y,{\sigma }_2\right) \]$

(7)

이 때 G는 가우시안 필터로써 각각 σ₁과 σ₂일 때의 필터를 나타낸다.

DoG 필터를 이용한 결함 강조를 위해, 가우시안 필터 G(x,y,σ₁)의 표준편차 σ₁의 크기는 결함의 반지름으로 설정하며, 두 번째 가우시안 필터에 대한 표준편차는 LoG필터와의 오차를 최소화할 수 있도록 σ₂=1.6×σ₁을 만족하도록 설정한다.

셀 패턴이 제거된 신호 g(x,y)가 입력신호일 때, DoG 필터의 Convolution을 통해 S map을 식 (8)과 같이 정의한다.

$\[ g_S\left(x,y\right)=\frac{g\left(x,y\right)*DoG\left(x,y,{\sigma }_1,{\sigma }_2\right)}{c} \]$

(8)

여기서 c는 S map의 결과가 0과 1 사이의 값을 가지도록 정규화를 위한 상수이다.

휘도값을 고려한 B map의 구성은 식 (9)과 같이 낮은 휘도 값은 억제시키고 높은 휘도 값은 강조하여 나타낸다.

$\[ g_B\left(x,y\right)=\left\{\begin{array}{c}\begin{array}{cc}0,\hfill & g\left(x,y\right)\leqq m\hfill \end{array}\hfill \\ \begin{array}{cc}c{g}_n{\left(x,y\right)}^{\gamma },\hfill & g\left(x,y\right)>m\hfill \end{array}\hfill \end{array}\right. \]$

(9)

여기서 g_n(x,y)는 0과 1 사이의 값을 갖도록 정규화된 입력영상을 의미하며, m은 입력 영상의 평균 휘도값이다. 그리고 c와 γ는 양의 값을 가지는 상수이다.

S map와 B map으로부터 결함이 강조된 영상 g_E(x, y)를 식 (10)과 같이 구성한다.

$\[ g_E\left(x,y\right)=\alpha g_S\left(x,y\right)\circ \left(1-\alpha \right)g_B\left(x,y\right) \]$

(10)

여기서 α는 각 map의 반영 정도를 표현하는 가중치이며, ∘는 가중치가 곱해진 두 map의 Hadamard product 연산을 의미한다.

Figure 5는 Figure 4의 셀 패턴 제거 결과 영상에 대해 Saliency map을 적용하여 결함을 강조하는 과정을 나타낸 그림이다.

Figure 5:

Process of defect enhancement by saliency map, (a) shape map, (b) brightness map, (c) enhanced image

Figure 5 (a)와 Figure 5 (b)는 각각 식 (8)과 식 (9)를 통해 획득한 S map과 B map을 나타내며, Figure 5 (c)는 식 (10)을 적용하여 결함을 강조한 결과이다.

Figure 4와 Figure 5 (c)의 결과 비교를 통해, 결함의 휘도성분을 강조하고 배경 성분의 휘도를 억제함으로써 결함강조효과를 얻을 수 있음을 확인하였다.

2.3 STD 기반 결함 검출

셀 패턴의 제거 및 결함강조가 된 영상에서, 배경 영역의 휘도에 비해 결함 영역의 휘도는 큰 차이를 가지게 된다. 평균 휘도와 차이가 큰 화소일수록 결함영역의 화소일 확률이 높기 때문에, 영상의 휘도 평균 및 표준편차를 이용하여 결함 화소들을 검출할 수 있다. 식 (11)은 결함화소를 검출하기 위한 임계값을 결정하는 식이다.

$\[ TH\left(k\right)=m+k\sigma , \]$

(11)

여기서 m과 σ는 영상 g(x,y)의 평균과 표준편차를 나타내며, 가중치 k에 의해 임계값이 조절된다.

Figure 6은 Figure 5 (c)의 히스토그램이며, 식 (11)에서 가중치 k가 2일 때 결정된 임계값을 붉은 쇄선으로 함께 나타낸 그림이다.

Figure 6:

Histogram of Figure 5 (c)

임계값을 통해 결함을 검출한 이진화 영상은 식 (12)와 같다.

(12)

Figure 7은 Figure 4과와 Figure 5 (c)에 대해 식 (12)를 적용하여 결함을 검출한 결과 영상이다.

Figure 7:

Defect detection image using STD-based method for Figure 4 and Figure 5 (c), (a) result of Figure 4 with k =2, (b)-(d) result of Figure 5 (c) with k = 0.5, 1, 2.

Figure 7 (a)와 같이 기존의 패턴 제거결과는 임계값에 따라 패턴정보가 과검출 되는 문제점이 있었으나, Figure 7 (b) ~ Figure 7 (d)와 같이 제안 방법을 적용할 경우 결함강조로 인해 임계값의 변화에도 불구하고 배경의 과검출이 나타나지 않아 안정적인 결함검출이 되었음을 확인할 수 있다.

Figure 8은 제안한 알고리즘의 흐름도이다.

Figure 8:

Proposed algorithm flowchart

3. 실 험

제안된 알고리즘의 성능 확인을 위해 결함을 포함한 실제 TFT-LCD 셀 영상을 사용하였다. 이 때 결함은 가장 빈번하게 발견되는 결함 유형인 얼룩성 결함이다. 전체 TFT-LCD 영상의 크기는 12000 × 1000 사이즈이며, 본 논문에서는 400 × 400 크기의 결함이 포함된 영역에 대해 실험을 진행한 후, 결함을 중심으로 한 100 × 100 크기의 영역에 대해 확대하여 나타내었다.

Figure 9는 실험에 사용된 3개의 결함 영상을 나타낸 그림이며 결함이 존재하는 영역에 대해 사각형으로 표시하였다.

Figure 9:

TFT-LCD cell images with defect

Figure 10은 입력된 영상에 대해, 주파수 대역의 처리를 통한 셀 패턴 정보 제거 결과와 제안한 Saliency map을 이용한 결함 강조 결과를 각각 나타내었다.

Figure 10:

Defect enhancement results in cell images. (a)-(c) cell pattern removed image of Figure 9, (d)-(f) defect enhancement image by saliency map.

Figure 10 (a) ~ Figure 10 (c)와 같이 셀 패턴 정보를 제거하더라도 결함과 유사한 휘도를 갖는 배경성분이 여전히 남아 있음을 확인할 수 있다. Figure 10 (a) ~ Figure 10 (c)의 영상에 대해 Saliency map을 적용한 Figure 10 (d) ~ Figure 10 (f)의 경우에는 배경과 결함의 휘도차가 강조되었음을 확인할 수 있다.

Figure 11은 Figure 10에 대해 동일한 가중치(k=2)를 갖는 STD 방법을 적용한 결함 검출결과를 나타낸 그림이다.

동일한 가중치를 이용하여 결정된 임계값을 사용함에 있어서, 배경성분의 과검출이 발생한 Figure 11 (a) ~ Figure 11 (c)의 결과에 비해 제안한 Saliency map을 적용한 Figure 11 (d) ~ Figure 11 (f)가 안정적으로 결함을 검출하였음을 확인할 수 있다.

Figure 11:

STD based defect detection results of Figure 10 with k = 2.

4. 결 론

본 논문에서는 TFT-LCD 셀 패턴 영상에서 Saliency map을 이용한 결함강조 방법을 제안하였다. 실제 TFT-LCD 결함 영상에 적용하여 성능을 확인한 결과, 기존의 셀 패턴 제거 기법 결과에서는 셀 패턴의 휘도가 잔재하였으나, 제안한 Saliency map 기반 결함강조를 통해 결함의 휘도 강조 및 배경의 셀 패턴을 억제하여 개선된 결과를 얻을 수 있었다. 또한 결함강조로 인해 배경과 결함의 휘도차가 분명해 짐에 따라, 임계값의 변화에도 안정적인 결함검출 결과를 얻을 수 있었다. 제안 알고리즘에서는 Shape map의 구성에서 얼룩성 결함의 강조를 중심으로 DoG 필터를 이용한 결함강조가 적용되었으며, 차후 다양한 형태의 결함강조를 위해 Shape map 구성을 위한 필터 연구를 목표로 한다.

Acknowledgments

이 논문은 2017년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(과제번호: NRF-2016R1D1A1B03935442).

References

• Y. Ishii, “The world of liquid-crystal display TVs-past, present and future”, Journal of Display Technology, vol. 3(no. 4), p351-360, (2007). [https://doi.org/10.1109/jdt.2007.909381]
• S. Uchikoga, and N. Ibaraki, “Low temperature poly-Si TFT-LCD by excimer laser anneal”, Thin Solid Films, vol. 383(no. 1), p19-24, (2001). [https://doi.org/10.1016/s0040-6090(00)01644-8]
• E. M. Stein, and G. Weiss, “Introduction to fourier analysis on euclidean spaces”, Princeton University Press, (1971).
• Y. T. Jung, S. M. Lee, and K. H. Park, “Defect detection based on periodic cell pattern elimination in TFT-LCD cell images”, Journal of the Korean Society of Marine Engineering, vol. 41(no. 3), p251-257, (2017), (in Korean). [https://doi.org/10.5916/jkosme.2017.41.3.251]
• S. L. Chen, and S. T. Chou, “TFT-LCD mura defect detection using wavelet and cosine transforms”, Journal of Advanced Mechanical Design, Systems, and Manufacturing, vol. 2(no. 3), p441-453, (2008). [https://doi.org/10.1299/jamdsm.2.441]
• Y. H. Liu, S. H. Lin, Y. L. Hsueh, and M. J. Lee, “Automatic target defect identification for TFT-LCD array process inspection using kernel FCM-based fuzzy SVDD ensemble”, Expert Systems with Applications, vol. 36(no. 2), p1978-1998, (2009). [https://doi.org/10.1016/j.eswa.2007.12.015]
• E. Y. Lee, and K. H. Park, “Mura defect enhancement based on saliency map in TFT-LCD image”, Journal of Korea Multimedia Society, vol. 19(no. 3), p626-632, (2016), (in Korean). [https://doi.org/10.9717/kmms.2016.19.3.626]
• E. Y. Lee, and K. H. Park, “TFT-LCD defect blob detection based on sequential defect detection method”, Journal of the Korea Industrial Information Systems Research, vol. 20(no. 2), p73-83, (2015), (in Korean). [https://doi.org/10.9723/jksiis.2015.20.2.073]