피치 비교(Pitch Compare) 방법은 TFT-LCD 셀 영상의 특징인 영상 내 특정 휘도 분포가 주기적으로 반복되는 점을 이용한다. 템플릿 영상(Template Image)을 사용하여 템플릿과 주어진 영상간의 비교를 통해 패턴을 제거한다. 여기서 패턴의 방향별 주기가 동일한 패턴을 피치 패턴(pitch parttern)이라 한다. 각 픽셀에 대해 Figure 2와 같이 화소간의 거리가 피치와 동일한 8방향 픽셀의 휘도를 비교한다.

Figure 2: 
Mask and mask application scheme of pitch pattern compare method

Figure 3은 각 픽셀에 대해 Figure 2와 같은 8방향 피치 비교를 적용하였을 때 휘도값의 차를 나타낸 그림이다. 정상 영역은 8방향의 픽셀들과 동일한 휘도값을 가져 제거가 되었으며, 결함 영역은 결함의 종류에 따라 암결함 혹은 휘결함으로 표시가 된다.

Figure 3: 
Pattern removal result using pitch pattern compare method

그러나 이러한 피치 비교 방법은 영상에 기울어짐이 존재하게 되면 피치 비교 방식이 적용이 어려우며 셀 패턴 제거가 난해할 뿐만 아니라 영상의 크기에 따라 수행시간이 크게 증가하는 문제점이 있다. Figure 4는 실제 TFT-LCD 셀 패턴 영상에 기울어짐 왜곡이 존재할 때 피치 비교방법을 적용한 결과로써, 결함의 유무를 판별하기 어려울 뿐만 아니라 피치의 방향과 기울어진 셀 패턴 간의 불일치로 영상 전체에 오검출이 발생함을 확인할 수 있다.

Figure 4: 
The result of applying the pitch pattern compare method to distorted image

본 논문에서는 피치 비교 방식이 가지는 기울어짐 왜곡에 취약한 점과 영상의 크기가 커짐에 따라 수행시간이 크게 증가하는 문제를 해결하기 위해 퓨리에 변환을 이용한 주파수 영역에서의 셀 패턴 제거 방식을 제안한다.

TFT-LCD 셀 영상에 대해 퓨리에 변환(Fourier Transform)을 적용할 경우, 반복해서 나타나는 R,G,B 셀에 의해 높은 에너지를 가지는 스펙트럼 영역이 나타난다. 이러한 높은 에너지를 가지는 스펙트럼 영역을 제거한 후, 역 퓨리에 변환을 적용하게 되면 TFT-LCD 영상의 셀 영역이 제거된 영상을 획득할 수 있다.

먼저 f(x,y)는 TFT-LCD의 셀 영상을 나타내며, F(u,v)는 f(x,y)의 DFT(Discrete Fourier Transform)를 나타낸다. Figure 5는 전체 12000×1000 크기의 TFT-LCD 영상에 대해 결함이 포함된 영역을 1000×1000 크기로 잘라낸 영상과 해당 영상에 대해 결함이 포함된 부분을 100×100으로 잘라 확대한 그림이다.

Figure 5: 
Example of defect in TFT-LCD cell image

1) 먼저 F(u,v)영상에 대해 스펙트럼의 크기 X(u,v)를 식 (1)과 같이 나타낸다.

Figure 6은 Figure 5의 영상에 대한 스펙트럼 영상인 X(u,v)를 나타낸다.

Figure 6: 
The spectrum image of Figure 5

Figure 6으로부터 스펙트럼 영상에서 0^o와 90^o 방향에서 큰 값을 가짐을 알 수 있고, 이들은 셀 패턴에 의해 스펙트럼이 크게 나타나게 된다.

2) 스펙트럼 영상 X(u,v)의 분포를 식 (2)와 같이 정규 분포 Z(u,v)로 변환한다.

여기서 μ_X와 σ_X는 스펙트럼에서 계수들의 평균과 표준편차를 나타낸다. 일반적으로 셀 패턴의 주파수 계수는 스펙트럼의 평균 μ보다 큰 값을 가지므로 배경에 해당하는 스펙트럼의 계수는 작은 값을 가지며, 셀 패턴에 해당하는 스펙트럼의 계수일수록 큰 값을 가지게 된다.

3) Z(u,v)영상에 대해 Aliasing 오류를 줄이기 위해 Gaussian 마스크를 식 (3)과 같이 사용한다.

여기서 G(u,v)는 Gaussian 마스크를 나타내고, * 연산은 Convolution 연산을 나타낸다.

필터 된 H(u,v) 영상에 대해 다음의 필터를 제안한다. 주파수 성분은 배경에 비해 상대적으로 높은 에너지를 가지므로 임계값 l을 사용하여 셀 패턴의 주파수 성분을 식 (4)과 같이 추출한다.

추출된 T(u,v) 스펙트럼 영상에 대해 식 (5)와 같이 초기 스펙트럼 영상 X(u,v)와 Convolution을 하여 셀 영역의 패턴을 제거한다.

Figure 7은 Figure 6의 영상에 대해 임계값 l = 2 일 때 필터 영상 R(u,v)를 나타낸다.

Figure 7: 
The filtered image R(u,v) of Figure 6

4) R(u,v) 스펙트럼 영상에 대해 역 퓨리에 변환을 식 (6)와 같이 적용하여 셀 패턴이 제거된 영상 g(x,y) 를 얻는다.

Figure 8은 Figure 5의 셀 패턴이 제거된 스펙트럼 영상에 대해 식 (3)을 적용하여 획득된 영상과 결함 부근 영역의 영상을 나타낸다. Figure 9는 Figure 5와 Figure 8의 결함 영역에 대한 라인프로파일을 나타낸 그림이다. Figure 9(c)와 같이 휘도는 규칙적으로 증가와 감소를 반복하며, 결함 영역에서 왜곡이 발생하는 형태임을 확인할 수 있다. 그리고 제안한 퓨리에 변환을 적용한 결과 셀 패턴영역이 제거되어 휘도가 크게 감소하고 결함 영역은 상대적으로 강조가 되어 남아있는 것을 확인할 수 있다.

Figure 8: 
The cell pattern removal result image g(x,y)

Figure 9: 
Line profile of cell pattern removal result. (a) cell pattern image, (b) cell pattern removal image, (c) line profile of (a), (d) line profile of (b)

5) Figure 10은 식 (4)에서 사용된 문턱값 l에 따른 셀 패턴이 제거된 영상 g(x,y) 와 결함 부근의 라인프로파일을 나타낸다. Figure 10(a)와 (b)로부터 l = 0과 l = 1 일 때는 셀 패턴이 제거가 되지만 결함에 왜곡이 발생하여 결함검출에 어려움이 있음을 확인할 수 있다. 또한 Figure 6(a)의 l = 2 일때와 Figure 10(c)의 l = 3 일 때의 경우에는 셀 패턴이 신뢰성 있게 제거되었으며, 결함이 잘 검출되었음을 확인할 수 있다. 그러나 Figure 10(d)로부터 l = 4 와 같이 임계값이 커질 경우 셀 패턴이 남아 있음을 확인할 수 있으며, 따라서 임계값은 약 2~3의 값일 때 적절한 셀 패턴 제거 및 결함 영역의 강조가 이루어짐을 알 수 있다.

Figure 10: 
The cell pattern removal result image according to l, (a) l = 0, (b) l = 1, (c) l = 3, (d) l = 4

이와 같이 퓨리에 변환은 셀 패턴 제거에 효과적임을 확인할 수 있으며, 또한 영상의 기울어짐에도 강인한 특징을 갖고 있다.

다음 Figure 11은 퓨리에 변환이 영상의 기울어진 왜곡에도 강인함을 확인하기 위해 Figure 5의 영상에 대해 기울어짐을 적용하고 퓨리에 변환을 이용하여 셀 패턴을 제거한 영상이다.

Figure 11: 
Removal of cell pattern using Fourier transform for slanted image

Figure 11에서 확인할 수 있듯이 퓨리에 변환은 영상의 기울어짐 왜곡에 다소 강인하여 셀 패턴 제거가 양호하게 되었음을 확인할 수 있다.

셀 패턴이 제거된 영상에서 결함 영역의 휘도는 배경 영역의 휘도에 비해 크거나 작은 차이를 나타내며, Figure 10(c)에 대한 히스토그램 영상인 Figure 12에서는 히스토그램의 대부분을 차지하는 평균으로부터 떨어진 붉은 원 영역의 화소들로 표현할 수 있다.

Figure 12: 
Histogram of Figure 10 (c)

이는 영상의 평균과의 휘도차가 클수록 결함영역에 포함된 화소일 가능성이 높으며, 영상의 휘도평균과 표준편차를 이용하여 결함 화소들을 검출할 수 있음을 알 수 있다. 따라서 STD기반 결함검출 방법은 셀 패턴 영역이 제거된 영상 g(x,y)에서 식 (7)과 같이 임계값을 결정하여 결함화소를 검출한다.

여기서 μ_g과 σ_g는 영상 g(x,y)의 평균과 표준편차를 의미하며, k는 영상 g(x,y) 에서 결함이 차지하는 비율을 결정하는 가중치이다. Figure 13은 Figure 10(b)에 대해 STD 기반 방법에 의한 결함검출 결과 영상이다.

Figure 13: 
Defect detection image using STD-based method for Figure 10 (b)(k = 4)

이와 같이 제안 방법은 STD 기반의 결함검출을 적용함으로써 배경영역의 휘도와 결함 영역의 휘도차에 따른 임계값을 결정하여 결함검출을 견실히 할 수 있다.

Figure 14는 제안한 TFT-LCD 셀 영상에서 셀 패턴 제거 기반 결함검출 알고리즘의 흐름도이다.

Figure 14: 
Proposed algorithm flowchart