본 절에서는 1단계 어휘 수준 색인 및 검색에 대하여 설명한다. 어휘 수준 검색은 3단계 문장 축약 및 매칭 기법을 사용한다. Table 1은 어휘 수준 검색에서 각 단계별 문장 축약 수준을 나타낸다.

어휘 수준 검색은 Table 1에서 보는 것처럼 각 단계 별로 색인 대상이 되는 형태소 태그와 사용되는 휴리스틱 기법이 다르다. 1단계에서는 사용자 발화의 형태소 분석 결과를 모두 색인한다. 이를 기반으로 1단계에서 매칭될 경우 가장 정확한 응답이 선택되어 발화된다. 2단계에서는 사용자 발화의 형태소 분석 결과를 모두 색인 하지 않고 명사류, 동사, 형용사, 부사류를 대상으로 색인한다. 그리고 본용언과 문장 정보를 휴리스틱하게 추출하여 사용한다. 문장 정보는 문형, 형식, 시제가 있다. 3단계에서는 사용자 발화에서 명사류만 추출하여 색인한다. Table 2는 “난 병원 냄새가 너무 싫어”를 각 단계별로 색인한 예를 보여준다. Table 2에서 보는 바와 같이 입력 문장 “난 병원 냄새가 너무 싫어”에 대하여 위와 같이 축약되어 색인되기 때문에 이와 유사한 문장 “병원냄새는 너무 싫어”를 입력하여도 검색이 가능하다. 그러나 이 방법의 경우 축약의 단계가 낮은 경우에 검색된 결과가 거의 정확하다는 장점이 있지만, 어휘가 정확히 동일해야만 검색이 된다는 단점이 있다. 또한 축약의 단계가 높은 경우에는 입력과 너무 동떨어진 검색 결과가 나올 수 있다. 그래서 제안 방법에서는 어휘 수준 검색 1∼3단계를 순서대로 진행하지 않고, 어휘 수준 검색 1, 2단계 수행 후 2절의 의미 수준 검색을 수행한 뒤 어휘 수준 검색 3단계를 수행하도록 하였다.

사용자 발화를 의미 수준에서 색인 및 검색하기 위해서는 사용자 발화에서 의미 정보를 추출해야 한다. 이를 기반으로 사용자 발화를 준 의미 표현으로 변환하여 색인하고, 의미 표현 매칭 및 순위화 한다.

3.2.1 의미 정보 추출 및 의미 표현 색인

본 절에서는 의미 정보를 추출하고, 이를 기반으로 의미 표현 색인하는 방법에 대하여 설명한다. 본 논문에서 사용한 의미 정보는 Table 3, 4, 5와 같이 정의한다.

Table 5에서 격 정보를 다섯 가지만 사용한 이유는 그 이상 세분화하여 사용할 경우 정확한 격 정보 추출이 어렵기 때문이다. 또한 잘못된 격 정보를 이용하여 검색할 경우 의미 수준 색인 및 검색에 미치는 영향이 크기 때문에 대분류로 묶어서 사용한다.

의미정보 유형 및 양상은 Transformation Based Learning(TBL)[11]을 이용하여 추출하고, 격 정보는 휴리스틱 규칙 기법을 이용하여 추출한다. TBL 학습을 위해서 유형 및 양상 정보가 태깅된 채팅 말뭉치 49,312 문장을 사용하였다. 학습 자질은 첫 번째 어절과 두 번째 어절, 마지막 어절과 마지막 이전 어절, 형용사 어절과 주 용언 어절의 6개 어절로부터 각각 내용어와 형식어의 어휘와 품사의 4가지를 사용하였다. Figure 2는 TBL 학습 자질의 예이다.

Table 3 
Sentence types in the semantic information

태그	분류	태그	분류
Yn_question	Y/N 의문문	Request	요청
How_question	WH 의문문	Assert	명사나열
What_question		Agree	긍정
When_question		Reject	부정
Where_question		Describe	서술
Who_question		Admire	감탄
Which_question		Greeting	인사
Why_question		Other	기타

Table 4 
Modalities in the semantic information

태그	분류	태그	분류
Feel	감정	Behave	행동
Experience	경험	Prefer	선호
Guess	추측	Enjoy	즐김
Hope	희망	Opinion	의견
Confirm	확인	Other	기타

Table 5 
Cases in the semantic information

태그	분류	태그	분류
MainV	주 용언	Agt	주격
Obj	목적격	Bnf	수혜격
Etc	기타

Figure 2 
Examples of TBL features

격 정보 추출을 위해 사용된 패턴은 한국어 문장의 특성을 적용하여 정규 표현식을 이용하여 작성하였다. Table 6은 격 정보 추출 패턴의 일부이다.

어휘 수준 색인 방법은 어휘 정보를 기반으로 저장하기 때문에 문장의 의미를 고려할 수 없다. 이러한 문제를 해결하기 위해 추출한 의미 정보를 기반으로 색인한다. 의미 정보 추출이 끝나면 MainV, Obj, Agt, Bnf, Etc 순으로 추출된 상위 2개의 격 정보를 사용하여 [유형, 양상, 긍/부정, 격정보 의미코드1, 격정보 의미코드2]의 형태로 키를 만들고, [발화번호, 어휘/의미코드/격정보, ...] 형태의 데이터를 만들어 색인 데이터베이스에 저장한다. ‘발화 번호’는 응답 문장을 검색하기 위해 사용되고, ‘어휘/의미코드/격정보’는 3.2.2의 순위화에서 사용한다. Figure 3은 의미 정보 추출의 예이다.

Table 6 
Examples of lexico-syntactic patterns for case information extraction

격 정보 추출 패턴
([^ ]+?):[A-Z]+₩+[를을]+:JCO	Obj
([^ +]+?):[A-Z]+₩+[은는]+:JX	Agt
([^ +]+?):[A-Z]+₩+에게:JCA	Bnf
([^ ]+):XPV	MainVerb

Figure 3 
An example of the semantic information extraction

실험에 사용된 채팅 말뭉치는 실제 모바일 메신저에서 수집된 사용자 발화와 시스템 발화로 구성된 총 49,313개 대화 쌍으로 사용자 발화에 대하여 문장유형, 양상정보가 태깅되어 있다. 평균 어절 수는 4.37어절이고, 주제별로 구분되어 있다.

실험은 색인된 채팅 대화 쌍 중 임의의 사용자 발화 100문장을 선택하여 의미는 동일하지만 문장의 모양을 바꾸어 제안 시스템의 입력으로 넣어 실험한다. 문장의 모양을 바꾸기 위해 선택한 100문장을 컴퓨터 전공자 5명에게 각각 배포하여 변형하도록 하였다. 전체 49,313개로 이루어진 말뭉치를 100문장으로 성능의 객관성을 판단하기는 어렵지만, 5명의 실험자가 수동으로 문장을 변형하고 직접 입력하여 성능을 측정해야 하기 때문에 많은 문장을 입력으로 하기엔 어려움이 있다. Table 9는 원본 사용자 발화와 변형된 사용자 발화의 일부를 나타낸 예이다.

제안한 방법의 성능 평가를 위한 실험 척도는 응답 정확률과 사용자 만족도 두 가지로 평가한다. 응답 정확률(Response Precision)은 식 (1)과 같이 계산한다.

사용자 만족도는 Table 9와 같이 변형된 100문장을 입력하여 출력되는 시스템 발화의 점수를 측정하였다. 배점은 3점 만점으로 2, 3점을 정답으로 가정하였다. 채점 기준은 시스템 발화가 되지 않는 경우와 시스템 발화는 되나 사용자 발화와 관련 없는 답변일 경우 1점, 자연스럽지 못하나 말을 이어갈 수 있는 경우 2점, 사용자 발화에 대해 자연스럽고 의미가 통하는 시스템 발화가 출력될 경우 3점을 주었다. 채점은 5명의 실험자가 각각 채점하여 합산하여 평균을 구하였다.

Figure 4는 변형된 사용자 발화 100문장을 입력했을 때 정답이라 판단된 발화의 임계치 분포이다.

Figure 4 
Distribution of the threshold values

Figure 4의 x축은 임계치, y축은 정답 수를 나타낸다. 분포를 살펴보면 0.4 ~ 1.0 사이에 값이 분포되어 있다. 본 논문에서 0.51을 사용한 이유는 0.4의 경우 정답이라 판단된 발화가 있지만 오답 발화를 하는 경우로 인하여 제안 시스템의 성능이 떨어진다. 이를 방지하여 말 잇기 단계에서 처리하기 위해 임계치 0.51을 사용한다.

Table 10은 각 단계별로 실험자들의 사용자 만족도를 합산하여 평균을 구한 결과이다.

Table 10의 결과와 같이 각 단계를 독립적으로 사용할 경우 평균 사용자 만족도가 2점미만으로 기대하는 성능에 미치지 못하였다. Table 11은 실험에 대한 사용자 만족도에 따른 발화의 예이다.

각 단계를 독립적으로 사용하지 않고, 조합하여 실험한 결과는 Table 12와 같다. 제안한 방법으로 실험 했을 경우 실험 방법 2, 4, 5에서 평균 사용자 만족도가 2점 이상으로 각 단계를 독립적으로 사용했을 때 보다 높은 성능 향상이 있음을 알 수 있다.

제안 시스템의 응답 정확률을 측정하기 위해 실험자의 사용자 만족도가 2, 3점인 경우를 정답이라 가정한다. 원본 사용자 발화와 변형된 사용자 발화를 입력 했을 경우 제안 시스템의 응답 정확률은 Table 13, 14와 같다.

실험 결과 원본 사용자 발화의 경우 어휘 수준 검색의 성능이 월등함을 보였다. 그 이유는 의미 수준 검색의 경우 문장에서 의미 정보를 추출하여 색인할 때, 말뭉치 내에서 같은 의미 정보를 가지는 문장들 때문에 나타나는 오류로 확인 되었고, 말 잇기의 경우 패턴 수집 시 어휘, 의미 수준 검색에서 발화가 안 되는 경우를 중점적으로 수집하였기 때문이다. 의미는 동일 하지만 문장의 모양을 변형한 경우 의미 수준 검색의 정확률이 55%로 가장 높았다. 이러한 결과를 보이는 이유는 어휘 수준 검색의 어휘 불일치 문제로 인하여 발생하는 것으로 확인했다. 제안한 3단계 문장 검색 기법의 경우 78%로 제안한 방법의 타당함을 확인 할 수 있는 결과이다.