Figure 1은 가장 기본적인 순환신경망 알고리즘의 모델을 도식화한 것이다. 순환신경망 알고리즘은 다층퍼셉트론(Multi-layer perceptron)과 같은 순방향 신경망과는 다르게 내부노드에서 순환고리를 통해 이전의 정보가 재입력되며 내부 계층을 연결하는 가중치가 모두 동일하다. 즉, t시간의 입력 데이터 x_t가 주어지면 가중치 U를 곱하여 내부 노드로 입력되고 t-1초에 주어진 데이터의 결과값에 대해 내부 계층을 연결하는 가중치 W를 곱한 값이 더해져 활성화 함수로 입력되는 구조를 이루고 있다. 순환신경망 알고리즘은 활성화 함수로 tanh (Hyperbolic tangent) 또는 ReLU(Rectified linear unit)를 사용하며 가중치를 학습하기 위해서 편도함수를 이용한 역전파 알고리즘을 이용한다. 순환신경망 알고리즘은 편도함수의 곱으로 가중치를 추정하기 때문에 참조하게 되는 과거의 데이터 수가 많아지게 되면 곱셈의 결과가 0으로 수렴하거나 매우 큰 값으로 발산할 수 있다.

Figure 1: 
Recurrent neural network

LSTM은 순환신경망 알고리즘의 문제점인 과거 데이터의 수가 많아질 경우 가중치가 0으로 수렴하거나 양의 값으로 발산하는 문제점을 해결하기 위해 수정된 순환신경망 모델로써 기존의 순환신경망 알고리즘 내의 노드를 메모리 셀이라고 불리는 복잡한 구조로 바꾸는 것으로 문제점을 해결하고자 하였다.

Figure 2는 LSTM의 메모리셀을 비교적 단순하게 나타낸 것이다. LSTM의 메모리 셀은 순환입력값을 가지는 내부기억노드 (Memory cell input)와 세 개의 개폐장치 (Input gate, Forget gate, Output gate)로 이루어진 네 개의 구성요소를 가진다. 망각 게이트 (Forget gate)에서는 시그모이드(Sigmoid)를 활성화 함수로 가지게 되며 결과값이 0에 가깝게 나타날 경우 해당 데이터를 망각 시키는 역할을 한다. 따라서 순환신경망 알고리즘과는 달리 LSTM은 편도함수의 곱이 입력되는 노드 수만큼 계산되는 것을 방지함으로써 보다 정확한 가중치 값을 획득하게 된다.

Figure 2: 
Memory cell of LSTM

Figure 3에서 보듯이 순환신경망 알고리즘의 구조는 입력 데이터와 결과 값의 상관관계에 따라 결정된다. 가장 간단한 구조는 원 투 원 (One to one)으로 하나의 입력 데이터에 대해 하나의 결과 값을 도출한다.

Figure 3: 
Input/output structure of recurrent neural network

매니 투 원 (Many to one)은 여러 개의 입력 데이터를 고려하여 하나의 결과 값을 도출하는 구조이다. 본 논문에서는 실시간으로 계측되는 스파 플랫폼의 계류 장력 값을 필터링하기 위해 순환신경망 알고리즘 모델을 이용하였는데, 120초 주기로 발생하는 조류 (Current)로 인해 발생하는 계류 장력값을 필터링 하기 위해 120개의 입력 데이터를 이용하여 하나의 결과 값을 도출하였다. 이는 시퀀스 투 밸류 (Sequence to value) 형태이므로 매니 투 원 구조를 사용하였다.

매니 투 매니 (Many to Many)는 여러 개의 입력 데이터를 통해 여러 개의 결과값을 도출하는 것으로 하나의 단어가 입력된 후 그 다음에 오게 될 단어를 예측하는 형식의 언어 인식과 같은 정보처리에 적합한 구조이다.

스파 플랫폼은 파도, 조류, 바람 등의 극심한 환경 속에서 무어링 라인을 이용하여 거동을 제한함으로써 안정적으로 원유 및 천연가스를 생산한다. 만약 스파 플랫폼의 무어링 라인 (Mooring line)에 문제가 발생할 경우 대형사고로 이어져 막대한 손실이 발생할 수 있으며 최악의 경우 플랫폼이 전복 될 수도 있다. 특히 G 플랫폼이 설치된 멕시코 만의 경우 강력한 루프 커런트 (Loop current)로 인해 원통형 구조물이 조류의 진행방향과 수직된 방향으로 진동하게 되는 VIM (Vortex induced motion) 현상이 발생한다. VIM 현상은 무어링 라인의 피로손상 및 피로파괴를 일으키는 매우 위험한 현상으로 실제로 W 사는 VIM으로 인한 무어링 라인의 피로손상정도를 예측하기 위해 많은 노력을 기울이고 있다.

본 연구에서는 이러한 이유로 인해 G 플랫폼의 여러 계측 데이터 중 무어링 라인의 텐션 데이터를 대상데이터로 선정하였다. 연구 진행을 위해 2014년 10월부터 2018년 2월까지 약 41개월간의 무어링 라인 텐션에 대한 계측데이터인 로우 데이터 (Raw data)와 W 사에서 데이터 분석을 위해 사용하고 있는 엔지니어링 데이터 (Engineering data)를 수집하였다. 수집된 데이터 중 2014년부터 2016년까지의 데이터를 학습데이터 및 테스트데이터로 사용하여 필터링 모델을 만들었으며 2017년부터 2018년까지의 데이터를 완성된 필터링 모델에 실시간으로 입력하여 필터링 결과값을 획득하였다. 순환신경망 알고리즘을 이용하여 데이터를 필터링 하기 위해 로우 데이터를 입력 데이터로 사용하였으며 W 사의엔지니어링 데이터와 필터링 결과값을 비교하였다.

순환신경망 필터의 역할은 조류의 영향에 의해 발생된 피로손상정도를 예측할 수 있도록 무어링 라인 텐션에 대한 계측 데이터를 실시간으로 필터링하는 것이다. Table 1은 순환신경망 필터 모델의 아키텍처를 정리한 것이다. W사에서는 G 플랫폼에 영향을 미치는 조류의 주기를 120초로 판단하여 분석을 실시하고 있어 매니 투 원 구조를 선택한 후 입력 데이터의 개수를 120개로 선정하였으며 내부노드 수는 60개로 선정하였다. 단순한 형태의 순환신경망 알고리즘을 사용하기에는 참조해야할 과거 데이터의 수가 너무 많아 기울기 소실의 문제가 발생할 위험이 있어 사용 알고리즘은 개선된 순환신경망인 LSTM을 사용하였다. 활성화 함수는 tanh를 사용하였고 과적합을 방지하기 위해 드롭아웃 (Dropout) 레이어를 사용하였으며 드롭아웃값은 일반적으로 많이 사용하는 값인 30%로 설정하였다. 레이어의 층수가 늘어날수록 보다 깊은 추론이 가능해지기 때문에 오차율을 최대한 줄이고자 단층부터 순차적으로 레이어의 수를 늘려가면서 결과값을 확인하였다. 그러나 레이어 층의 수가 4개가 넘어가는 순간부터 오차율 대비 학습 소요 시간이 급격하게 증가하여 LSTM 레이어의 수는 3개로 선정하였다. 학습 횟수는 5000회로 선정하였고 동일한 값이 10회 이상 도출 시 학습이 조기 종료되도록 설정하였다.

Figure 5는 필터링 모델을 도식화한 것이다. 입력층(Input layer)에서 실시간으로 계측된 데이터와 그로부터 120초 전까지의 과거 데이터가 입력된다. 입력된 데이터는 3개의 은닉층 (Hidden layer)을 거쳐 4번째의 은닉층에서 120개 데이터의 상관관계를 하나의 값으로 도출한다. 최종적으로 출력층에서 필터링된 값을 얻는다. 1층부터 3층까지의 은닉층에서 나타나는 점선은 상태유지모드를 나타낸 것으로, 시계열 데이터의 주기성을 고려하기 위해 학습과정에서 상태유지모드 활성화시켜 현재학습의 상태가 다음 학습 시작 시에 초기 상태로 전달되도록 하였다.

Figure 5: 
LSTM filtering model

필터링 성능 확인을 위해 특정 구간별로 필터링을 진행하여 결과값을 분석하였다. 구간은 5가지로 분류하였다. 각각의 구간은 가장 작은 진폭을 보이는 구간, 가장 큰 진폭을 보이는 구간, 진폭이 일정하게 유지되는 구간, 증가 구간, 감소 구간으로 나누어 Case 1 부터 Case 5까지 라벨링을 하였다. 각각의 구간 길이는 조류의 주기와 패턴의 형상을 고려하여 1,200초로 결정하였다. 각 Case 별로 학습이 완료된 순환신경망 필터에 1200개의 데이터가 실시간으로 입력되도록 한 후 그 결과 값을 해당 구간의 엔지니어링 데이터와 비교 및 분석하였다.

Case 1 은 가장 작은 진폭을 보이는 구간에 대한 분석이며, Case 2는 가장 큰 진폭을 보이는 구간에 대한 분석이다. Case 3은 진폭의 변화가 크지 않고 비교적 일정하게 유지되는 구간을 분석한 것이고, Case 4 는 진폭이 증가하는 구간에 대해 분석을 실시한 결과이며 Case 5는 진폭이 감소하는 구간에 대한 분석이다.

Figure 7은 Case 1 (12,801 sec. ~ 14,000 sec.)에 대해 순환신경망 필터의 성능을 확인하기 위한 것이다. 1200개의 데이터를 학습이 완료된 순환신경망 필터를 이용하여 필터링한 후 엔지니어링 데이터와 비교 및 분석하였다. Figure 7(a)는 엔지니어링 데이터와 필터링된 데이터의 형상비교를 나타낸 것이며, Figure 7(b)는 엔지니어링 데이터에 대한 필터링된 데이터의 오차값을 나타낸 것이다. 평균 오차율은 0.13 % 로 나타났다. 최대 오차와 최소 오차를 구하기 위해 계산된 오차값에 절댓값을 취한 결과 12,904초에서 가장 오차가 크게 나타났으며 그 값은 3.107 Kips 이다. 오차의 최솟값은 13,521초의 0.00085 Kips 로 매우 작게 나타났다. 전체적으로 필터링 결과가 엔지니어링 데이터와 매우 유사하게 나타났으나 진폭의 최고점에서 다소 값이 작게 나타나는 현상을 보였다.

Figure 7: 
Result of case 1

Figure 8은 Case 2 (45,301 sec. ~ 46,500 sec.)에 대한 필터링 결과를 엔지니어링 데이터와 비교한 것이다. Figure 8(a)는 엔지니어링 데이터와 필터링된 데이터의 형상비교를 나타낸 것이며, Figure 8(b)는 엔지니어링 데이터에 대한 필터링된 데이터의 오차값을 나타낸 것이다. 평균 오차율은 0.62 % 이며, 46,390초에서 최대 오차인 13.620 Kips 가 나타났다. 최소 오차는 45,650초에서 나타난 0.00813 Kips 이다. Case 1에 비해 상대적으로 오차가 크게 나타났다. 가장 큰 오차가 발생한 46,390초 지점의 형상을 비교해 보면 엔지니어링 데이터는 상대적으로 뾰족한 형상을 하고 있는 것에 비해 필터링 결과는 둥근 형상을 하고 있다. 순환신경망의 알고리즘의 특성상 이전 데이터의 경향성을 반영하기 때문에 특정 지점에서 값이 급격하게 변하는 부분이 매끄럽게 처리된 결과로 인한 오차로 판단된다. Case 2의 그래프를 확대해서 확인하면 진폭이 최대치가 나타난 후 감소하는 시점부터 극값의 형상에 급격한 변형이 생기는데 이로 인해 일정한 패턴으로 돌아오기까지 상대적으로 오차값이 다소 크게 발생하는 것을 확인하였다.

Figure 8: 
Result of case 2

Figure 9은 Case 3 (57,201 sec. ~ 58,400 sec.)에 대해 순환신경망 필터의 성능을 확인한 결과를 나타낸 것이다. Figure 9(a)는 엔지니어링 데이터와 필터링된 데이터의 형상비교를 나타낸 것이며, Figure 9(b)는 엔지니어링 데이터에 대한 필터링된 데이터의 오차값을 나타낸 것이다. 평균오차율은 0.28 % 이며, 최대 오차는 57,209초에서 6.620 Kips 로 나타났다. 최소 오차는 57,571초에서 나타난 0.00014 Kips 이다. 진폭의 최고점과 최소점에서 상대적으로 오차가 크게 나타났으며 Case 2와 마찬가지로 엔지니어링 데이터의 값이이 상대적으로 급격하게 변하는 형상을 보일수록 차이가 발생하였다. 그러나 전체적으로 일정한 진폭을 유지하고 있는 구간이기 때문에 Case 2에 비해서 상대적으로 오차가 작게 나타난 것으로 판단된다.

Figure 9: 
Result of case 3

Figure 10은 Case 4 (70,701 sec. ~ 71,900 sec.)에 대해 순환신경망 필터를 사용한 결과와 엔지니어링 데이터를 비교한 것이다. 1200개의 데이터를 학습이 완료된 순환신경망 필터를 이용하여 필터링 한 후 엔지니어링 데이터와 비교 및 분석하였다. Figure 10(a)는 엔지니어링 데이터와 필터링된 데이터의 형상비교를 나타낸 것이며, Figure 10(b)는 엔지니어링 데이터에 대한 필터링된 데이터의 오차값을 나타낸 것이다. 평균 오차율은 0.46 % 로 나타났다. 71,736초에서 최대 오차가 나타났으며 그 값은 10.853 Kips 이다. 오차의 최솟값은 71,084초의 0.00812 Kips 로 나타났다. 분석결과 Case 1에 비해 오차값이 크게 나타났으나 Case 4에서 나타나는 엔지니어링 데이터의 최고점 및 최저점의 형상이 대부분 뾰족하게 나타나는 것을 확인하였다. 그래프를 비교해보면 해당 지점을 제외한 구간에서는 상대적으로 오차율이 작게 측정되고 있는 것을 확인 하였다. 다른 증가 구간에 대한 분석을 실시해 본 결과 오차의 크기는 진폭의 증가 상태보다는 엔지니어링 데이터의 형상과 더 큰 연관성을 보이는 것을 확인하였다.

Figure 10: 
Result of case 4

Figure 11은 Case 5 (73,901 sec. ~ 75,100 sec.)에 대해 순환신경망 필터의 필터링 결과를 엔지니어링 데이터와 비교한 것이다. Figure 11(a)는 엔지니어링 데이터와 필터링된 데이터의 형상비교를 나타낸 것이며, Figure 11(b)는 엔지니어링 데이터에 대한 필터링된 데이터의 오차값을나타낸 것이다. 평균 오차율은 0.44 % 이며, 74,382초에서 최대 오차인 11.144 Kips 가 나타났다. 최소 오차는 74,190 초에서 나타난 0.00129 Kips 이다. Case 4와 비슷한 결과를 확인할 수 있었다. 가장 큰 오차가 발생한 74,382초 지점의 형상을 보면 엔지니어링 데이터의 값에서 짧은 구간동안 두 개의 극솟값을 확인 할 수 있다. 순환신경망 필터로 필터링된 데이터의 결과를 보면 두 극솟값의 사이를 극솟값으로 하는 곡선이 생성되는 것을 확인 할 수 있다. 동일한 패턴을 보이는 구간에 대해서는 대체로 오차값이 다소 크게 발생하는 것을 확인하였다. 다른 감소 구간에 대한 분석을 실시해 본 결과 Case 4와 동일하게 오차의 크기는 진폭의 증가 상태보다는 엔지니어링 데이터의 형상과 더 큰 연관성을 보이는 것을 확인하였다. 엔지니어링 데이터의 형상 중 극점 지점에서 급격한 변화를 보여 뾰족한 형상이 나타나는 지점보다 짧은 시간 동안 두 개의 극점이 잇따라 나타나는 경우에 상대적으로 큰 오차가 발생하는 것을 확인하였다.

Figure 11: 
Result of case 5 & scale up

엔지니어링 데이터와 동일하게 하루동안 계측된 데이터를 순환신경망 필터를 이용하여 필터링한 결과 2017년 10월 18일 하루 동안 계측된 데이터에 대한 평균 오차율은 0.47 % 로 전반적으로 그 값이 유사하게 나타남을 알 수 있었다. 최대 오차는 데이터의 마지막 지점인 86,399초에서 발생하였다. 엔지니어링 데이터를 살펴보면 하루 단위로 로우 데이터를 정형화하기 때문에 하루의 마지막 시간에 해당하는 엔지니어링 데이터와 다음날의 처음 시간에 해당하는 엔지니어링 데이터 사이의 값 차이가 다소 크기 때문에 이러한 결과가 나타난 것으로 판단된다.

실시간으로 필터링을 진행하기 위해 엔지니어링 데이터가 나타내는 그래프의 형상에 따라 구간을 나누어 데이터 필터링을 실시하였다. 그 결과 진폭의 증감보다는 엔지니어링 데이터의 극점 부근의 형상이 오차 큰 영향을 주는 것을 확인하였다. 이는 과거의 데이터를 이용하여 시간의 흐름에 따른 경향성을 파악하는 순환신경망 알고리즘의 특성 때문인 것으로 판단된다. 엔지니어링 데이터 또한 정확한 값이 아닌 저역통과필터를 이용하여 로우 데이터를 필터링 한 결과이므로, 상대적으로 평탄화가 잘 되어 데이터 형상이 부드럽게 나타나는 순환신경망 필터의 성능이 기존의 엔지니어링 데이터를 획득하기 위한 필터링 기법에 비해 떨어진다고 판단하기는 어려워 보인다.

조선 해양 산업에서 사용하는 해양 플랫폼 무어링 라인의 피로손상정도 예측기법은 텐션의 크기를 일정 간격으로 나누어 라벨링을 한 후 해당 구간에 속하는 텐션이 얼마나 발생했는지 그 횟수를 계산기 때문에 데이터의 오차가 0.65% 미만일 경우는 거의 동일한 결과를 얻게 된다. 본 논문에서 제안한 필터링 모델의 경우 전체구간에서는 0.5%이하의 오차율을 보이고 있으며, 구간별의 최대 오차율은 0.62%로 나타난 것으로 볼 때 엔지니어링 데이터를 이용한 피로손상정도 예측결과와 크게 차이가 나지 않을 것으로 판단되므로 순환신경망 필터를 이용하여 실시간으로 데이터 필터링이 가능하다는 것을 확인할 수 있었다.