최근 4차 산업의 등장과 함께 무인화 관련 기술이 비약적으로 발전함과 동시에[1] 해양에서의 은밀한 작전수행을 위한 무인잠수정의 요구가 증가하고 있다[2]. 무인잠수정의 성공적인 임무수행을 위해서는 자율운항, 자율탐지 및 회피 등의 핵심 기술들이 요구되는데, 이를 위한 기반 기술 중 하나로써 기동 방향에 대한 수중 영상을 취득할 수 있는 기술이 매우 필요하다[3]-[5]. 획득된 수중 영상을 이용하여 전방에 위치하는 장애물 또는 표적을 탐지함으로써 무인잠수정의 안전적인 기동을 돕고, 위험요소를 사전에 식별하는데 기여할 수 있다.

장애물을 탐지하기 위해서는 광학적인 방법을 활용할 수 있지만, 수중 환경의 특수성을 감안한다면 소나 장비들이 많이 사용된다. 특히, 근거리에 위치하는 장애물의 탐지 및 식별을 위한 용도로 음향 카메라(Acoustic Camera)가 널리 활용된다. 음향 카메라는 초음파 대역의 신호를 방사한 후, 반향된 신호를 영상화시키는 장비이며[5]-[8], 미국 등 선진국에서는 이미 상용화되어 무인플랫폼에 활용되고 있다. 이러한 음향 카메라는 전방 상황을 모니터링하기 위한 목적으로, 수중의 일정 위치에 고정되거나, 또는 정지된 플랫폼에 탑재되어 고해상도의 영상을 획득하는 것이 통상적이다. 하지만, 무인잠수정이 높은 기동 속도가 요구됨에 따라, 높은 기동 속도 환경에서도 음향 카메라를 이용하여 정확한 영상을 획득하기 위한 연구가 추가적으로 필요하다.

음향 카메라가 탑재된 무인잠수정이 고속으로 기동하는 경우, 음향 카메라에서 방사되는 신호와 관련하여 도플러 효과가 발생할 수 있다. 이렇게 도플러 효과가 발생된 신호가 수중 물체에 반사되어 되돌아와 수신되는 경우, 수신된 신호에 도플러 효과 또한 누적될 수 있다. 이와 같이, 도플러 효과에 따른 신호를 기초로 획득된 영상에는 도플러 천이가 발생하게 되어, 획득된 영상에 대한 위치상의 왜곡을 발생시킬 수 있다.

일반적인 소나 장비에서 도플러 현상을 보정하는 연구는 기 수행되었다[9]. 하지만 도플러 보정과 관련된 신호처리 기술은 일반적인 소나 장비로부터 획득된 음향 신호에 국한되며, 영상 소나에서 획득된 수중 영상을 이용하여 도플러 보정을 수행하여 정밀도를 높이는 기술은 제안된 바 없다.

본 연구에서는 고속기동 조건에서의 음향 카메라에서 획득된 수중 영상을 이용하여 도플러 효과를 보정하여 수중 영상의 정확도를 향상시킬 수 있는 방안에 대하여 제시한다. 먼저, 본 연구에서 사용한 도플러 효과 보정 기법에 대하여 간단히 설명하고, 가상모의 자료를 이용하여 영상 보정기법의 적용 가능성을 살펴본다. 마지막으로, 실해역에서 획득된 영상을 이용하여 가상의 운용조건을 가정한 후 도플러 효과 보정을 수행함으로써, 운용조건에 따른 영향을 살펴보고자 한다.

음향 카메라는 수중 환경에서의 전방에 위치하는 장애물 또는 표적의 식별을 위한 목적으로, 초음파 대역의 음향신호를 이용하여 수중 환경을 영상화하는 소나 장비의 하나이다. 음향 카메라는 광학카메라와 비교할 때, 물의 탁도나 빛의 영향에 예민하지 않은 장점이 있으나, 광학 카메라에 비해 낮은 화질을 가지며 음향 잡음이 많은 공간에서는 영상처리에 어려움이 있다.

음향 카메라를 이용하여 수중 영상을 얻는 기법에는 대표적으로 음향렌즈를 이용하여 초음파 신호를 인위적으로 굴절시킴으로써, 좁은 영역의 해상도를 높이는 방법이 제안되었다[10]. 이 방법은 관심 영역에 대한 해상도를 매우 높일 수 있는 반면, 음향렌즈가 물리적으로 장착되기 때문에 크기가 커지는 단점을 가진다.

수중 영상을 얻는 다른 방법으로 다중주파수 스윕(sweep) 신호를 송신하여, 주파수에 따라 주 빔의 방향을 상이하게 빔형성하는 방법이 있다[11]. 이 방법은 빔형성을 위하여 센서의 음향적인 특성을 많이 이용하기 때문에 기술적인 제작 난이도가 높으며, 상이한 주파수에 대한 보정이 추가적으로 필요하다. 하지만, 장비가 간단하고, 부피가 작으며, 소비전력이 낮아 무인플랫폼에 탑재하기 유리한 장점을 가진다.

하드웨어 및 소프트웨어 기반 기술의 비약적인 발전과 더블어 초음파 대역의 신호를 단순 멀티빔 기법을 이용하여 고해상도 영상을 얻는 방법이 각광받고 있다[12]. 본 방법 역시 해상도가 높은 반면, 장비가 간단하고, 부피가 작으며, 소비전력이 낮아 기존의 음향 카메라를 대체하고 있다.

세 가지 방법 중 두 번째 방법인 다중주파수 신호를 송신하여, 주파수에 따라 주 빔의 방향을 상이하게 빔형성하는 방법은 다른 음향 카메라와는 달리 단일주파수가 아닌 다중주파수를 사용하기 때문에 도플러 효과에 의한 영상 왜곡이 각도에 따라 균일하지 않고 비균일하게 발생할 것으로 예상되므로, 이에 대한 영상 보정을 수행하는 것이 의미가 클 것으로 판단된다. 따라서, 본 연구에서는 세 가지 방법 중 도플러 효과에 가장 취약한 두 번째 방법을 이용하여 영상 왜곡 보정을 수행하고자 한다.

음향 카메라를 수중에서 운용하는 경우, 음향 카메라가 고속으로 기동하거나, 반대로 수중 표적이 고속으로 기동하는 경우 음파에 대한 도플러 현상이 물리적으로 발생한다. 도플러 현상이 발생하는 조건에서 다중주파수를 사용하는 음향 카메라의 송수신 신호의 개념도는 다음 Figure 1와 같다.

Figure 1: 
Concept diagram of both transmission and receiving signals for acoustic camera when Doppler effect occurs

Figure 1 (a)의 경우 직사각형 모양의 음향 카메라에서 일정한 주파수 간격을 유지한 상태로 송신신호가 전파되는 양상을 보여주고 있으며, Figure 1 (b)에서는 송신된 신호가 반향되어 다시 음향 카메라로 수신되는 것을 모사하고 있다. Figure 1 (c)의 경우 Figure 1 (a)에서 나타내는 카메라를 통해 송신되는 신호의 방향을 파선을 통해서 나타내고 있으며, Figure 1 (b)에서 나타내는 카메라에 수신되는 신호의 방향을 실선을 통해서 나타내고 있다. 즉, 음향 카메라에서 송신된 신호의 각 주파수 성분의 송신방향과, 반향되어 수신되는 신호의 각 주파수 성분의 수신 방향의 차이가 발생될 수 있는데, Figure 1 (c)은 이를 직관적으로 보여주고 있다. 이처럼 송신된 신호와 반향된 신호의 주파수 성분에 대해 차이가 발생하는 이유는 음향 카메라가 탑재된 무인잠수정이 고속으로 기동하거나, 수중 물체의 기동에 의할 수 있으며, 이들의 기동에 의해서 상대적인 속도차가 발생하여 도플러 효과가 반영되어 발생된다. 플랫폼의 기동방향인 거리에 대한 위치상의 왜곡은 음파의 전달시간 고려를 통해 쉽게 보정이 가능하기에 본 논문에서는 고려하지 않았다.

Figure 2는 Figure 1에서 전술한 도플러 천이 양상을 실제 수치 시뮬레이션을 통해 나타낸 그림이다. 여기서, 파선은 송신 방향을 의미하고, 실선은 도플러 효과가 반영된 수신 방향을 나타낸다. 이 그림은 도플러 효과에 따른 도플러 천이 양상을 직관적으로 보여주는 데, Figure 2 (a)는 송수신 주파수 간격이 클 경우(16개 빔)를 나타내며, Figure 2 (b)는 송수신 주파수 간격이 작을 경우(64개 빔)의 전파 양상을 의미한다. 조향각도에 따라 도플러 천이량이 상이하므로 획득 영상은 선형적이지 않은 불규칙적인 위치상의 왜곡이 발생할 것으로 예측할 수 있다.

Figure 2: 
Simulated Doppler shifts using (a)16, (b)64 beams.

다중주파수를 사용하는 음향 카메라의 획득 영상에서 도플러 천이에 의한 위치상의 왜곡을 보정하기 위한 연구는 수행된 바 없다. 본 연구에서는 고속기동 조건에서 필연적으로 발생되는 도플러 효과로 인한 영상 왜곡을 보정하기 위하여 Figure 3과 같이 극좌표 값 산출, 송신주파수 값 산출, 도플러 천이량 산출, 천이 빔 수 산출 단계를 거쳐 최종적으로 영상 보정을 수행하고자 한다. 각 단계에서는 일반적으로 널리 알려진 수식들을 바로 이용하거나 또는 일부 조건을 가정하는 등 수식을 단순화시켜 도플러 보상 알고리즘을 제안한다.

Figure 3: 
Work flow of compensation progress

먼저, 획득된 영상을 구성하는 복수의 픽셀 중 영상을 보정하고 싶은 구간에 포함되는 각 픽셀에 대하여 음향 카메라의 위치를 원점 (0,0)으로 하는 극좌표 값 P(r,θ)을 산출한다. 다음으로, 각 픽셀에 해당되는 송신 주파수 값을 산출하여야 하는데, 계산의 편의를 위하여 송신신호의 스윕 주파수가 선형적으로 변한다고 가정하면, 송신빔 간의 주파수 차이는 모두 동일하게 된다. 즉, 주파수 차이 Δf는 다음 식 (1)과 같다.

여기서 f_n은 송신신호의 최대 주파수 값을, f₁은 송신신호의 최소 주파수 값을, n은 송신빔의 총 개수를 나타낸다. i번째 송신빔에 해당되는 송신주파수 f_i는 다음 식 (2)와 같이 송신주파수 값을 각각 할당할 수 있다.

보정하고 싶은 구간에 포함되는 각 픽셀에 할당되는 송신주파수 값은 송신빔의 주파수 값을 이용하여 계산될 수 있는데, 정밀하게는 보간을 수행하여 각 픽셀에 해당되는 송신주파수 성분을 할당하여야 한다. 하지만 여기서는 계산의 편의를 위하여 보간 없이 각 픽셀에서 가장 근접한 송신빔의 주파수 값을 해당 픽셀의 주파수 값으로 할당하여 계산하였다.

다음 단계는 각 픽셀에서의 도플러 효과에 의한 도플러 천이량을 산출하는 단계이다. j번째 픽셀의 도플러 천이량 d_j을 계산하기 위하여 앞에서 할당한 각 픽셀의 송신주파수 값을 이용하여 다음 식 (3)과 같이 계산하였다.

여기서 v_j는 j번째 픽셀에 위치하는 수중 물체와 음향 카메라와의 상대 속도를 의미하고, c는 음속을 나타낸다. 음속의 경우 별도의 음속측정계를 구비하여 측정하여야 하지만, 본 연구에서는 음속을 1,500 m/s로 가정하였다. 수중 물체의 속도보다 음향 카메라의 이동속도가 상대적으로 크다고 가정하면, j번째 픽셀의 도플러 천이량 d_j는 다음 식 (4)를 이용하여 산출할 수도 있다.

여기서 S는 음향 카메라가 탑재된 플랫폼의 기동 속력을 나타내고, θ_j는 음향 카메라의 주사 방향으로부터 j번째 픽셀의 조향 각도를 의미한다.

다음으로 각 픽셀에서 발생한 도플러 천이량을 이용하여 송신빔의 천이된 빔 수를 계산한다. j번째 픽셀의 천이된 빔 수 b_j는 다음 식 (5)에서와 같이 산출한다.

여기서   는 내림 연산자를 의미하는데, 편의를 위하여 내림 연산자를 사용하여 천이 빔 수가 정수가 되도록 처리하였다.

각 픽셀의 천이된 빔 수를 산출한 후 각 픽셀의 극좌표 값을 보정하여 영상을 최종적으로 보정한다. 즉, j번째 픽셀의 보정된 조향 각도 θj'는 다음 식 (6)을 이용하여 보상한다.

여기서 θ_j는 j번째 픽셀의 보상 전 조향 각도 값을 나타내고, Δθ는 각 송신빔 간의 사잇각을 의미한다. Δθ는 스윕주파수가 선형적이다는 가정에 의해 식 (7)과 같이 계산할 수 있다.

여기서 θ_n은 최대 주파수 송신빔에 해당되는 조향 각도를, θ₁는 최소 주파수 송신빔에 해당되는 조향 각도를 나타낸다.

따라서, 임의의 j번째 픽셀의 조향 각도를 보정할 수 있으며, 상기 과정을 영상 처리하고자 하는 대상 픽셀에 대하여 반복 수행함으로써 최종적인 영상 보정을 할 수 있다. 즉, 음향 카메라를 통해 획득된 원 영상의 극좌표 값 P(r,θ)을 도플러 효과 보상을 통해 P′(r,θ′)로 후보정하게 된다.

본 연구에서는 도플러 보상 알고리즘에 대하여 독자들의 이해를 돕기 위하여 수중에서 기동하며 획득된 영상을 이용하여 기동조건을 가정한 후 도플러 보상을 수행하였다. 기동속도 30 kts로 주행하는 상황에서 전방 30° 영역에서 중심주파수 2.4 MHz, 주파수 대역폭 0.6 MHz로 송수신하는 음향 카메라 영상을 모의하였다. 이 때 계산에 가정한 음향 카메라의 빔 수는 43개이다.

Figure 4 (a)의 실선은 음향 카메라에 수신된 주파수 값을 보여주고 있는데, 파선은 주파수와 기동 속도에 따른 도플러 효과를 고려하였을 때, 실제 송신한 주파수로 예측되는 주파수 값을 보여준다. Figure 4 (b)는 각 빔에서 계산상 천이된 빔의 갯수를 나타내고 있다. 즉 예를 들어, 21번째 빔은 도플러 효과에 의해 3개의 빔이 천이되어 수신된 것으로 실제 18번 방향을 향한 송신빔이 21번 방향으로 수신된 것으로 이해할 수 있다. 이를 통해 수중 표적과 음향 카메라와의 상대적 속도 차이로 인해 도플러 효과가 발생하고, 이는 음향 카메라 영상에 대한 위치상의 왜곡을 야기할 수 있음을 쉽게 확인할 수 있다.

Figure 4: 
Calculated values using numerical test: (a) Doppler frequencies and (b) Shift amount

Figure 5는 본 논문에서 제안하는 도플러 보상 알고리즘을 이용하여 후보정한 결과를 보여준다. Figure 5 (a)는 후보정을 수행하지 않은 실제 음향 카메라 모의 영상인 반면, Figure 5 (b)는 제안된 기법으로 도플러 후보정을 수행한 결과이다. 조금 더 명확한 비교를 위해서 보조선을 영상과 함께 도시하였는데, 전체적으로 도플러 보정 후 영상이 보정 전에 비하여 상대적으로 좌측으로 이동되어 보정된 것을 확인할 수 있다. 특히 5번과 6번 보조선에 걸쳐 있던 이미지를 면밀하게 살펴보면 영상의 위치가 보정된 것을 명확하게 확인할 수 있다.

Figure 5: 
Final images using numerical test: (a) Before and (b) After Doppler compensation

이번에는 국내 연안의 교각을 대상으로 실해역 시험을 통해 획득한 영상을 이용하여 도플러 보정을 수행하였다. 본 시험은 거제도와 칠천도를 연결하는 칠천교를 대상으로 수행되었는데, 칠천교는 일반적인 거더교(girder bridge)로 수중부는 원형 교각이다. 시험에 사용한 장비는 중심주파수 0.9 MHz, 대역폭 0.6 MHz의 다중주파수 신호를 송신하여, 주파수에 따라 주 빔의 방향을 상이하게 빔형성하는 개발 장비를 사용하였다. 시험 장비의 조향각도는 약 45°이며, 실제 송수신 장비는 256개의 빔을 사용하여 영상을 생성하였지만, 본 연구에서는 계산의 편의를 위하여 122개의 빔으로 가정하여 도플러 천이량을 계산하였다. 시험선의 우현에 개발 장비를 일정 수심에 견착시킨 후, 조사선을 교각을 향하여 주행하는 상태로 연속적으로 수중 영상을 획득하였다. 하지만, 장비의 견착상태, 주변 낚시배들의 활동, 해상상태 등 안전상의 사유로 고속 기동을 할 수 없었다. 따라서, 고속기동 환경을 고려하기 위하여 가상의 기동조건을 가정하여 제안한 알고리즘의 적용성을 타진하고자 하였다.

시험장비는 중심주파수 0.9 MHz, 대역폭 0.6 MHz의 다중주파수를 사용하였으며, 45° 영역에 122개의 빔을 이용하여 영상을 모의하였다. 이 때 주행속도는 30 kts로 가정하였다. Figure 6 (a)의 실선은 음향 카메라에 수신된 주파수 값을 보여주고 있는데, 파선은 주파수와 기동 속도에 따른 도플러 효과를 고려하였을 때, 실제 송신한 주파수로 예측되는 주파수 값을 보여준다. 실제 장비는 앞서 상술한 Figure 4 (a)와는 다르게 음향 카메라의 중심부로 갈수록 높은 주파수 대역의 신호가 수신되도록 제작되었다. Figure 6 (b)는 본 예제에서의 각 빔에서 천이된 빔의 수를 나타낸다. 본 예제의 경우 Figure 4 시험보다 낮은 주파수 대역의 송신원을 사용함으로써 도플러 효과가 상대적으로 작게 나타나는 것을 확인할 수 있었으며, 천이된 빔 수 또한 상대적으로 적은 것을 볼 수 있다.

Figure 6: 
Calculated values using bridge dataset: (a) Doppler frequencies and (b) Shift amount

Figure 7은 교각 영상에 대하여 본 논문에서 제안하는 후보정을 수행한 결과를 나타내고 있다. Figure 7 (a)는 도플러 보정 전의 원 영상을 보여주고 있으며, Figure 7 (b)는 도플러 보정 후 음향 카메라 영상을 재현하였다. 도플러 보정을 수행하면 획득 영상이 좌측으로 미소하게 보정되는 것을 확인할 수 있다. Figure 7 (c)는 보정 전 영상과 보정 후 영상의 차이를 정량적으로 보여주기 위하여 각 빔에서의 시간에 따른 수신신호의 차이를 보여주고 있다. 여기서, 중앙부에 나타나는 강한 수직 신호는 실해역 시험에 사용한 음향카메라의 영상 생성시 발생하는 오차에서 기인된 것으로 무시한다. 본 예제에서 사용한 중심주파수 성분이 상대적으로 낮아 도플러 보정량이 작았지만, 후보정된 Figure 7 (b) 영상과 보정 전후의 차이를 보여주는 Figure 7 (c) 영상에서 실제 원형 교각의 위치가 수정되는 것으로부터 제안 기법의 적용성을 확인할 수 있었다.

Figure 7: 
Final images using bridge dataset: (a) Before and (b) After Doppler compensation, and (c) Differences of the received signals at each beam number

실제 음향 카메라를 운용함에 있어서, 도플러 효과에 크게 영향을 미칠 수 있는 운용조건은 식 (3)에서 알 수 있듯이 운용속도와 운용주파수 성분이다. 따라서, 운용속도와 운용주파수 성분에 대한 영상의 왜곡 영향을 수치예제를 통해 각각 살펴보고자 한다.

먼저, 도플러 효과는 수중 물체와 음향 카메라의 상대속도가 클수록 강하게 나타나게 된다. 따라서 본 논문에서는 동일 교각을 대상으로 상대속도를 50 kts로 증가시켜 제안 기법을 이용한 도플러 보정을 수행하였다. 그 외 다른 조건은 이전 시험과 동일하다. Figure 8은 각 빔에서 음향 카메라의 송수신 주파수와 천이된 빔의 개수를 각각 보여준다. 시험선의 고속기동에 의해 교각과의 상대속도가 증가되어 도플러 효과가 필연적으로 크게 나타나 천이된 빔의 개수가 늘어나는 것을 확인할 수 있다. Figure 9는 도플러 보정 전과 후의 음향 카메라 각각의 영상과 그 차이를 보여주고 있다. Figure 9 (b)는 보정된 음향 카메라 영상으로, Figure 7 (b)와 비교해보면 상대속도의 차이로 인해 더 많은 보정량이 발생한 것을 확인할 수 있다. 이는 고속으로 운용하는 플랫폼에 음향 카메라가 설치되어 있는 경우, 도플러 보정을 수행하지 않으면 영상의 위치상의 왜곡이 커질 수 있음을 의미한다.

Figure 8: 
Calculated values using bridge dataset (high velocity): (a) Doppler frequencies and (b) Shift amount

Figure 9: 
Final images using bridge dataset (high velocity): (a) Before and (b) After Doppler compensation, and © Differences of the received signals at each beam number

음향 카메라의 기동속도가 빨라질수록 도플러 효과가 증가하고, 이에 따라 천이된 빔의 개수가 많아지는 것을 확인할 수 있었다. 이번 예제는 도플러 효과에 영향을 미치는 중심주파수에 따른 보정결과를 확인하기 위하여 동일한 주파수 대역폭으로 중심주파수만 2.4 MHz로 가정하였으며, 그 외 다른 변수들은 처음 시험과 동일하게 유지하였다.

Figure 10은 각 빔에서 음향 카메라의 송수신 주파수와 천이된 빔의 개수를 각각 보여준다. 중심주파수가 높아질수록 도플러 효과가 크게 나타나며 큰 도플러 천이량을 보임을 확인할 수 있다. Figure 11 (a)는 음향 카메라 보정 전의 영상을 보여주고 있으며, Figure 11 (b)는 제안 기법으로 획득영상을 보정한 결과를 보여주고 있다. Figure 11 (c)는 보정 전후의 차이를 직관적으로 나타내기 위하여 각 빔에서의 시계열 신호의 차이를 도시한 그림이다. 즉, 중심주파수가 높아질수록 도플러 천이량이 커져서 보정량이 크게 발생되는 것을 쉽게 확인할 수 있다.

Figure 10: 
Calculated values using bridge dataset (high frequencies): (a) Doppler frequencies and (b) Shift amount

Figure 11: 
Final images using bridge dataset (high frequencies): (a) Before and (b) After Doppler compensation, and (c) Differences of the received signals at each beam number

다중주파수를 사용하는 음향 카메라를 고속으로 기동시키는 경우, 도플러 천이에 의한 취득 영상의 위치상의 왜곡이 필연적으로 발생한다. 본 연구에서는 이러한 문제점을 해결하고자 간단한 알고리즘을 통해 도플러 왜곡 영상을 후보정하여 취득영상의 위치에 대한 정확도를 향상시키고자 시도하였다.

먼저 가상모의 자료에 제안된 알고리즘을 적용하여 도플러 효과에 따른 후보정 영상처리의 필요성을 확인하였다. 또한, 남해 인근 연안에 위치하는 실 교각을 대상으로 음향 카메라의 운용속도와 송신주파수 성분을 변화시켜 수행한 예제로부터 전술한 운용조건이 영상 왜곡에 미치는 영향을 확인할 수 있었다.

하지만, 실제 음향 카메라의 획득 영상은 단순한 스윕 신호가 아닌 다중 스윕신호 성분을 수신하여, 다중으로 분할된 영상을 획득한다. 따라서 실제 음향 카메라를 모사하기 위한 후속 연구가 필요하며, 추가적으로 알고리즘을 정확하게 검증하기 위한 절차가 보완되어야 할 것으로 보인다.