Implementation of smart security CCTV system based on wireless sensor networks and GPS data

2.1 스마트 CCTV 모듈의 영상 저장 방법

다음은 스마트 CCTV 모듈의 데이터 전송을 위한 영상처리 방법에 대해 설명한다. 고화질 영상을 저장 및 전송하기 위해서는 막대한 트래픽이 발생하고 큰 저장 공간이 필요하다. 따라서 CCTV에서 찍힌 영상을 압축하기 위한 알고리즘이 필요하고 스마트 CCTV 모듈에서 이와 같은 기능을 수행한다. 스마트 CCTV 모듈의 영상 처리 순서는 Figure 3과 같다. CCTV 카메라에서 수신한 영상을 HD-SDI signal decoder를 통해 Video Processing에 용이한 신호로 변환하여 TI8168의 Video Capture 입력에 연결한다. Video Capture 인터페이스의 데이터를 DSP로 전달하여 필요한 정보를 추출하고 영상을 가공한 뒤에 하드웨어 H.264 encoder를 통해 압축 영상으로 수신한다. 이 영상을 RTP 스트리밍 및 디스크 저장용 영상으로 분배하여 사용한다. 위의 그림에서 영상의 흐름은 실선, 영상에서 추출한 정보는 점선으로 구분된다.

Figure 3

Sequence of image processing

Figure 4

Protocol state transition diagram between smart CCTV module and control center

2.2 스마트 CCTV 모듈과 중앙 관제소 간의 UDP/IP 기반 영상 파일 전송 방법

스마트 CCTV 모듈과 중앙 관제소 간의 파일 전송을 위한 프로토콜을 설계하였다. Figure 4는 스마트 CCTV 모듈과 중앙 관제소간의 프로토콜 상태 전이 다이어그램을 나타낸다. 영상 파일 전송 프로토콜은 UDP/IP 기반이므로 전송 효율 확보를 위해 별도의 흐름 제어를 사용하며 위와 같은 상태도에 따라 동작한다. 파일 전송 프로토콜의 상태는 시작과 종료 상태를 제외하고 프로토콜 버전 일치 과정인 Init와 전송 상태인 Running, 흐름 제어 상태인 Pause 상태로 구분한다. 전송 중 정상 전송 상태가 아닌 모든 경우 Pause 상태로 진입한다. 프로토콜 상태 전이 다이어그램에 의해 스마트 CCTV 모듈과 중앙 관제소간의 파일 전송은 이루어진다. 그리고 각각의 상황에 따른 프로토콜은 프로토콜 버전 동기화, 데이터 전송(일반적 경우), 데이터 전송 (ACK 손실), 데이터 전송 (중복된 ACK), 데이터 전송 (데이터 손실), 데이터 전송 (FIN)으로 구분된다. 각각에 대한 동작을 상세히 알아본다.

Figure 5 (a) 는 스마트 CCTV 모듈과 중앙 관제소간의 프로토콜 버전 동기화를 나타낸다. 프로토콜 버전이 다를 경우 낮은 버전에 맞추어 동작한다. Client의 프로토콜 버전이 2이고 Server의 프로토콜 버전이 1일 경우 Server는 수신한 INFO 패킷의 버전 정보가 다름을 확인하여 자신의 프로토콜 버전을 INFO+ACK 패킷에 전송한다. 클라이언트는 수신한 프로토콜 버전이 자신의 프로토콜 버전보다 낮으므로 INFO 패킷의 버전 정보를 수정하여 재전송한다. 양쪽 모두 같은 프로토콜 버전 번호를 송수신하면 절차를 종료한다. INFO 또는 INFO+ACK 패킷의 offset 필드는 수신한 패킷의 offset 필드 값에 1씩 증가시켜 전송하며 이 값을 확인하여 수신 여부를 파악한다.

Figure 5 (b) 는 스마트 CCTV 모듈과 중앙 관제소간의 데이터 전송 (일반적 경우) 를 나타낸다. 전송한 모든 DATA 패킷에 대해 DATA+ACK 패킷을 수신한 경우 정상 상태로 인식하며 한 번에 전송하는 DATA 패킷의 양을 2배씩 증가시킨다. DATA+ACK을 재전송 대기(Re-transmission timeout) 시간 내에 하나도 수신하지 못할 경우 이전에 전송한 DATA 패킷을 재전송하게 된다.

Figure 5 (c) 는 스마트 CCTV 모듈과 중앙 관제소간의 데이터 전송 (ACK 손실) 을 나타낸다. DATA+ACK 패킷을 수신하지 못했을 경우 DATA+ACK 패킷을 수신하지 못한 DATA 패킷부터 순서대로 재전송한다. 한 번에 전송하는 DATA 패킷의 양은 변화 없다.

Figure 5 (d) 는 스마트 CCTV 모듈과 중앙 관제소간의 데이터 전송 (중복된 ACK)를 나타낸다. DATA+ACK 패킷을 중복으로 수신했을 경우 상대의 DATA+ACK 전송 시간보다 재전송이 빠른 경우에 해당하므로 재전송 대기 (Re-transmission timeout) 시간을 늘리게 된다.

Figure 5 (e) 는 스마트 CCTV 모듈과 중앙 관제소간의 데이터 전송 (데이터 손실)을 나타낸다. DATA+NAK 패킷을 수신한 경우 ACK 대기 시간 경과 후 수신한 DATA+NAK 패킷에 해당하는 DATA 패킷부터 순서대로 전송한다. DATA+NAK 패킷을 수신한 경우 한 번에 전송하는 DATA 패킷의 양을 2배씩 감소시키게 된다.

Figure 5

Data transmission between smart CCTV module and control center

Figure 5 (f)는 스마트 CCTV 모듈과 중앙 관제소간의 전송 종료를 위한 데이터 전송 (FIN)을 나타낸다. 전송을 종료할 때는 FIN 패킷을 전송하고 FIN+ACK 패킷을 교환하여 전송 종료를 쌍방이 확인한다. FIN+ACK 패킷을 수신하지 못했을 경우에도 FIN 패킷 송수신 이후 FIN 대기 시간이 경과하면 전송 종료로 인식한다.

2.3 센서노드의 GPS 정보 전송을 위한 IEEE 802.15.4 기반 라우팅 방법

소형화된 무선기기인 센서노드는 센서네트워크 내에 분포된다. 따라서 라우팅은 싱글 홉 라우팅 보다는 패킷포워딩을 통한 멀티 홉 라우팅을 수행 한다. 초기 센서 네트워크의 멀티홉 라우팅 연구는 단일경로를 통한 라우팅에 중점을 두고 연구가 수행되었다. 단일경로 라우팅(single path routing)은 각각의 센서노드가 수집된 데이터를 전송하기 전에 한 개의 경로만을 설정하기 때문에 빠른 경로 설정을 하고 데이터를 전송할 수 있지만 단 하나의 데이터 경로는 패킹 포워딩 수행 도중에 센서노드의 결함이나 링크의 결함 때문에 쉽게 설정된 경로의 사용이 불가능한 상태가 된다. 또한, 다른 센서노드들의 상황을 고려하지 않고 자신의 데이터 경로를 설정하기에 네트워크 전체적인 성능을 악화시키기도 한다. 다중경로 라우팅 기술은 높은 데이터 전송 신뢰성(transmission reliability), 고장 감내(fault-tolerance), 정체제어(congestion control) 및 서비스품질(quality of service)을 제공하는 기술로 전통적인 유무선 네트워크 환경에서 널리 사용이 되었다. 이러한 다중경로 라우팅 기술은 센서 네트워크의 기술적 특징 때문에 바로 적용될 수 없었다. 그러나 최근 센서 네트워크를 위한 다중경로 라우팅 기술을 새롭게 조명하고 분석하는 많은 연구가 이루어졌다. 센서 네트워크의 라우팅 기법들은 네트워크 조직의 관점과 동작 관점에 따라 분류가 된다. 네트워크 조직에 따라 라우팅 기법들은 평면 라우팅, 계층적 라우팅 그리고 위치기반 라우팅으로 분류된다[6].

무선 센서 네트워크 기반 스마트 보안 CCTV 시스템에서 스마트 CCTV 모듈이 움직이는 물체를 놓치지 않고 추적하기 위해 CCTV 주위에 센서노드를 배치한다. 그리고 센서노드에서 물체의 이동과 같은 이상을 감지하면 해당 센서노드의 GPS 정보를 스마트 CCTV 모듈로 전달한다. 전달 받은 내용을 바탕으로 스마트 CCTV 모듈은 팬틸트를 상하 좌우로 움직여 객체를 추적한다. 또한 본 시스템은 중요 시설물 보호 및 동물의 생태 환경 감시등을 목적으로 하기 때문에 센서노드는 한번 포설되면 고정적인 위치에 고정되지 않고 수집 정보 상황과 사이트 환경 변화에 따라 임의의 장소에 쉽게 설치 및 변경이 가능한 시스템이다. 따라서 센서노드의 가변적 위치에 따라 다양하게 라우팅 토폴로지를 변경할 수 있도록 구현하였다. 즉 센서노드는 설치 위치의 변경 및 환경적 변화에 따라 자동적으로 그 변화에 대응할 수 있도록 구현하였다. 센서노드는 주위 환경에 따라 설치 위치를 가변 할 수 있으므로 임의의 시간에 임의의 장소에 무작위로 설치하여 침입자등이 사전에 센서노드의 설치 위치를 미리 파악하여 회피할 수 있는 가능성을 줄여 보안성을 높일 수 있다. 제안된 운용 시나리오를 바탕으로 무선 네트워크 라우팅을 구현하였다[7]. 센서 네트워크는 IEEE 802.15.4 기반 통신 방식[8]을 채택하여 저 전력 운영을 기본적으로 지원하며 임의의 장소에 설치가 용이하도록 메쉬 라우팅과 애드-혹 기술을 적용하였다[9]-[13]. 그리고 메시지 전송을 위해 소스 라우팅 방식을 채택하여 소스 노드가 데이터 패킷을 모든 다른 이웃 노드들에게 전송하는 것으로 데이터 전송은 도착지 노드까지 이루어진 후 각 노드들은 데이터를 저장하고, 사본을 이웃 노드에게 전달한다. 소스 라우팅 방식은 구현하기 용이하지만 이웃한 데이터가 같은 노드에게 전달되거나 두 노드가 같은 곳의 정보를 얻어 이웃 노드는 중복 데이터를 받게 되는 현상을 초래하고 전력 소모를 고려하지 않기 때문에 저 전력 네트워크를 구성할 수 없는 문제가 있다[14][15].

센서노드는 저전력 동작 수행을 해야 하기 위해 주기적은 Wake-up 및 Sleep 동작을 수행한다. 이런 동작 과정 중에 데이터 통신하기 위해서는 제어모듈(Base Station)인 스마트 CCTV 모듈을 기준으로 모든 센서 노드는 주기적인 Beacon 메시지를 통한 시간 동기화를 수행한다. 또한 Beacon 메시지는 시간 동기화과 함께 경로 찾기 기능을 수행한다.

경로 선정에서 실제 외부 환경이 차량이나 시설물 등이 다양하게 변할 수 있어 어떤 특정 시점에 형성된 경로가 항상 통신이 잘된다는 보장을 할 수 없다. 따라서 통신 경로는 물리적인 최단거리 등을 고려하는 것보다 Link Quality를 우선시 보장할 수 있도록 하였다. 즉 통신장애 요인은 주변 환경에 의해 다양하게 나타날 수 있고, 정량적인 수치로 정의하기에는 어려움이 많다. 따라서 환경에 맞게 경로를 다변화 시키는 것이 신뢰성과 통신 단절의 복구 측면에서 유리하다.

스마트 CCTV 모듈과 센서노드가 네트워크에 참여하는 기본 요소는 비컨(Beacon) 메시지를 기반으로 운영된다. 비컨 메시지는 네트워크 구조의 시간 동기화 및 라우팅 경로형성이 포함되어 되어 있다. 센서노드의 네트워크 라우팅 경로는 스마트 CCTV 모듈의 비컨 메시지를 이용한 소스 라우팅(Source Routing)방식을 채택하였다. 이를 위해 비컨 메시지는 {패킷 식별 번호(PCK SEQ), 비컨 식별 번호(BEACON SEQ), 최초 송신자 주소 (ORIGIN SRC), 현재 송신자 주소(SRC), 홉 수(HOP CNT), 수신 신호 세기(RSSI), ...}등의 정보로 구성된다.

Figure 6은 경로 정보 생성 및 데이터 전송을 도식화 한 것이다. 점선은 스마트 CCTV 모듈에서 비컨이 플러딩(flooding)되어 경로 정보를 생성하는 경우이고, 실선는 경로 생성된 후 각각의 센서노드가 위치 정보를 스마트 CCTV 모듈로 전송하는 경우이다. D 노드는 비컨 메시지 발생자로서 스마트 CCTV 모듈에 해당된다. D 노드에서 발생한 비컨 메시지는 플러딩되어 C에서 A로 전달되는데 이때 각 노드는 최초 송신자 주소(ORI SRC) 정보를 통해 최초로 비컨을 발생한 D 노드의 정보를 최종 목적지 주소(ORI DST) 저장하고, 이 비컨 메시지를 마지막으로 전송한 노드의 정보를 다음 목적지 주소(NEXT DST)로 저장한다. 이후 데이터는 A ∼ C → D 로 전송 할 때는 항상 다음 목적지 주소(NEXT DST) 주소만 이용하여 Unicast 방식으로 전송하게 네트워크 라우팅을 구현하였다.

Figure 7은 경로 형성 방법의 의사코드를 나타낸다. 라우팅 정보는 MAIN_ROUTE와 SUB_ROUTE로 관리되어 송신 실패 시 이용할 수 있게 하였다.

Figure 8은 비컨 메시지의 재전송 방지의 의사코드를 나타낸다. 비컨 메시지의 플러딩으로 인한 비컨 메시지의 재전송 문제는 NET_SEQ 번호 이용하여 방지하였다.

Figure 6

Generating routing information and data transmission

Figure 7

Pseudo-code about generation of routing information

Figure 8

Pseudo-code about avoidance of beacon re-transmission

2.4 스마트 CCTV 모듈과 센서노드간의 무선 센서네트워크를 통간 GPS 정보 전송 방법

센서노드에서 이벤트 인지를 위해 가속도 센서를 사용하였다. 센서노드는 Figure 9과 같이 초기 GPS정보를 획득하여 센서노드가 설치된 위치를 저장한다. 이후 센서가 가속도 센서에 의해 이벤트 감지하면 IEEE 802.15.4 통신 방식으로 센서노드의 ID와 GPS정보(위도, 경도, 고도)를 스마트 CCTV 모듈로 전송하게 된다. 그리고 움직임에 의한 센서노드의 위치 변경을 보정하기 GPS를 수신하여 센서노드의 GPS정보를 갱신 저장한다.

스마트 CCTV 제어 모듈은 Figure 10과 같이 초기 CCTV 제어 보드의 GPS정보를 획득하여 CCTV위치를 저장하고, 현재 CCTV가 지향하고 있는 위치를 저장한다. 그리고 IEEE 802.15.4 무선 통신 방식을 통해 이벤트가 발생한 센서노드로부터 해당 센서노드의 GPS정보를 전송받는다. 전송 받은 센서노드의 위치 정보를 이용하여 지리적 거리 계산법[16]을 이용하여 팬틸트 각도를 제어하여 CCTV 를 상하 및 좌우 회전하게 된다. 그리고 영상을 저장하며, 영상처리 제어부로 영상을 전송하여 내부 저장장치(HDD)에 저장한다. 그리고 현재 CCTV가 지향하는 위치를 변경 저장하여 이후 팬틸트 각도 회전을 위한 지리적 거리 계산 방법에 이용한다.

Figure 9

Sensor node function flow

2.5 스마트 CCTV 모듈에서 GPS정보를 이용한 CCTV 팬틸트 회전각도 계산 방법

스마트 CCTV 모듈이 이벤트를 발생한 센서노드로 CCTV의 팬틸트 각도를 이동하기 위한 지리적 거리 계산법은 식 (1) ~ 식 (6)으로 표현할 수 있다.

Figure 10

Smart CCTV module function flow

Figure 11과 같이 CCTV가 설치된 곳(a0, b0, c0), 이벤트를 발생시킨 센서노드가 설치된 곳(a2, b2, c2), 현재 CCTV가 영상을 찍고 있는 곳(a1, b1, c1) 이들 세 점의 위치를 알고 있다면 스마트 CCTV 모듈은 지리적 거리 계산법을 통해 세 변의 길이를 알 수가 있다.

Figure 11

Geographical position for PTZ control

즉 위도, 경도에 따른 거리 계산은 식 (1)과 같이 CCTV가 설치된 위치와 현재 CCTV 지향 위치간의 거리(Km)를 구할 수 있으며 식 (2)와 같이 CCTV 설치 위치와 이벤트 발생 센서노드 위치간의 거리(Km)를 구할 수 있고, 식 (3)과 같이 현재 CCTV 지향 위치와 이벤트 발생 센서노드 위치간의 거리(Km)를 구할 수 있다. 따라서 식 (4)와 같이 CCTV 좌우 이동 각도(θ)를 구하고 고도 차이에 의한 식 (5)와 같이 CCTV 상하 이동 높이 차이(m)를 구하여 식 (6)과 같이 CCTV 상하 이동 각도(δ)를 구할 수 있다.

3.1 스마트 CCTV 모듈

Figure 12는 제작된 스마트 CCTV 모듈이다. HD-SDI CCTV 카메라 2개의 신호를 입력받을 수 있으며, WIFI와 IEEE 802.15.4의 무선통신기능과 Gigabit Ethernet의 유선통신기능을 장착하고 있다. 또한 영상 저장용 SATA HDD와 GPS 수신기 장착을 위한 USB Host 포트를 가지고 있다. 그리고 PTZ 제어를 위한 RS-485 포트가 있다. PCB 크기를 CCTV 카메라 크기로 제작하여 CCTV 카메라 하부에 장착할 수 있도록 제작했다. Table 1과 같이 스마트 CCTV 모듈은 영상의 기록, 처리, 스트리밍, 검색, 무선 전송 등의 기능을 가지고 있다. HD-SDI 영상을 입력 받을 수 있으며, 영상 해상도는 1280x720@60fps 이상 또는 1920x1080@30fps 이상이다. 동영상 인코딩 및 저장 형식은 H.264 High Profile 이며, 동영상 전송 형식은 MPEG4 AVC 이다. 동영상의 실시간 스트리밍은 H.264 RTSP/RTP 전송을 지원하며 RTP의 경우 UDP Multicast 전송을 지원하고 RTSP의 경우 TCP Unicast 전송을 지원한다. 무선 통신 방식은 중앙 관제소와는 IEEE 802.11g/n을 지원하며 센서노드와는 IEEE 802.15.4을 지원한다. MCU는 DSP가 내장된 TI사 의 TMS320DM8168을 사용하였다. Gigabit의 Ethernet을 사용하며, WIFI 통신을 지원하며, HDD를 장착하여 저장장소로 사용하였다

Figure 12

Smart CCTV module

Table 1

Function features of smart CCTV module

3.2 센서노드

Figure 13은 제작된 센서노드이며 Table 2은 센서노드의 주요 사양이다. 센서노드는 외부환경에 사용되기 때문에 극한의 충격, 진동, 온도, 습도 환경에서 동작할 수 있도록 설계되었다. 그리고 GPS 신호에 의한 위치 정보를 제공한다. 센서노드의 GPS정보의 전송은 IEEE 802.15.4 RF를 통해 이루어지며, 충격이 발생했을 때와 비컨 메시지를 수신 받을 경우만 활성화하여 저전력으로 동작할 수 있게 설계하였다.

Figure 13

Sensor node

Table 2

Specification of sensor node

3.3 스마트 보안 CCTV 시스템 구현 결과

스마트 보안 CCTV 시스템의 동작을 확인하기 위해 실험을 수행하였다. 실험을 위해 외부에 5개의 센서노드와 건물 창가에 스마트 CCTV 모듈이내장된 CCTV를 설치하였다. 실험 시나리오는 다음과 같다.

• 외부에 설치된 센터노드 주변으로 사람이 지나갈 때 센서노드가 이벤트임을 인지

• 센서노드는 자신의 ID와 GPS 위치 정보를 스마트 CCTV 모듈로 전달

• 스마트 CCTV 모듈은 지리적 계산 방법을 이용하여 이벤트 발생 센서노드 위치 계산

• 스마트 CCTV 모듈은 CCTV의 팬틸트를 제어하여 이벤트 발생 센서노드 방향으로 CCTV 방향 전환

• 동영상 촬영과 동시에 이미지 캡처 수행

Figure 14는 센서노드로부터 전송받은 위치 정보를 이용하여 해당 센서노드의 위치로 CCTV를 회전하여 CCTV가 캡처한 이미지를 보여준다. Figure 14 (a)는 센서노드 ID #1로부터 메시지를 받고 난 후 캡처한 이미지이고, Figure 14 (b), (c), (d), (e) 는 센서노드 ID #2, #3, #4, #5 로부터 메시지를 받고 난 후 캡처한 이미지이다. Figure 14에서 빨간색 네모로 표시한 부분은 센서노드를 나타낸다. 가까운 간격(GPS 거리 오차범위 약 10m 이내)으로 센서노드를 설치할 경우에 위치 정보가 다른 센서노드와 동일하여 정밀한 팬틸트 동작 및 제어가 일어나지 않는 경우 도 발생할 수 있다. 실험 결과 스마트 보안 CCTV 시스템이 센서노드의 이벤트 알림에 따라 이벤트가 일어난 곳을 정확히 촬영하는 것을 확인할 수 있었다.

Figure 14

Smart CCTV camera image capture

3.4 기존 시스템과의 비교

본 논문에서의 스마트 보안 CCTV 시스템은 기존의 시스템인 영상정보 분석을 통해 위험 상황을 파악하고, 위험상황에 알맞게 주변 카메라 모듈에 명령을 내려 카메라 PTZ를 제어하는 감시 시스템[17]에서의 문제점을 보완하였다. 기존의 시스템은 영상처리를 위한 별도의 장치가 필요하며, CCTV가 외부환경에 설치되어 운영될 경우 광원에 따른 조도 차이에 따른 영상 인식에 오류를 가질 수 있으며, 비나 눈이 내릴 경우 원하는 영상을 획득할 수 없어 감시시스템이 영상 분석 자체를 하지 않을 수 있다. 그러나 본 시스템은 센서노드에 장착된 가속도 센서의 이벤트 발생에 따른 위치 정보를 이용하여 PTZ 제어를 통해 CCTV를 회전하여 영상을 감지하기 때문에 기존 시스템이 가지고 있는 외부환경에 의한 영상 노이즈 및 분석 오류 발생의 가능성과 영상 처리를 위한 비용을 감소시킬 수 있으며,비나 눈이 내릴 경우 최소한 어떤 위치에서 이벤트가 발생되었다는 경고메시지가 전달되기 때문에 기존 시스템에 비해 활용도가 크다.

또한 스마트 보안 CCTV 시스템은 센서노드에 각각의 GPS가 장착되어 있기 때문에 기존의 시스템인 이벤트 감지 센서노드를 이용하여 PTZ 제어하는 시스템[18]에 비해 설치 및 재배치에 효율성을 높였다. 즉 기존 시스템은 초기 설치 시 각각 의 센서노드의 정확한 위치 정보를 각각 측정하여 설치해야 한다는 문제점이 있다. 그러나 본 시스템은 각각의 센서노드가 스스로 GPS 정보를 수신하여 스마트 CCTV 모듈에 IEEE 802.14.5 방식의 무선 메쉬 네트워크 통해 각각의 센서노드의 위치 정보를 전송하기 때문에 설치 및 변경에 효율적이다. 즉 센서노드의 이동 및 재배치 시에도 센서노드 스스로 자신의 위치를 설정하기 때문에 설치 등에 효율적이다. 또한 시설물 감시, 보호 동물 감시, 군사 시설 등 이용할 수 있는 범위를 높였다.

또한 기존의 CCTV 시스템은 카메라와 원거리에 저장장치가 설치되어 통신 선로가 연결되지 않을 경우 영상정보의 저장이 불가능하다. 그러나 본 시스템은 HDD가 내장된 스마트 CCTV 모듈을 CCTV와 함께 구성하였다. 즉 영상 전송이 불가능한 경우에는 내부 저장장치에 영상을 저장하고 이후 통신이 가능한 상황에는 저장된 영상정보를 중앙 관제소로 보내게 된다. 따라서 본 시스템은 통신 선로 문제에 따른 영상 저장의 손실에 대비하였다.