Ⅰ. 서 론

오늘날 인류가 4차 산업혁명의 시대에 진입한 이후 정보통신 기술이 비약적으로 발달하고 있다. TV, 인터넷, 스마트폰, OTT(Over The Top) 등 다양한 정보통신 매체가 발달하였고, 그 응용 분야도 산업 전반에 걸쳐 활발하게 확장되고 있다. 이에 따라 정보의 양(量)은 기하급수적으로 증가하였고, 이러한 수많은 정보를 저장, 분석, 제공하는 빅데이터 처리기술이 발달하고 있다^[1]. 더 나아가 인공지능 기술이 발달하면서 사용자 요구에 따라 데이터를 수집하고 분석한 다음 제공하는 것을 스스로 인지/인식하고 자율적으로 행하는 기술도 선보이고 있다.

이러한 정보통신 기술의 발달 속에서 영상정보에 대한 중요성은 매우 증가하고 있다. 인공위성, 항공기, 드론, 자동차 등의 여러 센서를 통해 수집되는 수많은 영상정보들은 2D/3D 지도제작 기술의 발전을 가져왔고, 지도와 GPS를 이용한 내비게이션 기술, 자율주행 기술 등에 응용되고 있다. 또한 빅데이터 및 AI 분야와의 융합을 통해 영상정보를 보다 효율적으로 가공하고 그 데이터 안의 정보를 보다 정교하게 이용할 수 있게 됨으로써 영상정보 처리의 중요성은 더욱 커졌다.

또한 영상 기술의 발달로 고화질·고해상도의 영상정보를 다룰 수 있게 되면서 이러한 대용량 영상정보를 처리하기 위한 시스템 아키텍처 및 플랫폼의 중요성도 증가하였다. 인공위성과 항공기 등의 영상 센서들이 수집하는 정보의 크기는 수 GB 수준의 이미지 영상정보에서 수백 GB까지의 동영상 영상정보까지 다양하다.

본 논문에서는 여러 센서에서 전송되는 대용량 영상 정보들을 취합하고 영상을 가공한 다음 최종 사용자가 이용하는 데 있어서 근실시간으로 자료를 제공할 수 있도록 하는 멀티센서 대용량 데이터 운용을 위한 플랫폼 아키텍처를 설계하였다. 우선적으로 대용량 데이터 운용을 위한 네트워크 아키텍처를 설계하였고, 또한 효율적인 데이터 입출력과 저장을 위해 HSM (Hierarchical Storage Management) 개념을 이용한 하이브리드형 통합저장장치를 설계하였다. 이렇게 설계된 HW(Hard-ware) 아키텍처 내에서 실제 대용량 자료를 여러 사용자가 이용할 때의 부하성능을 분석하였으며, 그 결과 대용량 데이터 운용을 위해 적합한 플랫폼 아키텍처를 설계했음을 보였다.

Ⅱ. 본론

2.1 네트워크 아키텍처 설계

다양한 센서(여기서 센서는 데이터를 제공해주는 타 체계를 의미)를 통해 전달되는 대용량 데이터를 신속하게 처리하기 위해서는 체계에 맞는 네트워크 환경을 적절하게 구성할 필요가 있다. 이 장에서는 네트워크 아키텍처에 대한 설계내용을 다루었다. 그림 1은 본 시스템의 전체 구성도를 보여준다.

2.1.1 외부 네트워크 아키텍처 설계

이 시스템에서 외부 네트워크는 주센터 2개소와 부센터 2개소를 연결하는 통로구간이다. 주요 대용량 데이터가 전송되며 입출력이 빈번한 주센터 간은 5G 대역폭을 이중화하여 최대 10G 대역폭으로 설계하였다. 주센터 보다는 적은 데이터 운용이 이뤄지는 부센터로 이어지는 구간의 대역폭은 2.5G 대역폭을 이중화하여 최대 5G 대역폭으로 설계하였다. 네트워크 설계에 따라 라우터 및 보안장비가 추가 구성되었으며, 국방정보 보안 규정을 반영하여 설계하였다. 외부 네트워크는 이중화를 통해 생존성 보장이 가능하도록 설계하였다. 그림 2는 네트워크 연결에 관한 구성을 보여준다.

2.1.2 내부 네트워크 아키텍처 설계

이 시스템의 내부 네트워크는 각 센터 내부구간 영역을 나타낸다. 시스템 내 근거리 정보 전송을 위한 전송망으로 이더넷 프로토콜을 통해 구성되었으며, 서버 네트워크, 사용자 네트워크로 구분하였다. 서버 네트워크는 10G로 설계하였으며, 필요에 따라 이중화 및 멀티링크 구성을 통해 생존성 및 대역폭을 확보할 수 있도록 설계하였다. 사용자 네트워크 역시 단말기에서 입출력되는 대용량 데이터 처리를 고려하여 1G로 설계하였다. 그림 3은 주센터를 기준으로 바라본 서버영역의 네트워크 구성을 보여준다. 그림 4는 부센터를 기준으로 바라 본 네트워크 구성을 보여준다.

2.2 스토리지 시스템 설계

본 시스템에서 수집/처리/통합된 각종 대용량 영상 데이터를 저장 및 관리하기 위해서 저장소는 사용자 운용에 맞는 적절한 저장용량을 산정해서 설계하였으며, 추후 확장성을 고려하였다. 이 장에서는 본 시스템에 적용된 저장소에 대한 스토리지 시스템 설계 내용에 대하여 다루었다.

2.2.1 스토리지 시스템 아키텍처 설계

이 시스템은 센터 내 수집체계 및 응용체계에서 발생한 데이터를 관리하기 위한 스토리지 파일 시스템을 구성하였다. 안정적인 데이터 관리와 신속한 처리를 위해 광채널을 이중화하여 고가용성을 구현하였다.

SAN(Storage Area Network) 스위치 방식을 적용하여 서버와 외장형 저장장치 간 광채널 연결 시 SAN망을 이용하도록 설계하였다. 이는 서버의 증가 혹은 스토리지의 증가 시에도 각각의 장비에 Host Bus Adapter Card 혹은 Host Interface Card를 추가할 필요가 없고, SAN의 확장만으로 서버와 스토리지 사이에 연결통로를 확보할 수 있다.

그림 5는 이 시스템의 스토리지 HW 구성도이다. 이 시스템에서는 HSM 개념을 도입하여 최적의 데이터 관리를 위한 스토리지 시스템을 설계하였다. 수집된 원본 영상 및 후처리 영상 데이터는 1차적으로 고성능 SAN 저장소에 저장되며, 데이터 정책에 따라 2차 저장소로 자동 아카이빙된다. 아카이빙된 데이터는 최종적으로 백업시스템을 통해 백업스토리지로 이동된다. 통합저장소로 불리는 주스토리지는 SSD(Solid State Drive)와 SAS(Serial Attached SCSI), NL-SAS(Near Line-SAS)로 구성하였다. 앞서 수집되는 대용량 데이터들은 고성능 SSD에 저장이 되며 이를 통해 대용량 데이터는 빠른 입출력이 가능하다. 저장용량이 증가함에 따라 자주 사용되지 않는 데이터는 2차 SAS 스토리지 및 3차 NL-SAS 스토리지로 자동으로 이동하여 저장된다. 오래 전의 3차 NL-SAS 스토리지의 데이터를 출력하게 되면 이 데이터는 다시 1차 SSD 스토리지에 저장되면서 빠른 데이터 입출력을 지원하게 된다.

이러한 HSM 개념을 통한 스토리지 설계 외 이 스토 리지 시스템의 안정적인 운용을 위한 RAID(Redundant Array of Independent Disk) 구성도 필요하였다. RAID 유형은 여러 가지 구성 형태가 있으나 본 시스템의 스토리지 구성에서는 1차 및 2차 스토리지의 가용성과 성능을 고려하여 RAID 5 구성에 HOT Spare Disk 10%를 적용한 형태로 설계하였다. 이는 대용량 데이터 사용에 따른 공간 효율성을 고려하였으며, 이전의 대용량 데이터를 다시 불러오는 경우가 다발적으로 이뤄지는 시스템 특성을 고려하여 백업이나 복제볼륨 구성에 여유를 둔 형태이다.

Ⅲ. 실험 및 결과

이 장에서는 멀티센서에서 전송되는 대용량 데이터를 운용하기 위한 네트워크 아키텍처와 스토리지 시스템 설계에 대하여 적절하게 설계되었음을 성능 테스트 실험 방법과 그 결과를 통해 보여준다.

실험은 시뮬레이션을 이용한 M&S(Modeling and Simulation)와 모의 장비를 이용하여 구성한 실장비로 실험을 진행하였다.

3.1 M&S 분석 및 결과

M&S 기술은 산업 현장이나 과학 기술 분야에서 다양하게 활용되고 있으며, 특히 네트워크 용량이나 성능을 예측하는 연구 분야에서 여러 네트워크 시뮬레이션 도구가 개발되어 M&S로 활용되고 있다^[2]. 본 시스템 개발과정에서도 실제 시스템 구축 전에 대용량 데이터 전송에 있어서 상용망의 전송용량을 검증할 필요가 있었다. 었다.

본 시스템에서 대용량 데이터 전송은 주센터 간에 대부분 발생한다. 따라서 주센터 간을 상정하여 M&S 환경을 구축하고 실험을 진행하였다. M&S 도구로는 OPNET을 사용하였다.

3.1.1 주센터 간 상용망

그림 6은 상용망 시뮬레이션 환경 구축 구성을 보여준다. 주센터를 각각 A와 B로 설정하였고, 2.5Gbps 링크 4개를 이용한 10Gbps 이더넷으로 연결하였다. 각 센터 내 토폴로지는 외부 연결을 위한 라우터/스위치/방화벽을 하나씩 배치하였고, 내부에 스위치 2대와 서버 4대를 배치하여 각각 10Gbps 이더넷으로 연결하였다.

아래 그림 7과 그림 8은 시뮬레이션 환경에 대한 23시간 트래픽 전송 결과를 나타낸다. 트래픽 모델은 OPNET에서 제공하는 모델을 선정하였으며, B센터 서버에서 A센터 서버로 총 16개 트래픽을 전송하도록 하였다. 트래픽 전송량은 700GB/h이다. 이는 각 센터로 수집되는 영상자료에 대하여 두 센터 간 동기화가 실행될 때를 포함한 수치이다. 이를 통해 센터 간 동기화가 실행될 때의 트래픽 상황을 확인하고자 하였다. 23시간 트래픽 전송에 대한 시나리오 실험 결과 트래픽은 0초부터 23시간까지 발생되었고, 16개 트래픽 중 1개의 트래픽을 확인한 결과 24시간 이내 전송이 완료됨을 확인하였다. 주센터 간 링크 사용량은 16%로 관측되었다.

이 결과를 통해 700GB의 대용량 데이터 전송 환경에서도 두 센터 간 23시간 무중단 가동에 문제가 없으며, 이 때 두 센터 간 전송대역폭에도 여유가 있음을 확인하였다.

3.1.2 주센터 내 사용자망

이번에는 주센터 내 사용자망에 대하여 시험을 하였다. 이 시험을 통해 사용자망에 대한 링크 사용량을 확인하고자 하였다. 본 시스템 운용 시 센터 당 동시 사용자수를 가정하여 하나의 스위치에 20명의 사용자를 연결하였다.

그림 9는 트래픽 실험을 위한 토폴로지 구성을 보여준다. 한 개 센터를 기준으로 상위 스위치 내부에 사용자 스위치를 연결하였고, 사용자 스위치에는 20개 노드를 연결하였다. A센터 내 서버에서 A센터 내 데스크톱으로 트래픽을 전송하도록 설정하였으며, 트래픽 전송량은 20GB/h이다.

그림 10은 사용자망 링크 사용량에 대한 확인 결과를 보여준다. 1시간 동안 트래픽을 전송하였고, 이에 트래픽은 0초부터 1시간 동안 제대로 발생되었다. 16개 트래픽 중 1개의 트래픽을 확인한 결과 트래픽이 이상 없이 전송 완료된 것을 알 수 있었다.

3.2 스토리지 설계 테스트 및 결과

이 장에서는 본 시스템에 적용될 스토리지 환경 구성을 위한 설계 방안을 테스트하고 그 결과를 정리하였다.

LTO(Linear Tape-Open) 저장소의 파일 아카이빙 테스트 및 Xcellis 파일 시스템을 적용한 후 SAN, NAS(Network Access Storage), DLC(Distributed LAN Clients)영역의 IO 성능 측정을 통해 이 시스템에 적합한 저장소 구성방안을 도출하였다. 그림 11은 이 시험을 위한 테스트 환경 구성을 보여준다. 1차 디스크는 SAS 디스크이며, 테스트 서버는 OS 별로 윈도우 서버와 리눅스 서버 두 대로 구성하였다. 워크스테이션은 DLC 및 NAS로 연결하였다.

3.2.1 Xecllis 파일시스템 테스트 및 결과

본 시스템의 스토리지 파일 시스템 구성 방안에 대한 알맞은 설계를 도출하기 위한 8가지 경우에 대한 테스트를 진행하였다. 표 1은 8가지 테스트 시험과 결과를 보여준다.

우선, SAN과 Internal Disk Copy 테스트를 위해 1차 디스크 저장소 영역을 SAN 공유 볼륨으로 생성하고 2GB 이상의 영상파일 총 18Gb를 테스트 서버 내장 디스크로 복사해서 전송하는 시간을 측정하였다. 그 결과 서버 OS별로는 Window보다 Linux에서 전송속도가 우위였고, Disk에서는 SSD에서 SAS로의 복사 전송시간이 더 나은 결과를 보였다.

둘째, 워크스테이션 SAS Disk에서 저장소 SAS Disk로의 복사 시간을 측정하였다. Network 대역폭도 1G와 10G 환경으로 구분하였으며, 9.1GB의 데이터를 각각 복사하였다. 그 결과 SAS Disk 간 파일전송은 네트워크 대역폭에 비례하지 않고 Disk IO 성능에 제한을 받음을 알 수 있었다. 이는 Disk IO가 1G 대역폭 전송용량 보다 낮음을 의미한다. 그리고 NFS(Network File System)방식과 DLC방식을 비교했을 때 DLC방식으로 공유 디스크를 구성하는 것이 유리함을 알 수 있었다.

3.2.2 LTO 아카이빙 테스트 및 결과

본 시스템의 LTO 아카이빙 설계에 대한 테스트를 위해서 아래의 두 가지 테스트를 진행하였다.

첫째, 워크스테이션 Disk 파일 로딩 테스트로 1차 디스크 저장소 공유볼륨을 워크스테이션에서 대용량 영상을 도시할 수 있는 QGIS(Quantum Geographic Information System) 툴을 이용하여 2GB 이상 영상파일의 오픈 시 소요되는 시간을 측정하였다. 워크스테이션 Local Disk(SAS Disk) File 로딩 결과, 파일 사이즈 2.5GB TIFF 영상에 대하여 로딩 시간은 3초가 소요되었다. 워크스테이션 1차 저장소 Disk(SAS Disk) 로딩 결과, 파일 사이즈 2.5GB TIFF 영상에 대하여 로딩 시간은 5초가 소요되었다. 그림 12는 워크스테이션 Local Disk File 로딩 작업 및 영상이 완전히 로딩된 모습을 보여준다.

둘째, 워크스테이션 LTO 파일 로딩 테스트를 위해 1차 디스크 저장소 공유볼륨을 LTO Media로 아카이빙하고 이를 워크스테이션에서 QGIS 툴을 이용하여 2GB 영상파일의 오픈 시 소요되는 시간을 측정하였다. 앞선 Disk 파일 로딩 테스트와는 달리 LTO Media 로딩 절차가 추가되었다. 그림 13과 같이 이미지 영상파일에 대해 현 위치 아카이빙을 확인하고 화면 로딩 소요시간을 측정하였다. LTO 7 tape를 이용하였으며 영상이미지는 2.5GB 크기였다. 그 결과 화면 로딩 소요시간은 31초가 소요되었다. 그림 14는 파일 복사 테스트 결과를 정리한 것이다.

테스트 결과, LTO 아카이빙 데이터의 1차 저장소 로딩은 BMT(Benchmark Test)상 약 30초~50초 사이 소요됨을 확인하였다. 파일 크기에 따른 LTO 로딩 시간 차이도, 1.5GB는 15~20초, 2.5GB는 30~50초 사이로, 확인되었다. 결과적으로 LTO 로딩 시간이 시스템에서 요구하는 시간보다 길어 2차 저장소는 LTO보다는 SAS나 NL-SAS 등 보다 입출력 속도가 빠른 저장장치를 이용하는 것이 유리함을 알 수 있었다.

3.3 네트워크 아키텍처 설계 분석 및 결과

이 장에서는 본 시스템에서 요구되는 다수의 사용자들이 각종 대용량 영상 데이터의 수집/처리/통합 등의 데이터 처리 시 발생되는 트래픽 수준을 확인하여 가용량을 검사하고 시스템에 필요한 네트워크의 대역폭을 설계하기 위한 실험에 대한 분석 및 결과를 보여준다.

3.3.1 외부 네트워크망 실험 및 결과

본 시스템을 실제 구축하기 전에 테스트를 위해 유사한 네트워크망 환경을 구축하였다. 그림 15는 테스트를 위한 환경 구성을 나타낸다. 주센터 A와 B 구간은 10G망이며, 테스트용 데스크톱과 노트북을 이용하여 가상의 사용자를 구현하였다.

테스트는 본 시스템의 영상 데이터 형태인 Jpeg2000을 처리하는 JPIP(Jpeg2000 Interactive Protocol)을 이용한 스트리밍 실험과 FTP(File Transfer Protocol)을 이용한 전송시험을 각각 진행하였다.

첫째, JPIP Stream 시험은 JPIP 서버 내 테스트 영상(1GB, 230MB)를 JPIP Client에서 호출하여 영상의 LOD (Level Of Detail)값에 따른 소요 트래픽을 측정하였다.

그림 16은 GXP(Geospatial eXploitation Product) JPIP Stream 테스트 결과를 보여준다. 1GB 영상파일을 Stream 다운로드할 때 1Gbps 회선 중 극히 작은 대역폭을 사용하는 것으로 확인되었다. 영상의 LOD 수준에 따라서도 Max 트래픽에 변동이 있었다. 다만 GXP 서버의 JPIP 기능을 활용할 때 Stream된 영상의 품질하락 현상이 있었다.

그림 17은 KAKADU JPIP Stream 테스트 결과를 보여준다. 동일한 1GB 영상파일에 대하여 KAKADU 솔루션을 활용한 JPIP Stream 테스트 결과 GXP 솔루션을 활용할 때 보다 더 적은 트래픽 점유율을 보였다. 다만 마우스 휠 이동을 통한 Zoom-In, Zoom-Out 시 트래픽이 발생하는 현상이 있었다.

둘째, FTP 시험은 서버간 1GB 파일을 FTP 프로토콜을 이용하여 전송 후 소요시간 및 초당 사용 트래픽을 측정하였다.

그림 18은 FTP 테스트 결과를 보여준다. FTP 테스트 결과 네트워크 대역폭 전략을 사용하며, 허용 대역폭을 넘어갈 경우 자연시간이 발생하였다. 사용자 증가에 따라 최대 트래픽이 증가하였으며, 소요시간도 증가하였다. FTP 프로토콜을 사용 시에는 센터간 네트워크 회선 대역폭을 10Gbps급으로 구성할 필요가 있는 것으로 판단되었다.

결과를 정리하면, FTP의 경우 과다한 네트워크 트래픽 점유가 예상되므로 자료 송수신시 제한된 자료로 한정할 필요가 있으며, 네트워크 가용성 설계가 필요하다. GXP Streaming의 경우 작은 네트워크 대역폭으로도 네트워크 커버리지 만큼의 동시 사용자가 Streaming 서비스를 사용할 수 있을 것으로 보였다. KAKADU Streaming의 경우에도 작은 네트워크 대역폭으로도 서비스 사용이 가능하며, Streaming 영상 품질 면에서 가장 높은 결과를 보였다.

따라서 본 시스템은 모든 자료에 대한 FTP 다운로드는 지양하고 필요한 경우 자료 범위 및 수량을 제한하는 방식으로 설계하였다. 그리고 Jpeg2000 영상은 JPIP 프로토콜을 사용한 On-Demand 방식의 Streaming 서비스를 이용하도록 설계하였다^[3,4].

3.3.2 내부 네트워크망 실험 및 결과

내부 네트워크망은 사용자 스위치와 워크스테이션 구간의 네트워크망으로서 이 구간의 1G 대역폭 구성에 따라 대역폭 설계의 적합성 여부를 확인하고자 하였다. 동시 사용자 20명이 멀티레이어 적용 영상의 웹 도시 및 줌인/줌아웃 수행을 통한 부하발생 시 추가 사용자의 화면 응답시간 및 네트워크 사용 용량을 측정하여 본 시스템의 내부 네트워크망 설계 용량의 적절성을 검증하였다.

그림 19는 성능 테스트를 위한 환경 구성을 보여준다. 백본에서 워크그룹 스위치까지는 10G이며, 워크그룹 스위치에서 사용자까지는 1G 구간이다.

그림 20은 성능 테스트 결과를 보여준다. 동시 사용자 20명을 호출간격 1초로 1시간 동안 수행하였을 때 평균 7.7TPS(Transaction Per Second), 평균 응답시간은 2.62초로 측정되었다. 웹서버에서 발생하는 네트워크 사용률은 평균 12MB/s로 나타났다. 부하가 발생하는 동안 별도 단말기를 이용하여 웹서버 영상을 조회했을 때 타일링된 영상 1장 호출에 200KB이하의 네트워크 트래픽이 발생했다. 결과적으로 20명 동시 트래픽 발생 시 약 12MB의 네트워크 사용률은 한 명의 사용자가 20개의 영상을 동시에 호출하는 것과 동일한 네트워크 자원을 사용한다는 가정 하에서 한 명의 사용자에게 할당된 1G 네트워크 회선으로 20개 영상을 처리하는 것이 가능함을 보여준다.

Ⅳ. 결론

지금까지 멀티센서를 이용한 대용량 데이터 운용을 위한 플랫폼 아키텍처 설계에 대하여 적합성을 확인하는 실험과 결과를 알아보았다. 본 시스템의 아키텍처 설계 적합성을 검증하기 위해 외부 및 내부 네트워크 설계 구조를 확인하였고, 대용량 데이터 송수신 트래픽을 이용하여 네트워크망 대역폭의 적합성을 확인하였다. 또 저장소의 설계 구조를 확인하고, 대용량 데이터의 저장 시 이동속도를 통해 스토리지 시스템의 설계 적합성을 확인하였다.

내·외부 네트워크망은 M&S 도구인 OPNET을 이용해 분석하였다. 그 결과를 바탕으로 주센터 간은 2.5G*2개를 하나의 라우터로 연결하고 라우터 이중화한 총10G 망을, 주센터-부센터 간은 2.5G*1개를 하나의 라우터로 연결하여 라우터 이중화한 총 5G망을 구성하였다. 또한 대용량 데이터 전송 트래픽 실험을 통해 개발 요구조건에 만족함을 검증하였다.

스토리지 시스템은 파일 아카이빙과 Xcellis 파일 시스템을 비교분석하였다. 이를 통해 SAN을 이용하고, 입출력 속도가 빠른 SAS, NL-SAS 등의 저장장치를 이용한 Xcellis 파일시스템으로 설계하는 것이 유리함을 확인하였다.

본 논문을 통해 대용량 데이터를 송수신하는 멀티센서를 가지는 대규모 플랫폼 시스템 아키텍처를 설계함에 있어서 네트워크 대역폭과 스토리지 시스템 관점에서 고려할 사항들을 정리하였다. 현재 AI 산업이 발전함에 따라 Big Data 운용 및 데이터 처리를 위한 대규모 플랫폼 구축은 중요해지고 있다. 이 연구 결과는 대규모 플랫폼 구축시 분석기법과 고려사항으로 참고할 수 있으며, 더욱 정확하고 다양한 분석을 위한 방안들에 대해서는 추가적인 실험과 분석도구를 활용한 연구가 필요하다.