Ⅰ. 서 론

최근 무인 항공기 (Unmanned Aerial Vehicle, UAV)의 활용도가 증가함에 따라, 자율 비행 UAV에 대한 연구가 활발히 진행되고 있다^[1,2]. 이러한 자율 비행 UAV는 다양한 센서로부터 획득한 데이터를 바탕으로 주변 환경을 인식하고, 이를 기반하여 비행을 위한 경로를 생성하거나 수정한다^[3]. 일반적으로 카메라 또는 Light Detection and Ranging (LiDAR)를 사용하여 주변 3차원 환경을 인식하며, 환경을 고려하여 여러 센서를 함께 운용하기도 한다^[4]. 이들 센서가 인식하는 3차원 환경은 다양한 종류의 장애물들을 포함한다. 이러한 장애물들은 빛의 투과도에 따라 표 1과 같이 분류할 수 있다.

먼저, 비투과성 장애물은 빛을 통과시키지 못하는 장애물을 의미하며, 나무, 벽 등 대부분의 장애물이 이에 해당한다. 반면, 전투과성 장애물은 유리와 같이 빛을 완전히 통과시키는 물체를 의미한다. 마지막으로, 두 분류 사이에 위치한 반투과성 장애물은 철조망 울타리와 같이 전투과성 영역과 반투과성 영역이 혼합되어 있는 장애물을 의미한다.

최근 자율 비행 UAV에 대한 연구는 저고도 비행을 통해 지하철 등의 시설물 점검, 숲에서 실종자 수색, 농작물의 상태 관리 등 다양한 영역으로 임무 범위를 확장하고 있다^[5-7]. 이에 따라 UAV가 대응해야 하는 장애물의 유형도 증가하고 있다. 특히, 철조망 울타리와 같은 반투과성 장애물은 산악지대나 해안선, 농경지, 사유지 등 다양한 장소에서 자주 활용되기 때문에, 저고도 자율 비행 UAV의 안전한 비행을 위해서는 이를 인식하고 회피하는 기술이 요구된다. 그러나 반투과성 장애물은 투과성 영역을 통한 배경 간섭으로 인해, 카메라나 LiDAR의 센서 데이터만 사용하였을 때 해당 장애물의 위치 추정에 오차가 존재한다. 특히, 반투과성 장애물은 원거리에서는 비투과성 장애물로 인식되지만, 근접 시에는 전투과성 장애물의 특성을 띠게 되므로 장애물의 존재 감지 여부도 부정확하다.

표(Table) 1.

빛의 투과도에 따른 장애물 분류 (Classification of Obstacles by Transmission of Light)

전투과성	반투과성	비투과성

그림 1은 스테레오 카메라의 센서 정보만을 사용한 철조망 울타리의 지도 투영 결과를 나타낸다. 붉은 화살표는 UAV의 위치를 나타내며, 푸른 영역은 감지된 장애물을 의미한다. 그림에서 알 수 있듯이, 센서 정보를 통해 철조망 울타리의 기둥은 감지할 수 있으나, 이외의 다른 부분은 감지하지 못하는 문제가 있다.

최근 중국의 DJI사는 이러한 반투과성 장애물의 인식 문제를 해결하는 Circular Scanning Millimeter-Wave(CSM) Radar를 개발하였다^[8]. 그러나 개발된 CSM Radar는 고가의 DJI 전용 장비로 범용성에 한계가 있고, 1.5m 이하의 근거리에 위치한 장애물을 감지하지 못하는 문제가 있다.

한편, 기존의 센서들에 딥 러닝을 결합함으로써, 장애물 인식 문제를 해결하는 연구도 활발히 진행되고 있다^[9]. 특히, 3D object detection은 3차원 장애물 인식 및 위치 추정이 가능하여 다양한 모바일 로봇에 활용되고 있다^[10]. 3D object detection은 3D LiDAR 또는 카메라를 주로 활용하는데, 3D LiDAR는 고가의 비용과 무거운 장비의 무게로 인해 UAV에 활용하기에 제약 사항이 있다. 반면, 카메라는 가벼운 중량, 적은 부피, 저렴한 가격을 기반으로 UAV의 크기를 줄임으로써 장애물 회피에 용이한 시스템 구성이 가능하다. 기존의 3D object detection은 3차원 상의 비투과성 장애물을 인식하고, 위치를 추정하는 데에는 높은 정확도를 보인다. 그러나, 자체 실험 결과 철조망 울타리와 같은 반투과성 장애물의 경우 인식 및 위치 정확도가 부정확하다는 한계가 있다.

본 논문은 이러한 기존의 문제점들을 해결하기 위해 스테레오 카메라와 딥 러닝을 사용하여 반투과성 장애물 인식을 가능하게 하고, 장애물 위치를 정확하게 측정하는 방법을 제안한다. 제안하는 방법은 Convolutional Neural Network (CNN) 기반의 객체 인식 알고리즘을 사용하여 반투과성 장애물을 인식하고, Canny Edge Detection 등의 이미지 처리 기법을 적용하여 장애물의 깊이 정보에서 배경을 제거함으로써, 장애물의 3차원 위치 정확도를 향상한다. 모의실험을 통해 제안하는 방법의 유효성을 확인하였으며, 실제 환경에서의 실험을 통해 기존의 방법 대비 우수한 성능을 입증하였다. 또한, 경로 계획 알고리즘과의 통합을 통해 모의 및 실제 환경 모두에서 반투과성 장애물을 효과적으로 회피하는 능력을 검증하였다.

그림(Fig.) 1.

스테레오 카메라의 센서 정보를 활용한 반투과성 장애물의 지도 투영 실험 결과 (Experimental result of mapping for semi-permeable obstacle using stereo camera data)

논문의 구성은 다음과 같다. 2장에서는 반투과성 장애물의 3차원 위치 정확도 향상 방법과 경로 계획 알고리즘을 통합한 반투과성 장애물 회피 시스템에 대해 상세하게 설명한다. 3장에서는 실험을 통해 반투과성 장애물 회피 시스템의 성능 및 유효성을 입증하며, 4장에서는 본 연구의 결과와 향후 연구 방향에 대해 서술한다.

Ⅱ. 반투과성 장애물 회피 시스템

그림 2는 제안하는 방법과 경로 계획 알고리즘을 결합한 반투과성 장애물 회피 시스템의 동작 순서를 나타낸다. 본 시스템은 시간 순서에 따라 Detection, Mapping, Avoidance로 구분된다. Detection은 반투과성 장애물의 인식 및 이미지 내에서의 영역을 추정하며, Mapping은 반투과성 장애물의 3차원 위치 추정 및 환경 지도 작성을 수행한다. 마지막으로 Avoidance는 Mapping에서 생성한 환경 지도를 바탕으로 기존의 경로(흑색 점선)를 회피 경로(녹색 점선)으로 수정하여, UAV의 회피 비행을 수행한다.

그림(Fig.) 2.

반투과성 장애물 회피 시스템의 동작 순서 (점선은 UAV의 비행경로를 나타냄) (Operation sequence of the semi-permeable obstacle avoidance system)

2.1 반투과성 장애물 인식

고속으로 비행하는 UAV가 반투과성 장애물을 회피하기 위해서는 높은 정확도의 실시간 객체 인식 기술이 필수적이다. 여러 기술 중 CNN 기반의 객체 인식 알고리즘 YOLO는 인식 정확도와 연산 처리 속도 사이에서 적절한 균형을 이루는 실시간 객체 인식 알고리즘이다^[11]. YOLO는 임베디드 시스템과 같이 제한된 성능의 연산 처리 장치에서 실시간 객체 인식을 지원하며, 비교적 높은 인식 정확도를 보여준다. 또한, 다양한 Pre-trained 모델을 지원하여, 사용자가 특정 작업에 최적화된 모델을 선택할 수 있다는 장점이 있다. 본 논문에서는 인식 정확도와 연산 처리 속도가 개선된 YOLO V5를 사용하였다^[12].

본 논문에서는 반투과성 장애물에 대한 학습 데이터셋을 구축하기 위해, 일상생활에서 쉽게 접할 수 있는 철조망 울타리를 대상으로 하였다. 자체 촬영한 울타리 영상과 구글 이미지 검색을 통해 데이터를 수집하였고, 이후 Augmentation 기법을 적용하여 총 6,647개의 이미지로 학습 데이 데이터셋을 확장하였다^[13]. 이후, 임베디드 시스템의 성능 한계를 고려하여 사전 훈련된 YOLO V5의 S 모델을 사용해 학습을 진행하였다. 이 학습을 통해 얻은 결과물을 사용하여, 그림 3과 같이 반투과성 장애물을 인식하고 해당 장애물의 영역을 나타내는 Anchor Box를 획득한다.

그림(Fig.) 3.

반투과성 장애물 인식 결과 (Result of semi-permeable obstacle recognition)

2.2 반투과성 장애물의 3차원위치추정

본 논문에서는 3차원 공간의 깊이 정보를 획득하기 위해 스테레오 카메라를 사용한다. 이를 활용하면 벽, 나무 등과 같은 비투과성 장애물에 대해 획득한 깊이 정보를 이용하여 UAV와의 거리를 정확히 계산할 수 있다. 그러나 철조망 울타리와 같은 반투과성 장애물의 경우, 비투과성 영역과 전투과성 영역이 혼재되어 있기 때문에, 투과성 영역을 통한 배경 간섭으로 인해 깊이 정보에 오차가 존재한다.

본 논문에서는 이미지 처리 기법을 적용하여 반투과성 장애물의 깊이 정보에서 투과성 영역을 제거함으로써, 장애물의 3차원 위치의 정확도를 향상한다. 알고리즘 1은 제안하는 방법을 나타낸다. 반투과성 장애물에서 투과성 영역을 제거하기 위해서는 절 2.1에서 획득한 Anchor Box와 동일한 해상도의 color, depth 이미지가 필요하다. 제안하는 방법은 color 이미지에서 반투과성 장애물의 외곽 및 배경을 제거한 후, 남은 영역의 깊이 정보를 활용하여 장애물의 3차원 위치를 획득한다. 이를 위해 총 3단계로 구성된 Mask를 통해 조건을 만족하는 픽셀들을 선별한다.

1단계 ROI는 [TeX:] $$\text { Image }_{\text {color }}$$에서 Box의 영역, 즉 반투과성 장애물 영역을 제외한 나머지 영역을 제거하여 데이터 처리 속도와 메모리 사용의 효율성을 높인다. 2단계 EdgeExtraction은 [TeX:] $$\text { Image }_{\text {color }}$$에서 투과성 영역을 제거하고, 비투과성 영역을 선별한다. 이를 위해 [TeX:] $$\text { Image }_{\text {color }}$$를 gray 스케일로 변환한 뒤, Gaussian Blur를 적용하여 이미지의 잡음과 불필요한 세부 사항을 줄인다. 이후, Canny Edge Detection을 사용하여 투과성 영역인 배경을 제거하여, 반투과성 장애물에 해당하는 픽셀을 Mask에 저장한다. 3단계 ValidDepth는 [TeX:] $$\text { Image }_{\text {depth }}$$에서 유효하지 않는 값을 갖는 영역을 Mask에서 제거한다. 여기서 유효하지 않는 값이란 깊이 센서의 측정 범위를 초과하거나, 제안하는 방법의 유효 거리를 초과하는 거리값을 의미한다. 이러한 과정을 통해 생성된 Mask를 활용하여 [TeX:] $$[TeX:] $$\text { Image }_{\text {depth }}$$$$에서 깊이 정보를 획득하고, 평균 깊이를 계산하여 반투과성 장애물의 깊이를 추정한다. 최종적으로, 획득한 깊이 추정 값과 Anchor Box의 영역 정보를 통합하여 카메라 좌표계를 기준으로 하는 반투과성 장애물의 3차원 위치 정보를 획득한다.

알고리즘(Algorithm) 1

장애물의 3차원 위치 추정 (3D position estimation of obstacles)

2.3 반투과성 장애물의 환경지도투영

카메라를 통해 획득한 깊이 정보를 활용하여 환경 지도를 작성하기 위해서는, 각 픽셀의 정보를 월드 좌표계의 3차원 위치로 전환하는 과정이 필수적이다. 수식 (1)은 변환 과정에 사용되는 카메라의 내부 파라미터를 나타낸다. 여기서 [TeX:] $$f_x, f_y$$는 카메라 렌즈와 이미지 센서 사이의 초점 거리를 [TeX:] $$c_x, c_y$$는 이미지 센서에서의 좌표 원점을 의미한다.

수식 (2)는 월드 좌표계 내의 위치 (X, Y, Z)를 2차원 이미지 평면의 좌표 (u, v)로 변환하는 과정을 나타낸다^[14]. 이 과정을 역으로 적용하면, 2차원 이미지의 좌표 (u, v)와 해당 픽셀의 깊이 정보 Z를 활용하여, 월드 좌표계의 3차원 위치 (X, Y, Z)를 계산할 수 있다. 수식(3)은 수식 (2)를 유도하여 도출한 좌표 변환 과정을 나타낸다.

이렇게 계산된 월드 좌표계의 3차원 위치(X, Y, Z)는 카메라의 위치와 방향에 따른 추가적인 변환 과정을 거쳐 환경 지도에 반영된다.

본 논문에서는 수식 (3)의 과정에 변화를 주어 반투과성 장애물을 환경 지도에 표시한다. 알고리즘1을 통해 산출된 반투과성 장애물의 위치 Pose는 장애물의 이미지 내 영역 area과 깊이 정보 depth를 포함한다. 이미지 내 픽셀 좌표 (u, v)가 [TeX:] $$\text { Pose }_{\text {area }}$$ 내에 위치할 경우, 해당 픽셀의 깊이 값 Z를 [TeX:] $$\text { Pose }_{\text {depth }}$$로 대체한다. 이를 통해 환경 지도에서 반투과성 장애물을 완전한 벽으로 모델링하여, UAV가 이를 인식하고 회피할 수 있도록 한다.

2.4 반투과성 장애물 회피

본 논문에서는 절 2.3에서 작성한 환경 지도를 바탕으로 반투과성 장애물을 회피하는 경로를 계획하기 위해 Fast-Planner를 적용한다^[15]. Fast-Planner는 복잡한 3차원 환경에서 UAV가 목표 지점까지의 최단 경로를 찾는데 사용되며, UAV의 kinodynamic을 고려하여 장애물을 회피하는 경로를 생성한다. 또한, B-spline 최적화, Time adjustment 등을 결합하여 UAV의 부드럽고, 안전한 경로를 실시간으로 생성한다. Fast-Planner는 변화하는 환경에 빠르게 대응하여 경로를 재설정할 수 있도록 설계되어, UAV가 실시간으로 장애물을 회피할 수 있도록 지원한다.

Ⅲ. 실 험

3.1 실험 환경 및 구성

본 논문에서 구현된 반투과성 장애물 회피 시스템은 다양한 하드웨어의 조합을 사용하여 실제 환경에서 반투과성 장애물의 인식 및 회피 비행을 수행한다. 하드웨어 구성은 스테레오 카메라 (ZED 2i), Holybro X500 쿼드로터 프레임, 임베디드 시스템 (Jetson Orin NX), 1D Lidar (Lidar-Lite)와 GPS, LTE 모뎀, 그리고 Pixhawk 6c 비행 컨트롤러를 포함한다. 그림 4는 실험에 사용한 쿼드로터 플랫폼을 나타낸다.

그림(Fig.) 4.

실험에 사용된 쿼드로터 플랫폼 (Quadrotor platform used in experiment)

스테레오 카메라 (ZED 2i)는 주변 환경의 시각 정보와 깊이 정보를 수집하는 데 사용된다.

임베디드 시스템 (Jetson Orin NX)은 스테레오 카메라로부터 획득한 데이터의 처리와 분석, 그리고 경로 계획을 수행하는 중추적인 컴퓨팅 장치로 사용된다.

LTE 모뎀은 Ground Control System(GCS) 과의 통신을 위해 사용되며, GCS로부터의 명령 수신 및 UAV의 상태 정보 전송에 사용된다.

그림 5의 상부 사진은 그림 5의 UAV를 활용한 반투과성 장애물 회피 시스템의 실험 환경을 나타낸다. 본 실험에서는 반투과성 장애물로 철조망 울타리를 채택하였으며, UAV의 전면에 위치하도록 구성하였다.

그림(Fig.) 5.

반투과성 장애물 회피 시스템실험환경(위), 반투과성 장애물의 깊이 추정 실험 환경(아래) (Environment of semi-permeable obstacle avoidance system experiment (above), Environment of depth estimation of semi-permeable obstacle (below))

3.2 반투과성 장애물의 3차원 위치 추정 실험

본 실험은 동일한 위치에서 스테레오 카메라 (ZED 2i)를 사용하여 기존의 방법과 제안하는 방법의 깊이 추정 결과를 비교 분석한다. 실험에서 사용된 기존 방법은 ZED의 3D Object detection이다^[16]. 기존의 방법과 제안하는 방법은 모두 YOLO를 사용하여 이미지 내 객체를 식별하는 공통점을 가지고 있지만, 객체의 깊이 정보를 획득 방식에 차이가 있다. 본 실험에서는 절 2.1의 학습 결과를 이용하여 동일 조건에서 두 방법의 깊이 추정 결과를 비교 분석함으로써, 제안하는 방법의 우수성을 검증하였다.

표 2는 기준 거리에 대한 기존 방법과 제안하는 방법의 깊이 추정 결과를 대조적으로 보여준다. 또한, 결과값을 바탕으로 수식 (4)를 사용해 각 방법에 대한 오차율을 백분율로 환산하여 평균 오차율을 함께 나타낸다. 실험은 그림 5의 아래 사진과 같이, 고정된 위치의 스테레오 카메라를 사용하여 동일한 조건의 환경에서 진행되었다. 추가적으로, 제안하는 방법은 실험 환경과 동일한 조건을 갖춘 가상 환경에서 실험을 통해 실현 가능성을 확인하였다.

표 2의 결과에 따르면, 기존의 방법은 반투과성 장애물의 투과성 영역을 통한 배경 간섭으로 인해 평균 229%의 높은 오차율을 보인다. 또한, 거리가 증가함에 따라 배경의 간섭률이 변화하여 측정값의 비선형적인 변동을 초래하는 것으로 파악된다. 그에 반해, 제안하는 방법은 반투과성 장애물의 배경 간섭을 효과적으로 제거함으로써, 평균 12%의 상대적으로 낮은 오차율을 기록하였다.

3.3 반투과성 장애물에 대한 지도 투영 실험

그림 6은 그림 5의 위쪽 사진의 환경에서 제안하는 방법을 적용한 반투과성 장애물의 지도 투영 결과를 나타낸다. 그림 1과 그림 5의 실험 환경은 동일하다. 그림 1과 같은 기존 방식의 경우 스테레오 카메라의 센서 정보 만을 사용하여 장애물을 환경 지도에 투영하기 때문에, 반투과성 장애물의 지지대를 포함하는 일부 비투과성 영역만이 투영된다. 그에 반해, 제안하는 방법은 반투과성 장애물을 완전한 벽으로 모델링함으로써, 장애물의 전체 영역을 환경 지도에 투영한다.

그림(Fig.) 6.

제안하는 방법을 적용한 반투과성 장애물의 지도 투영 실험 결과 (Experimental result of mapping for semi-permeable obstacle using the proposed method)

3.4 반투과성 장애물에 대한 회피 안전성 비교

본 절에서는 동일한 환경에서 기존의 Fast-Planner와 제안하는 방법이 적용된 Fast-Plannner의 경로 생성 차이를 비교 분석한다. 그림 7은 가상 환경에서 실험한 경로 생성의 차이를 시각적으로 나타낸다. 기존 방법의 경우 UAV가 반투과성 장애물을 인식하지 못해 충돌하는 것에 반해, 제안하는 방법을 적용한 경우 UAV가 장애물을 인식하고 회피하는 것을 볼 수 있다.

그림(Fig.) 7.

생성된 경로 비교. 기존의 Fast-Planner (좌), 제안하는 방법이 적용된 Fast-Planner (우) (Comparison of trajectory. Conventional Fast-Planner (left), Fast-Planner with proposed method (right))

그림 8은 그림 5에 제시된 위쪽 사진의 환경에서 수행된 반투과성 장애물 회피 시스템의 동작 상태를 시간순으로 나타낸다. 그림 8의 위쪽 사진과 같이 UAV가 철조망 울타리 전면에 위치하도록 초기 위치를 설정하였으며, 그림 8의 아래에 도시된 위치까지 이동하는 것을 목표로 하였다. 이 그림을 통해, 실제 환경에서 제안한 시스템을 활용하여 UAV가 철조망 울타리를 정확히 인식하고, 회피할 수 있음을 입증한다

그림(Fig.) 8.

실제 환경에서 반투과성 장애물 회피 시스템의 동작 (Operation of the semi-permeable obstacle avoidance system in practice)

Ⅳ. 결 론

본 논문은 스테레오 카메라와 딥 러닝을 사용하여 반투과성 장애물의 인식을 가능하게 하고, 장애물 위치를 정확하게 측정하는 방법을 제안하였다. 제안하는 방법은 딥 러닝과 이미지 프로세싱을 사용하여 반투과성 장애물의 배경을 제거함으로써, 기존 결과 대비 반투과성 장애물 인식도 및 깊이 측정 정확도를 개선하였다. 또한, 경로 계획 알고리즘인 Fast-Planner와 통합하여 반투과성 장애물을 지도상에 투영하고 회피 경로를 생성하는 시스템을 개발하였다. 실험 결과는 제안하는 방법이 기존에 인식하지 못하던 반투과성 장애물 감지를 수행하였고, 기존 대비 깊이 추정 오차율을 개선하여, 장애물을 회피할 수 있는 비행 경로 생성에 기여하는 것을 입증하였다.

제안하는 방법은 객체 인식 알고리즘의 Anchor Box를 활용하여 반투과성 장애물의 영역을 인식하기 때문에, 장애물의 기울기를 반영하지 못하는 한계가 있다. 향후에는 이를 보완하는 연구를 진행할 예정이다.