Ⅰ. 서 론

도로 상의 ‘차선’, ‘속도제한’, ‘안전지대’와 같이 주행 차량의 제어를 보조하는 로드마크는 도로면에 작용되는 마모로 인해 소멸되거나 ‘날씨’, ‘그림자’와 같은 제약으로 인해서 식별이 방해될 수 있다^[1]. 주행 차량의 관점에서 물리적 손상이 발생된 도로나 로드마크의 시인성을 저하하는 요인들은 차량의 주행 대응 능력을 제한하여 교통사고나 차량 파손에 노출될 위험이 증가하게 된다^[2]. 이에 따라 안정적 주행 환경을 보장하고 도로 인프라의 유지 보수를 지원하기 위해서 동적으로 로드마크와 손상 부분을 인식하고 영역을 검출하는 것은 ‘차량 네비게이션’, ‘자율주행 시스템 구축’, ‘도시 계획 설계’ 등 다양한 응용 분야에 대응하기 위해 필수적으로 요구된다^[3].

그러나 기존의 도로 상태 모니터링을 위한 작업은 주로 조사원의 수작업에 의존하여 수행되고 있다. 원격 탐사 이미지에서 수동으로 작업을 수행하는 것은 시간과 인건비 등 비용적인 측면에서 매우 비효율적인 작업방식이며 조사원의 가시적 평가에 의존된 결과는 주관적이고, 일관되지 못할 수 있기 때문에 체계적인 도시 계획 수립의 신뢰 확보가 어려울 수 있다[4]. 따라서 최근에는 지능형 교통 체계 (Intelligent transport systems, ITS)에 의존해 카메라, LIDAR 센서 등을 활용한 교통관리 시스템이 제시되고 있으나 이는 현재 상황에서 도로 이용효율을 극대화하는 것에 초점을 맞춘 것이며 손상을 관리하고 적시에 유지 보수를 지원하는 분야의 적용은 여전히 부족한 상태이다^[5].

이와 같은 솔루션의 주요 목표는 실시간적 운용을 통해 현재의 안정적 주행환경을 보장하고 추후에 보수 지원이 가능한 수준의 시스템을 구축하는 것이다. 따라서 본 논문에서는 이를 위해 주행 차량 시점에서 동적으로 로드마크를 인식하고 손상 영역을 검출하는 프로세스를 제안한다. 제안 프로세스는 주행상황에서 로드마크의 시인성을 확보하기 위해 object detection 기술을 활용한 로드마크 인식 모델과 추후 도로 유지보수 지원을 위해 segmentation 기술을 활용한 손상영역 검출 모델이 2-stage의 병렬 관계로 구성된다. 이는 기존의 주행 보조와 관련된 시스템들이 안정성을 확보하기 위해 도로의 손상 영역을 회피하는 방식이었다면, 제안 프로세스는 손상에 대한 유지 보수까지 지원범위를 확장하여 근본적 해결책을 제시한다는 차별성을 가지고 있다.

Ⅱ. 관련 연구

2.1 컴퓨터 비전을 활용한 주행 보조 연구

Segmentation이란 컴퓨터 비전의 주요 응용 분야 중 하나로 입력 이미지의 전체 Pixel에 걸쳐 이미지 내부에 존재하는 객체 영역을 의미있는 단위로 분할하는 작업을 의미한다. 해당 기술을 사용하여 타겟 영역을 검출해 차량 주행 환경을 보조하는 다양한 연구들이 있었다. 김정환 등^[6]은 VGG16 기반의 SegNet 구조를 사용해 최초 검출된 좌우 차선을 사용하여 주행 안전영역을 표시한 뒤 해당 공간과 차량 사이의 이격 정도를 계산하여 안전성 판별을 통해 차량 제어를 수행했다. 심승보 등^[7]은 노면의 파손된 영역을 인식하는 모델을 제안하였으며 연산 속도를 가속화하기 위해 기존 CNN기반의 인코더-디코더 구조의 모델 대신 인코더 단계로만 구성된 심층 신경망을 채택하였다. 제안 방식은 기존 디코더 단계를 대신해 classification 단계를 사용하여 인코더의 여러 출력값을 연결하는 신경망을 마지막층에 추가하였다. 이는 기존 대비 모델 성능은 유지하고, 파라미터는 59.2%감소, 연산 속도는 11.9%가 향상되어 경량화된 모델 신경망을 구성해 노면의 파손 여부를 판단할 수 있었다. 정민철^[8]은 노면 표시를 추출하기 위한 효율적 방법을 제시했으며 주행 차량이 특정 구간을 빠르게 지나가는 동안 카메라에 생긴 왜곡을 개선하고 실시간 추론을 위해 연결 성분 분석을 이용하여 노면 표시를 추출하였다. 제안 방식에선 빠르게 변화하는 위치 정보에 비해 연산 과정이 복잡하고 시간이 많이 소모되는 모델의 적용이 비효율적인 점을 감안해 관심영역(Region of interest, ROI)를 지정한 뒤 연결 성분 분석과 크기 정규화를 통해 노면을 표시하였다. 그러나 해당 방식은 모델에 준하는 성능 확보가 미흡했고, 도로에 존재하는 다양한 노면 표시를 모두 고려하지는 못하였다. 조영태 등^[9]은 기존 도로의 포트홀 감지 알고리즘의 경량성은 유지하되 탐지 성능을 개선하기 위해 Saliency Map을 기반으로한 포트홀 탐지 알고리즘을 제안하였다. Saliency Map은 주변 픽셀 대비 강조된 영역을 탐지하는 알고리즘으로 제안 모델은 이를 사용한 영상 이진화 과정을 통해 도로의 포트홀을 탐지할 수 있었다.

그러나 앞서 언급된 연구들은 주로 노면 표시나 도로 손상 중 하나에만 초점을 맞추는 등 목표 타겟의 수를 줄여 도로의 다양한 정보를 간과하는 경우가 존재했다. 따라서 본 논문에서는 주행 보조를 위해 실시간으로 도로의 다양한 노면 표시를 고려하는 YOLOv8 모델과 주행 이후 상황에서 손상된 도로의 유지보수를 지원하기 위해 손상 영역을 검출, 수집하는 U-net모델을 병렬 구조로 결합한 프로세스를 제안하고자 한다.

2.2 U-net for segmentation

U-net은 biomedical에서 영역 분할을 위해 Ronneberger 등이 제안한 딥러닝 아키텍처로 입력 이미지를 Down-sampling하여 특징을 추출하는 인코더와 특징 추출 과정에서 축소된 차원을 Up-sampling해 원본 크기로 재구성하는 디코더가 좌우 대칭의 구조로 레이어를 배치하여 U자 형태로 구성된다^[10](그림 1)

기존의 segmentation 분야의 인코더-디코더 관계는 autoencoder 기반의 구조로 구성되어 차원 축소 과정에서 객체에 대한 위치 정보가 소실되고, 디코딩 단계에서도 저차원의 특징만을 이용하기 때문에 손실된 정보의 회복력이 낮은 문제가 존재했다. U-net은 해당 문제를 해결하기 위해 인코더와 디코더 사이의 동일한 레이어에서 얻은 특징을 직접 연결하는 스킵 연결방식을 채택하여 저차원과 고차원의 정보를 융합해 영역 분할을 수행한다(그림 2). 해당 구조는 생물의학 특성상 데이터가 희박함에도 정확한 영역 분할 성능을 보여주었으며 자율주행, 증강현실과 같이 다양한 분야에서도 좋은 성능을 보였다^[11,12].

그림(Fig.) 1.

U-net 아키텍처 (U-net architecture)

그림(Fig.) 2.

스킵 연결방식 (Skip connection)

2.3 YOLOv8 for object detection

YOLO (You Only Look Once)는 object detection을 위해 Redmon 등이 제안한 딥러닝 네트워크로 입력된 이미지를 그리드에서 격자 단위로 분할하고 CNN 신경망에 통과시킨 뒤 Bbox와 클래스 예측으로 분류 대상을 검출한다^[13](그림 3).

전통적인 objection detection 알고리즘들은 관심영역을 로컬라이징하는 단계에서 특정 객체에 대해 과도한 식별 결과가 생성되어 이미지의 일부 영역에 Bbox가 반복적으로 중첩되는 문제점이 존재했다. 이를 해결하기 위한 후처리 단계로 NMS (Non-Maximum suppression)연산이 제안되었다. 이는 사전 정의된 후보 상자 (Anchor box) 중 예측 신뢰가 높은 상자를 선택하고 불필요한 상자를 제거하여 더 정확하고 정제된 감지 결과를 생성하는 방식이다^[14]. YOLO는 객체 클래스의 신뢰도 연산과 함께 IoU (Intersection over union)값을 기반으로 한 NSM연산을 채택해 최소한의 배경 오류를 제공하여 정확하고 가시적인 확보가 가능하도록 시스템을 구성하며 파이프라인이 복잡하지 않아 신속한 객체 인식 속도를 보여준다.

본 연구에서 사용한 v8은 v5의 성공적인 성능 확보를 기반으로 유연성 및 효율성을 향상시키는 것에 초점을 맞춰 새롭게 구성하였다. 전체적인 모델 구조를 경량화하고 기존의 Anchor-based detection 대신 객체의 중앙값을 직접 예측하는 Anchor-free detection을 사용해 NMS를 더욱 가속화했으며 Mosaic증강이 학습 과정에서 무한히 데이터가 증가해 오히려 성능이 저하되는 것을 해결하고자 학습 종료 시점에 인접한 에포크에선 해당 증강의 적용을 종료하도록 수정하였다.

그림(Fig.) 3.

YOLO의 객체 인식 과정 (YOLO object detection process)

Ⅲ. 실 험

본 논문에서 진행된 연구의 주요 프레임워크는 그림 4와 같으며 제안된 프로세스는 object detection 모델과 segmentation 모델을 2-stage 병렬 구조로 결합하여 구성한다. Object detection 단계에서는 로드마크 데이터를 활용하여 로드마크 객체를 인식하며, segmentation 단계에서는 로드마크 데이터에 도로 손상 데이터를 통합하여 도로의 현재 상태를 종합적으로 검출하고자 한다. 입력 이미지들은 위치 정보(위도, 경도)를 매핑한 상태로 제안된 프로세스의 각 모델에 전달되며 로드마크 객체가 원본 이미지에 overlap된 결과와 로드마크 및 도로 표면의 손상 발생 영역이 마스킹 형식으로 검출된 결과까지 총 2개의 결과가 이미지의 지리적 위치와 함께 생성된다.

object detection은 YOLOv8을 활용해 주행 상황에서 빠르게 변화하는 프레임에서도 로드마크 객체를 신속하게 인식하고 즉각적인 응답을 통해 안정적인 주행 환경을 보조하는 것을 목표로 한다. 반면에 연산 시간이 상대적으로 느린 segmentation은 실시간 응답보다는 정확한 검출 성능을 중시하여 U-net구조를 사용해 도로 노면 표시 및 손상된 상태를 검출하여 손상이 발생한 영역의 유지 보수를 지원하고자 한다. 이때, U-net은 특징 추출을 위한 인코더를 로드마크와 도로 손상 데이터에 동일한 backbone으로 적용하여 모델 구조의 일관성을 확보하도록 한다.

이와 같이 제안된 프로세스의 통합적인 시스템은 다층적 결과 제공을 통해 실시간 도로주행을 보조함과 동시에 도로의 손상 상태 및 위치 좌표를 추적하여 지리적 정보를 활용한 포괄적인 유지보수 계획을 수립할 수 있다.

그림(Fig.) 4.

제안 모델 프레임워크 (Proposed model framework)

3.1 로드마크 및 도로 손상 데이터

본 논문에선 YOLOv8과 U-net 두 모델을 병렬구조로 구성하여 로드마크와 손상 부분을 동시에 인식하고자 한다. 이를 위한 로드마크 데이터는 AI Hub의 “도로 로드마크 인식을 위한 주행 영상 데이터”의 이미지 데이터 약 36만 장을 사용한다. 해당 데이터는 원본 이미지와 함께 이미지 내부에 존재하는 객체에 대하여 2D 어노테이션 정보가 json형식으로 제공된다. 해당 정보에는 object detection을 위한 로드마크의 2D Bbox 위치정보와 segmentation을 위한 폴리곤 좌표 정보를 함께 포함하며 여러 시간대와 날씨, 도로 유형, 도로 상태 등 다양한 형태의 데이터를 제공한다. 연구에서는 차선, 안전지대, 방향표시, 속도 등 주요 카테고리를 기반으로 클래스를 지정하여 멀티 클래스로 데이터를 구성한다. 도로 손상데이터의 경우 또한 AI Hub의 “도로장애물/ 표면 인지 영상”데이터 약 10만 장을 사용하며 해당 데이터 또한 json형식으로 도로의 손상된 부분에 대한 어노테이션 정보를 제공한다. 연구에서는 도로의 손상 정도를 파악하기 위해 노면에 발생된 균열의 polyline 좌표만을 사용하여 단일 클래스로 데이터를 구성한다. 그림 5은 object detection을 위해 mosaic 증강 기법이 적용된 학습 데이터의 배치 중 일부의 예시이며 그림 6과 7은 각각 로드마크와 도로 균열 영역의 segmentation 수행을 생성한 마스킹 이미지의 예시이다.

제안된 프로세스의 목표는 실시간으로 주행을 보조하는 것도 있으나 주행 이후의 상황에서 손상된 도로 영역의 유지보수를 지원하는 것도 존재한다. 모델 학습에 사용된 로드마크 데이터의 경우는 영상이 촬영된 당시의 GPS 위치정보를 함께 수집하여 제공하였다. 따라서 연구에선 입력 이미지에 대해 위치 정보를 매핑하는 과정을 적용해 최종 출력에서 해당 이미지의 위, 경도 위치정보를 함께 반환하고자 한다.

그림(Fig.) 5.

학습 데이터의 Mosaic 증강 예시 (Example of mosaic augmentation for training data)

그림(Fig.) 6.

로드마크 마스킹 이미지 예시 (Example of roadmark masking image)

그림(Fig.) 7.

도로 균열 발생 마스킹 이미지 예시 (Example of road cracks occurrence masking image)

3.2 모델 성능 평가 지표

U-net 모델의 평가지표는 IoU를 사용하였다. 해당 지표는 예측 결과가 그림8과 같을 때, A와 B의 겹치는 영역을 두 영역의 합으로 나눈 값으로 계산되며, 주요 공식은 식(1)과 같다. IoU는 컴퓨터 비전에서 흔히 사용되는 평가 지표로 동일한 정사각형을 9분의 1만큼 어긋나게 교차한 상태로 IoU를 계산한다면 64/98로 평가 점수는 약 65%가 측정된다. 따라서 육안으로 봤을 때, 오차 길이 9분의 1은 검출 결과가 우수하다고 판단할 수 있으나 IoU평가 기준에서는 엄격하게 측정이 되는 것을 알 수 있다.

YOLOv8 모델의 평가지표는 mAP(평균 정밀도)를 사용하였다. 해당 지표는 객체 검출 모델의 성능을 평가할 때 주로 사용되는 지표로 검출된 객체들의 정확도를 측정하는 지표이며 주요 공식은 식(2.1)~(2.3)와 같다. mAP는 각 클래스에 대해 모델의 출력을 기반으로 Precision과 Recall을 계산하여 곡선 그래프를 그린 뒤 AP라 불리는 곡선 아래의 면적을 계산한다. AP의 면적이 넓을수록 모델의 성능이 우수하다고 판단하며 mAP는 각 클래스에 대한 AP의 평균값이다. 수식에 사용된 N은 클래스의 총 개수를 의미하며 t는 객체 Bbox의 IoU score 최소 임계값을 의미한다.

그림(Fig.) 8.

IoU metric 예시 (Example of IoU metri)

Ⅳ. 연구결과

Segmentation에선 로드마크와 균열 영역을 검출하기 위해 U-net 구조를 사용했으며 표 1은 특징 추출을 위한 인코더 backbone 별 MIoU (Mean IoU)를 요약한 것이다. 선정된 4개의 backbone 중 SE-ResNeXt101이 가장 우수한 검출 성능을 보였다. 해당 구조는 ResNeXT구조를 기반으로 한 Resnet의 발전된 형태로, multi-branch 아키텍처를 도입하여 더 많은 파라미터와 계산 리소스를 효율적으로 사용하였다. 이 과정에서 SE 네트워크가 모델 학습 중 각 채널에 대한 중요성을 동적으로 조절하여 모델 성능을 향상시킨 구조이다.

그림 9와 10은 각 데이터의 테스트 데이터셋에 대해 SE-ResNeXt101 backbone을 적용한 U-net 모델의 영역 검출 결과이다. 원본, 원본 마스킹, 예측 마스킹 순서로 나타내며 모델이 다양한 시간대와 장소, 환경적 제약에도 모델이 일관된 예측 결과를 보여주고 있음을 확인한다.

그림(Fig.) 9.

로드마크 영역 검출 결과 (Roadmark area segmentation result)

그림(Fig.) 10.

도로 균열 영역 검출 결과 (Road-damage area segmentation results)

Object detection에선 로드마크의 객체를 검출하기 위해 YOLOv8 모델을 사용했다. 표 2는 입력 이미지의 전처리 사이즈 별 개별 클래스 AP 및 mAP와 함께 FPS를 요약한 것이다. 이미지 사이즈를 640*640으로 설정하여 학습한 모델의 성능이 모든 클래스에서 성능이 가장 우수했다. 그림 11은 해당 모델의 정규화 혼동행렬이며 그림 12는 로드마크 객체를 인식한 결과를 보여준다. 컴퓨터 비전의 특성 상 카메라 렌즈에 영향을 주는 조도와 명도에 민감하게 반응하는 점을 고려하기 위해 온전한 상태의 로드마크와 함께 물리적, 환경적, 복합적으로 시인성이 저하된 상태의 로드마크를 학습하여 모델의 일반화 성능을 확보하였다. 학습된 모델은 그림 12를 통해 다양한 환경에서도 일관된 객체 인식 결과가 나타나는 것을 확인한다.

그림(Fig.) 11.

YOLOv8 정규화 혼동행렬 (YOLOv8 normalized confusion matrix)

그림(Fig.) 12.

YOLOv8 정규화 혼동행렬 (YOLOv8 normalized confusion matrix)

본 논문에서는 실시간으로 로드마크를 인식해서 안정적인 도로 주행을 보조하고 도로 표면의 상태를 검출하여 추후의 유지 보수를 지원할 수 있도록 목표를 설정하였다. 따라서 모델 학습을 위해 사용된 데이터 중 위치 정보가 함께 제공된 로드마크 데이터의 테스트 데이터를 최종 테스트 데이터로 선정하여 제안된 프로세스에 입력해 최종 결과를 확인하였다. 그림 13은 제안 프로세스의 최종 결과를 보여주며 표 3은 결과 확인을 위해 사용된 각 이미지에 매핑된 위도, 경도 위치 정보이다. 입력된 이미지는 0.2ms의 FPS로 로드마크 객체를 인식하며 로드마크 및 도로의 손상 부분이 검출된 결과는 별도로 저장되어 추후 유지보수 여부를 판단할 수 있도록 지원한다.

그림(Fig.) 13.

최종 결과 예시 (Example of final results)

Ⅴ. 결 론

주행환경을 안정적으로 유도하기 위해선 현재상황에서의 도로 이용효율을 확보하는 것도 중요하나 주행 환경을 불안하게 하는 원인을 해결하여 전체적인 균형을 유지하는 것이 중요하다. 본 논문에서는 실시간 연산이 가능한 YOLOv8과 영역 검출 성능이 뛰어난 U-net을 사용하여 로드마크 시인성을 강화하고 로드마크와 손상 영역을 동시에 검출하는 모델을 제안하였다. 성능이 가장 우수한 YOLOv8모델의 경우 mAP 0.898과 함께 4.5의 FPS 응답속도를 보여주었으며 이는 1초당 1000밀리초인 것을 활용해 계산하면 약 222.2FPS로 부드러운 화면 제공을 할 수 있다. 또한 U-net모델의 성능 비교를 위해 다양한 backbone을 설정하여 비교 분석한 결과, SE-ResNeXt101의 mIoU값이 각각 0.754와 0.76으로 가장 우수한 성능을 보여주었다. 학습된 U-net과 YOLOv8은 본 논문에서 제안된 실시간 운용 능력과 영역 검출 성능을 확인할 수 있었고, 최종적으로 결과와 함께 각 이미지의 위, 경도 위치 정보를 확인하여 추후 유지 보수를 지원하고자 했던 목표를 달성할 수 있었다.

본 연구의 한계점은 다음과 같다. Segmentation의 경우 모델 성능을 위해 상대적으로 무겁고 복잡한 알고리즘을 채택하여 해당 부분은 실시간적 반영이 불가능하였다. 또한 로드마크와 도로의 균열 검출 능력은 확인했으나 훼손된 정도에 따라 보수가 필요한지, 아닌지의 기준은 설정하지 못하였다. 따라서 추후 연구를 위해 반영할 개선점은 segmentation의 알고리즘을 더욱 경량화하고 높은 정확도를 보이는 알고리즘으로 변경하고 훼손 정도에 대한 기준 설정 및 신호 반환을 추가하여 전체적인 프로세스를 더욱 강화하고자 한다.