Ⅰ. 서 론

최근 사회는 코로나19, 1인 가구 증가, 공해, 도시 주차 문제 등의 영향으로 대여, 배달, 이동 수단 등의 운행 수요가 증가하고 있으며, 이에 따라 마이크로 모빌리티 수요 또한 지속해서 증가하고 있다. 하지만 이런 마이크로 모빌리티의 대표 격인 이륜차는 차체 구조상 주행 안전성 확보가 어려우며, 운전자 신체가 외부로 노출되어 사고 발생 시 인명피해 위험이 큰 교통수단이다. 따라서 이륜차 사고 발생 특성을 고려한 맞춤형 사고 예방 및 저감 대책은 필수적으로 마련되어야 하며, 인명피해를 최소화 및 사고 시 신체를 보호하는 방안 등을 지속해서 발굴해나갈 필요가 있다.

도로교통공단 교통사고 통계에 따르면 2021년 이륜차 사고 건수는 2016년 대비 40% 가까이 늘어나 약 2만 건을 기록하였으며 2020년 이륜차 관련 사망자는 약 400명을 기록하였으며 부상자의 경우 2019년 대비 약 2만 명이 증가하였다^[1]. 삼성화재 부설 삼성 교통안전문화연구소가 2016년부터 2021년 상반기까지 삼성화재 이륜차 보험 가입자의 사고 데이터베이스의 경우, 2020년 배달용 오토바이의 사고율(사고 건수/가입 대수)은 39.9%로 개인용의 약 3배에 달하였으며 배달용 중에서도 배달 대행이나 퀵서비스 등 대가를 받는 영업용 이륜차의 사고율은 212.9%로 개인용의 무려 15배나 되었으며, 사고 운전자는 신체 후유증에 장기적인 치료를 받고 있다는 분석 결과를 내놓았다^[2]. 따라서 운행목적에 따른 이륜자동차를 구분하고 관리, 제어할 수 있는 플랫폼의 개발이 필요하다.

Ⅱ. 본 론

2.1 시스템 개요

그림 1은 제안하는 이륜차 관리, 제어 플랫폼을 나타내며, 본 플랫폼은 사고 감지 부, 영상인식 및 분석부, 위치 인식부, 정보 전송 부로 나누어진다.

그림(Fig.) 1.

시스템 구성도 (System configuration)

그림(Fig.) 2.

사고 상황 조치 알고리즘 (Accident situation Action Algorithm)

시스템 알고리즘의 진행 순서는 그림 2와 같으며, 시스템 시작 시 시간 i를 확인하게 된다. 사고 감지의 경우 설치된 IMU 센서를 통하여 이루어지며, 사고가 발생하였다고 판단할 때 영상 인식부를 통하여 사고 발생 시점의 전방 시야 정보를 수집하여 차량 번호판 정보를 인식한다. 위치 인식부의 경우 사고 발생 시 GPS 좌표를 저장하며, 사고 발생 이전 4초부터 발생 이후 5초까지 10초의 시야 정보와 GPS 좌표 정보를 병합하여 정보 전송 부를 사용하여 발송하게 된다. 이후 서버에서는 병합된 정보를 바탕으로 사고 발생 시점의 관련 차량 정보와 위치 정보를 이용하여 응급 차량 유도와 빠른 사고 접수를 가능하게 한다.

2.1.1 사고 감지 시스템

사고 감지는 IMU 센서를 사용하여 이루어진다. IMU 센서는 MinIMU-9 v2 Gyro 제품을 사용하였으며, 플랫폼에 내장된다. IMU 센서의 경우 3축 가속도계와 3축 자이로스코프를 통합하여 가속도 및 각속도를 측정할 수 있게 하며, 본 플랫폼에서는 IMU 센서가 일정 각도 이상 기울어질 때 사고가 났다고 판단하여 정보를 수집 후 전송하게 된다. IMU의 센서값은 그림 3과 같이 받아올 수 있으며, 3축 가속도계, 3축 자이로스코프, 3축 자력계의 값을 측정하여 IMU의 현재 각도를 계산하고 이 각도의 값이 90도 이상일 때 이륜차에서 사고가 발생하였다고 판단한다.

그림(Fig.) 3.

IMU 센서 데이터 예시 (IMU Sensor Data Example)

2.1.2 영상인식 시스템

영상인식은 블랙박스용 카메라를 사용하여 이루어진다. 영상은 항시 수집이며, 이륜차 전면에 장착되어 전방의 차량 정보를 감시할 수 있게 한다. 사고 발생시 사고 발생 전 4초와 발생 후 5초까지의 영상을 전송하며, 이는 신속한 사고 접수를 가능하게 한다.

2.1.3 영상 분석 시스템

영상 분석부는 전송받은 영상을 서버에서 분석하는 역할을 한다. 수집된 영상의 차량 번호판을 탐색하여 OCR을 사용하여 차량 번호를 감지한다. OCR 시스템 (Optical Character Recognition)은 이미지에서 텍스트를 추출하고, 이를 편집 가능한 텍스트 형식으로 변환하는 기술이며, Tesseract, EAST 등의 다양한 알고리즘이 연구되었다^[3,4].

그림(Fig.) 4.

Easy OCR 프레임워크 작동 과정 (Easy OCR framework process)

그림(Fig.) 5.

CRAFT 위치 추정 예시 및 추정된 위치 좌표 (CRAFT position estimation example and estimated position coordinates)

본 시스템에서는 OCR 프레임워크 중 하나인 Easy OCR을 사용하였으며, 문자 영역 인식과 문자 인식 기능을 모두 가지고 있다^[5]. Easy OCR의 구조는 그림 4와 같이 나타나며, 아래와 같은 순서로 문자열을 추출하게 된다:

1. Pre-Process를 거친 입력 이미지를 CRAFT (Character-Region Awareness For Text detection)를 사용하여 그림 5와 같이 문자열의 위치를 추정한다^[6].

2. Mid-Process 이후 ResNet을 사용한 추정된 위치의 영상 특성 추출 실시^[7].

3. LSTM(Long Short-Term Memory)을 사용한 영상 특성의 시계열 분석 및 CTC(Connectionist Temporal Classification)를 사용한 문자 시퀸스 획득^[8,9].

4. 획득된 시퀸스는 Greedy Decoder를 사용하여 텍스트를 결정^[10].

5. Post-Process를 통한 최종 문자열 도출

Easy OCR 프레임워크를 사용하여 분석된 번호판 문자 추출 예시는 그림 6과 같다. 문자 추출 시점의 경우 사고 발생 시점부터 이전 4초와 이후 5초 총 10초의 시간 내에서 감지되는 번호판을 분석하게되며, 분석된 결과물은 영상과 함께 서버로 전송된다.

그림(Fig.) 6.

Easy OCR 프레임워크 예시 (Easy OCR framework example)

2.1.4 위치 인식 시스템

위치 인식부는 GPS(Global Positioning System)를 사용하여 현재 이륜차의 위치가 어디인지 실시간으로 파악하며, 사고 발생 시 사고 발생 시점의 GPS 좌표가 분석 데이터와 함께 서버로 보내지게 된다. 이런 사고 지점 좌표를 활용하여 응급차 및 경찰관 출동 등의 빠른 후속 조치가 가능하게 한다.

사용된 GPS모듈은 TEL0138 USB GPS Receiver이며, 그림 7과 같이 야외에서 동작 테스트를 시행하였다. 본 플랫폼에서는 1초에 한 번씩 위치를 수신하도록 설정하였으며, GPS를 통하여 수신되는 정보는 UTCTime(Universal Time Coordinated Time), Slatitude(Satellite-Latitude), N/S Slongitude(Satellite Longitude), E/W값이 있다.

그림(Fig.) 7.

GPS 센서 데이터 예시 (GPS Sensor Data Example)

2.1.5 정보 전송 시스템

각 인식 및 분석 시스템에서 수집된 데이터는 정보 전송 부를 통하여 서버로 전송된다. 정보 전송은 그림 8과 같이 HUAWEI 4G Wingle E8372 LTE 모듈을 통하여 이루어지며, wifi 환경이 아닌 상태에서도 정보 전송이 가능하도록 설계되었다. 또한 고정 ip를 설정하여 기기별로 정보 수신을 할 수 있도록 하였다.

그림(Fig.) 8.

LTE 모듈 사용 예시 (Example of LTE module usage)

Ⅲ. 실험

3.1 실험 장비 및 실험 환경

3.1.1 실험 장비

제안된 플랫폼에서 사용된 카메라는 앱코 PowerConf C300 웹캠이다. 제품의 비디오 해상도는 1920x 1080(FHD), 비디오 프레임의 경우 60fps, 시야각은, 115°이며, 본 제품을 사용하여 블랙박스 카메라의 역할을 수행하였으며, USB 방식으로 연결되었다. 플랫폼의 딥 러닝 영상인식을 위한 보드는 Nvidia Jetson Xavier NX를 사용하였다. Xavier NX의 경우 소형 폼 팩터 SOM(System-on-Module)으로 엣지에 슈퍼컴퓨터 성능을 제공하며, 21TOPS의 가속 컴퓨팅이 최신 뉴럴 네트워크를 병렬로 실행할 수 있다. 이는 여러 개의 고해상도 센서에서 전송되는 데이터를 처리하는 적합한 사양이다. 실험은 Xavier NX에 카메라와 IMU 센서 GPS, LTE 모듈을 연결하여 진행되었으며, 자세한 장치 정보는 표 1에 나타내었다.

3.1.2 실험 환경

그림 9와 같이 시스템 플랫폼을 구축하고 전방에 번호판을 설치하였으며, IMU 센서를 Xavier NX 보드에 설치하여 보드가 기울어짐에 따라 사고 발생으로 가정하고 이에 따른 전방 번호판 정보 검출을 위한 영상 저장이 진행되었는지 확인하는 검증이 진행되었다.

그림(Fig.) 9.

검증 시험 환경 설정 (Validation Test Configuration Settings)

3.2 실험 결과

3.2.1 IMU 센서 인식 정확도

IMU 정확도 검증의 경우 다음과 같은 순서로 진행되었다:

1. Jetson Xavier NX에 IMU 센서를 부착한다.

2. Jetson Xavier NX 내에서 코드를 실행한다.

3. IMU 센서의 90도 값을 설정한다.

4. IMU 센서를 기울여서 90도 이상의 각도가 인식될 때 영상이 저장되는지 확인한다.

그림(Fig.) 10.

IMU 정확도 검증 결과 (IMU Accuracy Verification Results)

검증 시험의 결과는 그림 10과 같으며, 보드가 넘어지는 상황을 10번 부여하여 10회의 영상 저장에 성공하였으며, 각 영상의 재생을 확인하여 10초의 영상이 문제없이 저장된 것을 확인하였다.

3.2.2 차량 번호판 인식 정확도

차량 번호판 인식의 경우 다음과 같은 순서로 진행되었다:

1. Jetson Xavier NX에 카메라를 부착한다.

2. 카메라 앞에 번호판을 설치한다.

3. Jetson Xavier NX에서 번호판 인식 코드를 실행한다.

4. Jetson Xavier NX내에 번호판 숫자가 기록된 텍스트 파일이 있는지 확인한다.

5. 저장된 텍스트 파일에서 인식된 번호 중 정확하게 인식된 번호판 숫자의 유무를 확인한다.

검증 시험은 IMU 센서 인식 정확도의 결과로 저장된 영상을 frame 단위로 나누어 만들어지는 이미지를 사용하여 진행되었으며 예시는 그림 11과 같다. 이 검증 방법을 사용하여 저장된 영상의 번호판 정보를 읽는 정확도 또한 100%를 달성하였다.

그림(Fig.) 11.

번호판 인식 및 분석 정확도 검증 결과 (License plate recognition and analysis accuracy verification results)

Ⅳ. 결 론

본 논문에서는 딥 러닝을 기반으로 한 이륜차 사고 인식 및 정보 전송 플랫폼을 개발하고 검증하였다. 이 플랫폼은 이륜차의 위치, 기울기, 전방 시야 정보를 분석하고 무선으로 정보를 전송함으로써, 사고 발생시 신속한 대응을 가능하게 한다. 성능평가를 통해 플랫폼의 정확도와 신뢰성을 확인하였으며, 이는 사고 발생 시 이륜차 운전자의 안전 향상에 기여할 것으로 기대된다. 향후 개발 계획으로, 차선 인식 및 전방 차량 감지 기능을 통해 운전자의 도로 규칙 준수 여부를 모니터링하고, 운전 습관 데이터를 수집하여 운전 안전성을 개선할 예정이다^[11]. 이러한 기능은 운전자에게 실질적인 피드백을 제공하고, 보험사와의 연계를 통해 추가 서비스를 개발하는 데 기여 가능하다. 현재 Jetson Xavier NX에서 구현된 딥 러닝 기반 영상처리 시스템은 처리 속도에 한계가 있어 서비스의 확장성이 제한적이다. 이에 따라, 경량화 기법의 적용이나 실시간 영상 전송 및 원격 딥 러닝 서버를 활용한 영상 분석 방식으로의 전환을 통해 성능과 처리 속도를 개선하는 방향으로의 추가 연구가 필요하다.