Index


Figures


Tables

Lee , Lee , Park , and Ko: A Design of Multi-Head Attention Neural Network for UWB NLOS Identification in Outdoo

Kyung-Bo Lee♦ , JiYe Lee* , Jongho Park* and Young-Bae Ko°

A Design of Multi-Head Attention Neural Network for UWB NLOS Identification in Outdoo

Abstract: In this paper, we introduce a method of classifying UWB CIR data into LOS and NLOS environments by applying the multi-head attention algorithm. The 1016 UWB CIR values sampled at 100 ms intervals are divided into 100 segments. By comparing the classification time and accuracy of the LSTM-CNN algorithm and the multi-head attention algorithm, it is shown that the latter achieved a classification accuracy of 94.41% for LOS/NLOS environments, outperforming the LSTM-CNN model

Keywords: UWB , Multi-head attention , CIR , LOS/NLOS

이경보♦, 이지예*, 박종호*, 고영배°

실외 UWB NLOS 판별을 위한 멀티 헤드 어텐션 신경망 설계

요 약: 본 논문에서는 multi-head attention을 적용하여UWB CIR 데이터를 LOS 환경과 NLOS 환경으로분류하는 방법을 소개한다. 100ms 간격으로 샘플링된 1016개의 UWB CIR값을 100개의 간격으로 나누어 LSTM-CNN 알고리즘과 multi-head attention 알고리즘의 분류 시간 및 정확도 등 성능을 비교한 결과multi-head attention 알고리즘을 적용한 모델이94.41%의 LOS/NLOS 환경 분류 정확도를 보이며, LSTM-CNN 모델보다 더 좋은 성능을 나타냈다.

Ⅰ. 서 론

UWB(Ultra-wideband)를 활용한 위치 기반 서비스는 두 개 이상의 디바이스간 ToA(Time of Arrival)와 TDoA(Time Difference of Arrival) 활용하여 거리를 측정한다. 복잡한 환경에서 전파되는 UWB 신호는 다중경로로 인해 거리 측정 성능이 저하되는 문제가 있다. 이 때 채널 상태를 파악 할 수 있다면, 기존에 채널에서 얻어진 보정값을 통해 거리 측정값의 정밀도를 증가시킬 수 있다. 보정값은 UWB의 신호 환경에 따른 채널 상태에 따라 달라지며, 따라서 UWB 측위에서 LOS(Line-Of-Sight) 채널과 NLOS(Non-LOS) 채널 상태를 식별하는 것은 거리 측위에 중요한 요소이다[1].

최근 UWB의 CIR(Channel Impulse Response)에서 관찰된 무선 파라미터를 사용하여 채널 상태를 추정하는 연구가 제시되었다. UWB 송신기에서 발생되는 CIR 데이터는 짧은 펄스로 전파되면서 다중경로 페이딩에 강한 특성이 있으나, UWB의 짧은 펄스보다 더 좁은 간격으로 중첩 수신된 다중경로 성분은 정밀도를 약화시킨다[2]. 기존 연구들은 NLOS 특징을 추출할 수 있는 딥러닝 알고리즘을 적용하여 80% 이상의 LOS/NLOS 분류 정확도를 달성하였지만,[1,3,4] 모든 펄스가 상관관계가 있는 CIR 데이터의 특징을 학습한 것이 아니기 때문에 정확한 LOS/NLOS 분류에 한계가 있다.

이에 본 논문에서는 UWB의 CIR 시퀀스에 multi-head attention 알고리즘을 적용하여 기존 모델과 LOS/NLOS 분류 정확도 및 소요시간에 대한 성능을 비교 검증하였다.

Ⅱ. 관련 연구 및 연구 동기

[1]에서는 실내의 4가지 다른 공간에서 얻어진 166,582개의 LOS/NLOS CIR 데이터를 10가지 채널 상태로 분류하는 모델을 제안하였다. 분류된 10가지의 채널상태 각각 실제 거리와 측정값의 오차값를 구하고, 구한 오차를 보정값으로 활용해 거리 측정 정확도를 높인다. 채널상태는 TWR(Two-Way Ranging) 오차의 백분위수를 사용하여 레이블링(Labeling) 되었다. CIR 데이터를 입력으로 사용해 채널상태를 예측하기 위하여 LSTM(Long Short-Term Memory) 모델을 활용하였고, 82.15%의 검증 정확도(Accuracy)를 보였다.

[2]에서는 CIR 데이터를 KNN(k-nearest neighbors algorithm)과 CNN(channel impulse response)을 이용하여 LOS와 NLOS로 분류하였다. CIR 데이터를 이미지화 시킨 후 CNN-KNN 알고리즘에 적용하였으며 결과 80%의 정확도를 보였다. 이 때 7개의 서로 다른 장소에서 수집한 35000개(50% LOS/50% NLOS)의 오픈 소스 데이터 세트를 사용하였다.

[3]는 CNN과 LSTM을 결합한 CNN-LSTM 모델을 적용하여 LOS/NLOS 분류를 진행하였다. [2]에서 사용된 것과 같은 데이터셋을 사용하였으며, 82.14%의 정확도를 보였다.

[1,3]과 같은 기존 연구들은 시계열 데이터(time series data)인 CIR을 학습하기 위해 LSTM 모델을 주로 사용해왔다. LSTM은 시계열 데이터와 같이 순차적인 단계들로 이루어진 데이터에서 장기적인 의존성을 보존하도록 설계된 딥러닝 모델로, RNN(Recurrent Neural Network)의 단점을 보완하여 장기간에 걸쳐 정보를 유지하고 이 정보를 선택적으로 노출하거나 잊어버릴 수 있다. 하지만 시계열 분석에서 한 단계에서 다음 단계로 전달하는 피드백 루프를 사용하는 구조적 특성 상 서로 떨어져 있는 시점의 데이터 관계를 분석하는 것에는 취약한 부분이 있다.

CIR 데이터의 경우, 시계열 데이터이지만 채널의 상태에 따라 peak 및 valley가 서로 떨어져서 발생할 수 있으며, 채널의 상태를 파악하는데 가까운 시점의 데이터보다 멀리 떨어져 있는 다른 peak/valley와의 관계가 더 중요할 수 있다. [5]에서 살펴보면 peak 신호가 First Path signal에 근접한 신호인 LOS 환경과 달리 NLOS 환경에서는 peak 신호가 다중경로 신호 내에 존재한다. 이에 따라 채널 상태를 판별하는 데에는 가까운 시점의 데이터 보다 첫 번째 peak와 두 번째 peak를 비교하는 등 멀리 떨어져 있는 다른 시점과의 데이터와의 관계가 더 중요함을 알 수 있다.

최근 자연어처리 분야에 혁신적인 성능개선을 한 Transformer 모델의 핵심 요소인 Self-attention[6]은 입력 시퀀스의 각 요소가 다른 요소에 대해 얼마나 관련되어 있는지를 학습에 이용한다. 요소 간 관련성인 가중치를 내적 연산을 이용해 계산하고, 이를 학습함으로서 입력 시퀀스의 특징을 잘 파악할 수 있다. 특히, 기존 LSTM 모델이 가지고 있었던 멀리 떨어진 요소 간의 관계를 고려하기 힘들다는 단점과, 시퀀스의 길이가 길어질 경우 장기 의존성을 캡처하기 어렵다는 단점을 내적연산을 통해 해결했다.

[5]는 이와 같은 Self-Attetion의 강점을 Wi-Fi의 CSI(Channel State Information) 데이터 학습에 적용하였으며, 위치 정확도가 CNN 알고리즘을 적용한 모델보다 37% 향상되었다.

최근 논문인 [7]에서도 실내에서 측정된 UWB의 CIR데이터를 활용하여 FCN (Fully Convolutional Network 과 Attention 알고리즘을 이용해 LOS와 NLOS 환경을 분류하였으며, 오픈소스데이터와 현장 데이터를 함께 학습한 결과에서는 92%의 정확도를 보였다.

UWB 분야 역시 기존 연구들을 통하여 거리 정확도를 높여왔지만, 실외 신호 정보를 attention 알고리즘을 사용하여 분류한 논문은 없었던 것으로 파악된다. 따라서, 본 연구는 시퀀스의 모든 요소 쌍을 고려하는 attention mechanism, 그 중에서도 여러개의 attention head를 이용하여 종합적인 관련성을 얻는 multi-headself-attention 모델을 실외 데이터에 적용하여 서로 다른 위치에 있는 요소간의 관계를 해석함으로서 CIR 데이터를 더욱 잘 분류할 수 있도록 한다.

Ⅲ. 제안 기법

그림 1에서와 같이 multi-head attention은 다수의 attention 메커니즘을 병렬로 처리한 후 각각의 헤드에서 계산된 Query(Q)와 Key(K) 출력의 결합을 통해 어텐션 가중치(W0)를 얻는다. 이 가중치는 Value(V)와 곱해져 각 헤드의 어텐션 결과를 얻어내며, 다음과 같이 나타낼 수 있다. 이때 Q는 관계를 물어볼 기준 요소 벡터, K는 기준 요소와 관계를 알아볼 요소 벡터, V는 관계를 알아볼 요소의 의미를 담은 벡터라고 볼 수 있으며, 각 Q, K, V의 내적 연산을 통해 요소간 관계가 포함됨 CIR 데이터의 문맥 벡터를 얻을 수 있다.

[TeX:] $$\operatorname{MultiHead}(Q, K, V)=[h e a d 1, \ldots, h e a d h] W 0$$ [6]

CIR 데이터의 경우, 각 요소는 시간에 따른 측정 값이며, 시간적인 연속성을 가지고 있기 때문에 multi-head self-attention을 사용하여 각 시간 단계에서의 요소 쌍의 가중치를 계산한다. 이 가중치는 해당 시간 단계에서 어떤 요소들이 중요하고 연관성이 높은지를 나타내며, 이를 통해 LOS 및 NLOS 환경으로의 분류에 적합하다.

그림(Fig.) 1.

Multi-head attention 개념 (The Concept of Multi-head attention)
1.png

즉, CIR의 각 데이터마다 attention 가중치를 계산한 후 결합하여 LOS/NLOS 환경에서 CIR 특징을 추출할 수 있다. 이 때 attention 가중치를 자기 자신의 데이터와 비교한다면(self attention), 시계열 CIR 데이터 내에서 어떤 부분이 LOS/NLOS을 판단할 때 집중해서 봐야할 부분인지를 학습할 수 있게 된다.

본 논문에서는 그림 2와 같이 모델 네트워크를 설계하였다. 입력 데이터를 N층의 멀티헤드 어텐션 블록을 통해 처리했다. 각 블록은 멀티헤드 어텐션을 수행한 후, 피드포워드 레이어로 데이터 특성을 처리한다. 그후 다층 퍼셉트론(MLP)를 통해 특징을 처리하고, 소프트맥스 활성화 함수를 통해 분류를 수행한다.

그림(Fig.) 2.

제안하는 방식의 구성도 (Diagram of the proposed method)
2.png

Ⅳ. 시나리오 및 실험결과

4.1 데이터셋 획득 실험

본 연구는 차 키에서 UWB를 사용하는 환경을 가정하여 그림 3에서와 같이 실외 주차장에서 데이터를 획득하였다. 앵커와 태그 사이 거리가 멀어질수록 거리측정 오차가 발생되는 현상을 이용하여 NLOS 환경을 구성하였다. 데이터셋 획득은 앵커와 태그 사이의 거리를 5m 단위로 20m 까지 총 4회에 걸쳐 CIR 데이터를 수집하였으며, 앵커와 태그의 높이는 지면에서 1m로 고정하였다. 사용 디바이스는 IEEE 802.15.4a 기반 UWB 통신 모듈인 Decawave DEM-1001 기반의 앵커와 태그를 이용하였다.

그림 4에서는 거리별 CIR의 실수, 허수 크기를 나타내었다. 원래 CIR 데이터는 1,016개가 있지만 의미 있는 데이터는 피크 전후의 데이터이므로 피크데이터 를 포함하여 총 256개 데이터만을 사용하여 표시하였다. 5m 거리보다 20m 거리의 경우 첫번째 peak값과 두번쨰 peak 값의 상관의 크기가 작은 것을 알 수 있는데, 이는 거리가 멀어질수록 경로손실 등에 의해 차이가 있기 때문인 것으로 판단된다.

그림(Fig.) 3.

실험장비 및 환경 (Testing equipments and environment)
3.png

그림(Fig.) 4.

UWB CIR 데이터 (UWB CIR data)
4.png
4.2 학습 변수 설정 및 목적 함수 정의

본 연구에서는 multi-head self-attention 알고리즘을 사용하여 UWB의 채널 상태 분류 정확도를 비교하였다. 총 사용한 데이터 개수는 12,690개로, Test Data는 10%, Training Data는 90%로 사용하였다.

입력 데이터는 4.1장에서 얻어진 CIR 데이터이며, 출력 데이터는 각 채널 환경을 채널 상태에 따라 라벨링을 한 값이다. 라벨링은 실제 거리와 측정거리의 차이에 따라 0과 1사이에 일정한 간격(0.1)으로 레이블 10개를 설정하였다. 이 때 큰 라벨은 채널 상태가 좋음(즉, 실제값와 측정값의 차이가 작음)을 의미한다. 따라서 라벨값이 0.8 인 경우는, 거리 오차가 상위 20% 안에 든다는 것을 의미한다.

목적함수는 accuracy와 실행시간으로 수행하였다. Accuracy는 sparse_categorical_accuracy 함수를 사용하여 구했으며, 모델의 출력값과 실제 채널 label을 비교하여 0에서 1 사이의 실수 값으로 나타냈다. 실행시간은 Colab에서 측정된 실행시간을 이용했다.

표(Table) 1.

하이퍼 파라미터 (hyper parameters)
LSTM-CNN Multi-head attention
Training Size 90%(Validation 10%)
Epoch 6 45
Learning_rate 1e-3 1e-3
Batch size 64 64
Optimizer Adam Adam
Number of head - 4 (소요시간, 성능 고려한 head 수)

조기종료(Early Stopping)을 사용하여 3번 연속으로 검증 손실(validation loss)이 개선되지 않으면 학습이 중단되고 적절한 epoch수를 자동으로 결정하였다. Multi-head self-attention 알고리즘의 결과는 LSTM-CNN[4] 알고리즘과 비교를 수행하였다. 표 1은 본 실험에서 사용된 hyper parameter이다.

4.3 모델 학습 결과

표 2의 결과는 학습된 모델에 대해 Test dataset을 적용하여 10회의 실험을 평균 낸 결과이다. Multi-head attention 알고리즘이 LSTM-CNN에 비해 약 9.6% 정도의 높은 정확도를 나타냄을 알 수 있다. 또한 처리시간은 기존의 LSTM-CNN 보다 약 30%가 추가로 소모되었다. 이는 multi-head attention 모델이 미세 조정 (Fine tuning) 과정에서 더 많은 epoch를 필요로 했기 때문으로, CIR 데이터의 더 복잡한 패턴을 학습하기 위해 처리 시간이 더 오래 걸린 것으로 해석할 수 있다.

표(Table) 2.

적용결과 비교 (Result of Accuracy & Time)

(단위: %)

구분 LSTM-CNN Multi-head attention
Test accuracy 89.99% 98.66%
Time 256.56s 333.95s

Ⅴ. 결론 및 향후 계획

본 논문에서는 UWB의 CIR 데이터값을 수신받아 multi-head attention 매커니즘을 활용하여 NLOS/LOS으로 환경 특성 분류가 가능함을 확인하였다. 이는 UWB 장치만 사용하여 NLOS/LOS 분류할 때 UWB CIR 정보는 신호 전파 채널을 직접 설명하므로 매우 가치가 있음을 알 수 있었다.

그러나 제안된 알고리즘은 UWB CIR 데이터를 사용한 NLOS/LOS 분류시 CIR 데이터의 복잡한 패턴 학습으로 인하여 처리 시간이 오래걸리는 문제가 있었다.

이에 향후 연구에서는 처리시간이 고려된 Multi-head attention 알고리즘을 적용하고, 이를 통한 NLOS 보정값 추출 한 후 거리 측정 알고리즘을 적용하여 성능을 확인 할 계획이다.

References

  • 1 D. -H. Kim, A. Farhad, and J. -Y. Pyun, "UWB positioning system based on LSTM classification with mitigated NLOS effects," in IEEE Internet of Things J., 2022. (https://doi.org/10.1109/JIOT.2022.3209735)doi:[[[10.1109/JIOT.2022.3209735]]]
  • 2 S. H. Lee, I. Kang, and H. Nam, "UWB CIR signal LOS/NLOS classification using KNN and CNN," in Proc. KICS Winter Conf., pp. 1272-1273, 2022.custom:[[[-]]]
  • 3 C. Jiang, J. Shen, S. Chen, Y. Chen, D. Liu, and Y. Bo, "UWB NLOS/LOS classification using deep learning method," IEEE Commun. Lett., vol. 24, no. 10, pp. 2226-2230, 2020. (https://doi.org/10.1109/LCOMM.2020.2999904)doi:[[[10.1109/LCOMM.2020.2999904]]]
  • 4 S. Maranò, W. M. Gifford, H. Wymeersch, and M. Z. Win, "NLOS identification and mitigation for localization based on UWB experimental data," in IEEE J. Sel. Areas in Commun., vol. 28, no. 7, pp. 1026-1035, Sep. 2010. (https://doi.org/10.1109/JSAC.2010.100907)doi:[[[10.1109/JSAC.2010.100907]]]
  • 5 W. Liu, M. Jia, Z. Deng, and C. Qin, "MHSA-EC: An indoor localization algorithm fusing the multi-head self-attention mechanism and effective CSI," Entropy, vol. 24, no. 5, 599, 2022. (https://doi.org/10.3390/e2405059)doi:[[[10.3390/e2405059]]]
  • 6 A. Vaswani, et al., "Attention is all you need," Advances in NIPS, vol. 30, 2017.custom:[[[-]]]
  • 7 Y. Pei, et al., "FCN-Attention: A deep learning UWB NLOS/LOS classification algorithm using fully convolution neural network with self-attention mechanism," Geo-spatial Inf. Sci., pp. 1-20, 2023. LSTM-CNN Multi-head attention Training Size 90%(Validation 10%) Epoch 6 45 Learning_rate 1e-3 1e-3 Batch size 64 64 Optimizer Adam Adam Number of head 4 (소요시간 ,성능고려한 head수 ) 표1.하이퍼 파라미터 Table1. hyper parameterscustom:[[[-]]]

Statistics


Related Articles

Train Integrity Monitoring System for Freight Trains
D. Y. Kwak, H. Cho, H. S. Oh
Class Imbalance in UWB-Based Backward Driving Detection
K. Lee and Y. Ko
UWB 통신 시스템에서 향상된 첫 번째 피크 추정을 통한 거리 추정 성능 향상 연구
D. Ham and S. Kim
비동기 UWB 앵커 노드를 이용한 단방향 거리 측정 기반 위치 추정 기법
Y. Ha, H. An, J. Lee, J. Choi
IMU-Free UWB 기반 단일 앵커 측위 시스템
E. Oh, J. Park, Y. Ko
Toeplitz 공분산에 기반한 비회전 신호의 도래각 추정
Y. Choi
Distance metric 기반 detailed Negative set을 사용한 원형 RNA와 질병 연관성 예측
I. Hwang, S. Yoon, Jaein-Kim, K. Lee
도시철도 환경에서 UWB 기반 거리 정보 전송 시스템 설계 및 구현
J. Han, M. Han, J. Kim, Y. Ko
TDoA 확률화 이미지를 활용한 딥러닝 기반 타겟 추적 모델
S. Lee and J. Shim
Path Loss Exponent Autocalibration Using UWB and ZigBee in Indoor Environment
A. D. Rendragraha, L. S. Waliani, F. M. Dirgantara, S. Y. Shin

Cite this article

IEEE Style
K. Lee, J. Lee, J. Park, Y. Ko, "A Design of Multi-Head Attention Neural Network for UWB NLOS Identification in Outdoo," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 3, pp. 361-364, 2024. DOI: 10.7840/kics.2024.49.3.361.


ACM Style
Kyung-Bo Lee, JiYe Lee, Jongho Park, and Young-Bae Ko. 2024. A Design of Multi-Head Attention Neural Network for UWB NLOS Identification in Outdoo. The Journal of Korean Institute of Communications and Information Sciences, 49, 3, (2024), 361-364. DOI: 10.7840/kics.2024.49.3.361.


KICS Style
Kyung-Bo Lee, JiYe Lee, Jongho Park, Young-Bae Ko, "A Design of Multi-Head Attention Neural Network for UWB NLOS Identification in Outdoo," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 3, pp. 361-364, 3. 2024. (https://doi.org/10.7840/kics.2024.49.3.361)