IndexFiguresTables |
Kakyeom Jeon♦ , Youngil Jeon* , Changhun Yu* , Junghyun Seo* , Bang Chul Jung** and Howon Lee°HDRL-Based Cooperative Jamming Method for Secure Battlefield NetworkAbstract: Effective jamming techniques for communication and control signals are required in modern electronic warfare to counter unmanned aerial vehicles (UAVs) with three-dimensional mobility. In this paper, we propose a hierarchical deep reinforcement learning (HDRL)-based cooperative jamming method using ground jammers (GJs) and UAV jammers (UJs) for battlefield network security. The proposed method aims to maximize the jamming effect on malicious UAVs (MUs) through two types of jammers. In particular, the proposed method reduces the computational complexity of jamming through a hierarchical framework. Keywords: Battlefield network , Electronic warfare , Cooperative jamming , HDRL , SJNR 전가겸♦,전영일*,유창훈*,서정현*,정방철**,이호원°전장 네트워크 안전성을 위한 HDRL 기반 협력 재밍 기법요 약: 현대 전자전에서 3차원 이동성을 가지는 UAV (unmmaned aerial vehicle)에 대응하기 위해 통신 및제어 신호를 교란하는 효과적인 재밍 기술이 요구된다. 본 논문에서는 전장 네트워크 안전성을 위해 GJ (ground jammer)와 UJ (UAV jammer)를 활용하는HDRL(hierarchical deep reinforcement learning) 기반 협력 재밍 기법을 제안한다. 제안 기법은 두 가지유형의 재머를 통해 MU (malicious UAV)에 대한 재밍 영향력 극대화를 목표로 한다. 특히, 제안된HDRL은 계층적 프레임워크를 통해 재밍을 위한 계산 복잡성을 감소시킨다. Ⅰ. 서론현대 네트워크 중심의 전자전은 핵심 임무를 수행하기 위해 광범위한 주파수 스펙트럼을 활용하는 무선 통신의 중 요성이 점차 커지고 있다[1-3]. 하지만 무선 채널은 도청 및 재밍 공격과 같은 보안 침해에 취약하다. 이에 따라 적의 군사 통신 장비와 비통신 시스템을 무력화하는 재밍 기술을 개발하기 위한 많은 연구가 진행되었다. 특히, 아군 영역에 침투한 적에 대응하기 위해 GJ (ground jammer)를 활용하는 연구들이 진행되었다. 이러한 연구들에서는 GJ의 효율적인 배치나 빔 포밍의 빔 방향, 각도, 폭을 최적화하는 DRL (deep reinforcement learning) 기반의 재밍 전략을 통해 재밍 성능을 향상시켰다[4,5]. 점차 UAV (unmanned aerial vehicle)가 비지상 네트워크의 전장에서 다양한 임무를 수행하게 되었으며, 3차원 이동성을 가지는 UAV는 뛰어난 기동성으로 군 통신 작전의 효율성을 높일 수 있었다. 적의 도청에 대응하기 위해, UJ (UAV jammer)는 이동 경로와 재밍 전력 등을 DRL로 최적화하여 아군 통신의 secrecy rate를 극대화했다[6]. 하지만, GJ와 UJ는 각각 고정된 위치와 한정된 배터리의 제약이 존재한다. 본 논문에서는 MU (malicious UAV)를 효과적으로 재밍하기 위해 두 재머가 서로 단점을 보완할 수 있는 HDRL (hierarchical deep reinforcement learning) 기반 협력 재밍 기법을 제안한다. Ⅱ. 시스템 모델 및 제안 기법본 논문에서는 그림 1과 같이 MG (malicious ground base station)으로부터 명령 신호에 의해 제어되는 MU가 아군 영공 침입에 대해 대응하도록 안전한 전장 네트워크 구축을 위한 협력 재밍 시스템을 고려한다. GJ와 UJ는 각각 G2A (ground to air) 채널 모델과 A2A (air to air) 채널 모델을 기반으로 재밍 신호를 MU에게 전송하여 수신 명령 신호에 대한 재밍을 수행한다[7,8]. 특히, GJ는 3차원 two-step 빔 패턴 모델을 기반으로 메인 로브와 사이드 로브가 있는 지향성 빔의 빔 폭을 조정하여 MU를 재밍한다[9]. G2A 채널 모델, A2A 채널 모델, 3차원 two-step 빔 패턴 모델을 사용하는 MU의 수신 명령 신호에 대한 협력 재밍 효과는 SJNR(signal-to-jamming-plus-noise ratio)로 표현되며 다음과 같이 계산할 수 있다.
(1)[TeX:] $$\Gamma_{M U}=\frac{P_{M G}\left(L_{M G}^{G 2 A}\right)^{-1}}{\eta P_{G J}\left(L_{G J}^{G 2 A}\right)^{-1}+P_{U J}\left(L_{U J}^{A 2 A}\right)^{-1}+\sigma^2},$$SJNR은 MG와 GJ, UJ의 신호 전력[TeX:] $$\left(P_{M G}, P_{G J}, P_{U J}\right)$$ 및 경로 손실 [TeX:] $$\left(L_{M G}^{G 2 A}, L_{G J}^{G 2 A}, L_{U J}^{A 2 A}\right)$$, GJ의 빔폭 이득 [TeX:] $$\eta$$, 그리고 가산성 백색 가우시안 잡음 [TeX:] $$\sigma^2$$에 의해 결정된다. 그림 2와 같이 HDRL 기반 협력 재밍은 빔폭을 제어하는 DRL-GJ와 이동 및 재밍 전력을 제어하는 HDRL-UJ로 구성된다. DRL-GJ는 빔폭 최적화를 통해 재밍 효과 극대화를 목표로 하며, MDP (markov decision process)는 다음과 같다.
GJ의 빔폭 [TeX:] $$\vartheta$$와 MU의 좌표 정보로 [TeX:] $$s_{G J}$$를 구성하며, [TeX:] $$\Delta \vartheta$$만큼 빔폭을 변경하거나 유지한다. GJ의 [TeX:] $$r_{G J}$$는 SJNR과 대역폭 [TeX:] $$BW$$에 따른 데이터 전송률을 최소화하기 위해 최소 빔폭 [TeX:] $$\vartheta^{\min }$$과 최대 빔폭 [TeX:] $$\vartheta^{\max }$$ 사이에서 빔폭을 최적화한다. HDRL-UJ는 계층 학습 주기 [TeX:] $$\tau$$의 타임 스텝마다 외부 루프 RL을 통해 재밍 전력을 최적화하고, 이외의 모든 타임 스텝에서 내부 루프 RL을 통한 이동 제어를 수행하여 MU에 대한 재밍 효과 극대화를 목표로 한다. MDP 중 내부 루프 RL과 외부 루프 RL의 상태 및 보상은 동일한 구조를 가진다.
(5)[TeX:] $$s_{U J}=\left\{P_{U J}, x_{U J}, y_{U J}, z_{U J}, x_{M U}, y_{M U}, z_{M U}\right\},$$
(6)[TeX:] $$a_{U J}^{i n} \in\left\{ \pm \Delta x_{U J}, \pm \Delta y_{U J}, \pm \Delta z_{U J}, 0\right\},$$
UJ는 재밍 전력 [TeX:] $$P_{U J}$$와 UJ 및 MU의 좌표 정보로 [TeX:] $$s_{U J}$$를 구성한다. UJ는 아군 영공 내에서 내부 루프 RL의 이동 제어를 수행하고, 외부 루프 RL을 통해 최소 재밍 전력 [TeX:] $$P_{U J}^{\min }$$과 최대 재밍 전력 [TeX:] $$P_{U J}^{\max }$$ 사이에서 [TeX:] $$\Delta P_{U J}$$만큼 재밍 전력을 조정한다. 특히, UJ는 한정된 배터리 용량으로 효율적인 재밍이 요구되므로, 재밍 성능과 재밍 전력을 동시에 최적화하는 보상 구조를 가진다. 제안된 HDRL은 보상을 극대화를 목표로 하며, GJ와 UJ는 학습을 통해 심층 신경망의 큐함수를 다음과 같이 업데이트한다.
(9)[TeX:] $$\begin{aligned} Q(s, a \mid \omega) \leftarrow & (1-\kappa) Q(s, a \mid \omega) \\ & +\kappa\left(r+\rho \cdot \max _{a^{\prime} \in a} Q\left(s^{\prime}, a^{\prime} \mid \omega\right),\right. \end{aligned},$$DRL은 학습률 [TeX:] $$\kappa$$와 할인 계수 [TeX:] $$\rho$$, 가중치 [TeX:] $$\omega$$를 고려하여 예측된 큐값을 목표 큐값에 근사시키기 위해 최적 행동 [TeX:] $$a^{\prime}$$을 선택하는 학습을 진행한다. 학습 네트워크의 훈련이 진행됨에 따라 학습 경험이 replay buffer에 저장되고, 에이전트는 샘플링된 mini batch를 활용하여 손실 함수의 결과를 최소화하도록 정책 네트워크의 가중치를 업데이트한다. 이때, 에이전트가 학습 초기에 다양한 상태를 탐험할 수 있도록 epsilon-greedy 정책을 사용하였다[10]. Ⅲ. 시뮬레이션 결과 및 결론시뮬레이션은 GJ와 UJ가 140m×140m의 영역에서 랜덤 배치 및 최대 [TeX:] $$v_{M U}$$의 속도로 3차원 이동하는 MU를 협력 재밍 하는 시나리오를 고려했다. 그림 3은 iteration마다 UJ가 [TeX:] $$v_{U J}$$ = 10m만큼 이동하고, GJ는 [TeX:] $$\Delta \vartheta$$ = 10°의 빔폭을 제어하는 환경에서, 완전 탐색을 통해 얻은 최적값에 대한 HDRL-UJ와 DRL-GJ의 학습 시뮬레이션 결과를 나타낸다. HDRL-UJ는 학습이 진행됨에 따라 오차가 감소하면서 최적값에 수렴하는 결과를 보였다. 반면, DRL-GJ는 최적값보다 약간 낮은 값으로 수렴하는데, 이는 DRL-GJ의 최적값은 UJ의 에너지 효율적 행동을 고려하지 않을때 달성 가능한 값이기 때문이다. 또한, 각 에이전트는 무작위 행동을 하는 RAND 비교 기법보다 우수한 성능을 보였다. 그림 4는 학습된 HDRL의 UJ와 MU의 이동 속도 [TeX:] $$v_{U J}=\{1,5,10\} \mathrm{m}, v_{M U}=\{0,1,5,10\} \mathrm{m}$$에 따른 테스트 결과를 나타낸다. [TeX:] $$v_{U J}$$가 낮을수록 최적 위치까지 도달하는데 필요한 시간이 증가하게 되고, 실시간으로 이동하는 MU에 대해 거리를 유지하기 어려운 문제가 있다. 따라서, 모든 [TeX:] $$v_{M U}$$에 대해서 [TeX:] $$v_{U J}$$가 클수록 MU의 데이터 전송률을 낮추는 결과를 보였다. 그림(Fig.) 3. 제안된 HDRL 및 비교 기법의 누적 평균 보상 (Accumulated average reward of proposed HDRL and benchmark algorithms.)  그림(Fig.) 4. 제안된 HDRL의 UJ 및 MU 이동속도에 따른 SJNR기반 MU의 데이터 전송률 (Achievable data rate by SJNR of proposed HDR Laccording to velocity of UJ and MU.)  결과적으로, 제안된 HDRL의 GJ는 재밍 범위 및 세기의 trade-off 관계를 고려하여 빔폭을 최적화하였고, UJ는 MU를 추적하기 위한 최적의 이동 제어와 제한된 배터리 전력을 극복하기 위한 최적의 송신 전력 제어를 수행하는 것을 확인할 수 있었다. References
|
StatisticsCite this articleIEEE StyleK. Jeon, Y. Jeon, C. Yu, J. Seo, B. C. Jung, H. Lee, "HDRL-Based Cooperative Jamming Method for Secure Battlefield Network," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 1, pp. 70-73, 2025. DOI: 10.7840/kics.2025.50.1.70.
ACM Style Kakyeom Jeon, Youngil Jeon, Changhun Yu, Junghyun Seo, Bang Chul Jung, and Howon Lee. 2025. HDRL-Based Cooperative Jamming Method for Secure Battlefield Network. The Journal of Korean Institute of Communications and Information Sciences, 50, 1, (2025), 70-73. DOI: 10.7840/kics.2025.50.1.70.
KICS Style Kakyeom Jeon, Youngil Jeon, Changhun Yu, Junghyun Seo, Bang Chul Jung, Howon Lee, "HDRL-Based Cooperative Jamming Method for Secure Battlefield Network," The Journal of Korean Institute of Communications and Information Sciences, vol. 50, no. 1, pp. 70-73, 1. 2025. (https://doi.org/10.7840/kics.2025.50.1.70)
|
