Ⅰ. 서 론

5G 시대로 접어듦에 따라 enhanced mobile broadband (eMBB), massive machine type communication (mMTC), ultra reliability and low latency (URLLC) 등 다양한 요구사항을 갖는 서비스를 만족시키기 위해 기지국 생태계의 변화가 일어났다. Fig. 1은 기존의 매크로셀과 더불어 높은 데이터 전송률을 요구하는 서비스를 지원하기 위한 스몰셀이 공존하는 heterogeneous network (HetNet)을 나타내며, 수신 파워와 커버리지가 다른 두 tier의 기지국이 공존함에 따라 기존 LTE 네트워크와는 다른 특성을 갖게 되었다. HetNet의 자원을 효율적으로 사용하기 위해, 사용자가 요구하는 서비스에 따라 알맞은 기지국에 연결되어 원활한 서비스를 이루기 위한 목표로 user association (UA) 알고리즘 분야에서 다양한 연구가 이뤄지고 있다.

스몰셀의 넓은 대역폭을 통해 높은 throughput를 요구하는 단말들의 요구사항을 만족할 수 있다. 하지만 단말들이 네트워크에 존재하는 여러 개의 스몰셀에 적절하게 분배되지 못하고 특정 스몰셀에 부하가 몰리는 현상으로 인한 성능 저하 문제가 있어 이에 관한 연구가 진행되었다. E.M Mohamed et al.^[1]은 reconfigurable intelligent surface (RIS) 기반의 mmWave 스몰셀 네트워크에서 부하 균형 유지를 위한 multi-player multi-armed bandit 기반의 UA 알고리즘을 제시하였다. 이는 기존의 maximum received power (MRP)를 기반으로 하는 UA 대비 큰 성능 향상을 보인다. 하지만 greedy한 특성을 보이는 player들로 인해 sub-optimal에 빠지거나 수렴을 하지 못 할 수 있는 한계를 보여준다. Y. Zhang et al.[2]는 과거의 스몰셀의 트래픽 부하를 통해 미래의 부하를 forecasting하여 해당 정보를 기반으로 스몰셀의 부하 불균형을 사전에 대비하는 알고리즘을 제시하였다. 하지만 트래픽 예측 기반 UA 알고리즘은 트래픽 예측의 정확성 측면에서 한계가 뚜렷하며, 특히 돌발적인 대량의 트래픽이 발생하는 경우에는 유연하게 대처할 수 없다는 점이 치명적이다.

본 연구실에서 진행했던 선행 연구^[3]은 Monte Carlo tree search (MCTS) 기반의 heuristic한 알고리즘을 통해 랜덤한 네트워크 상황에 범용적으로 적용 가능하고, 전체 네트워크 용량 측면에서도 optimal한 UA 결과를 도출하는 방안을 제시하였다. 또한 원하는 성능 목표를 달성할 수 있는 최적의 알고리즘 파라미터를 찾아서 제시하였다. 하지만 전체 네트워크 용량 향상을 위해 MCTS 기반의 UA 알고리즘을 적용한 결과, 기존의 MRP 기반의 알고리즘에서 자원을 독식하던 사용자가 더 많은 자원을 갖고, 낮은 자원을 할당받던 사용자들은 더 낮은 자원을 할당하게 되어 더 심한 부하 불균형 발생으로 인한 성능 저하를 겪게 되었다는 문제점이 발생하였다. 마치 스케줄링의 max-CI 알고리즘에서 네트워크 용량을 최대화하기 위해 채널 상태가 좋은 사용자들이 자원을 독점하고, 채널 상태가 나쁜 사용자는 자원을 할당 받지 못하는 것과 비슷한 양상을 보여준다. 본 논문에서는 [3]에서 제시한 알고리즘의 수정을 통해 낮은 throughput을 받는 사용자들의 throughput을 증가시키고자 한다. 이를 위해 MRP 기반의 UA 알고리즘으로 스몰셀에 연결되었을 때 사용자들이 얻을 수 있는 throughput을 우선 측정하고, 결과를 바탕으로 낮은 throughput을 받을 것으로 예측되는 cell edge user들의 throughput을 증가시킬 수 있는 MCTS 기반 UA 알고리즘을 제시한다.

그림(Fig.) 1.

HetNet의 구성도 (Structure of HetNet.)

Ⅱ. 본 론

2.1 MCTS

본 논문에서 사용한 셀 선택 알고리즘에 적용된 MCTS는 tree search의 종류이다. MCTS는 주로 의사결정을 위한 탐색 알고리즘으로 사용되며, 특히 게임을 진행하며 최적의 수를 도출하는 경우에 주로 사용되는 알고리즘이다. MCTS의 특성은 모든 경우의 수를 탐색하지 않으면서, 적절한 횟수와 플레이아웃을 통해 최적에 가까운 해를 도출한다는 점이다. 이런 특성을 이용하여 MCTS 기반의 UA 알고리즘은 수많은 사용자와 스몰셀의 조합들 중 원하는 성능 metric을 최적화할 수 있는 조합을 찾는 데 이용된다. UA 알고리즘에서 MCTS의 각 노드는 사용자와 neighbor cell들 중 하나와 연결된 경우의 수로 모델링되고, tree policy로는 upper confidence bounds for trees (UCT) 알고리즘을 사용하여 원하는 성능 metric 달성을 위한 장기적인 관점에서 사용자에게 적절한 스몰셀을 탐색한다.

2.1.1 MCTS의 4단계 처리 절차

MCTS는 네 단계 처리 절차(Fig. 2)를 통해 최적의 값을 구성한다.

1) 선택: 주어진 정보를 이용해서 추가적으로 탐색할 가치가 있는 가장 가능성이 있는 하나의 node가 tree에서 선택된다.

2) 확장: 선택된 node로부터 가지를 치는 방식으로 한 개 또는 몇 개의 node를 추가하는 방식으로 tree는 확장해 나간다. 새 가지 (child node)는 game tree의 leaf node의 역할을 가지며, 그동안 tree를 만드는 과정에서 한 번도 선택되지 않은 node이다.

3) 시뮬레이션: 주어진 정보를 이용해서 leaf node들중 하나를 simulation의 시작점으로 선택한다. 이 시작점부터 종료 시점까지 policy를 사용하여 game을 임의로 끝까지 진행한다.

4) 역전파: 시뮬레이션이 진행 완료된 game의 결과를 상위 노드에 피드백하고 정보를 update한다.

이 4가지 절차를 하나의 ‘iteration’이라 하고 이 단계가 많이 진행될수록 tree는 root node에서 더 깊게 확장되고, 많은 경우의 수를 시행함으로써 원하는 성능을 얻을 확률이 높아지게 된다.

그림(Fig.) 2.

MCTS의 네 단계 절차 ^[4] (Four steps of MCTS)

2.1.2 본 연구에서의 MCTS 설정

Tree의 각 node는 임의의 단말이 각 기지국들과 연결된 상황을 보여준다. 이에 초기 단계에서는 어떠한 단말도 스몰셀에 할당되지 않음을 보여준다. Root node에서 확장을 통해 생성되는 child node들은 첫 번째 단말과 각 스몰셀이 연결되는 상황을 나타내는 노드이다. 스몰셀과 단말의 연결에는 거리가 매우 먼 스몰셀과 연결하게 되면 성능이 매우 낮으므로, 거리가 가깝고 수신 파워가 높은 몇 개의 스몰셀만 선택하여 연결해 보는 policy를 따르게 된다.

이후 확장을 더 거치면서 단말을 가까운 스몰셀에 연결하는 ‘플레이아웃’ 작업을 진행하여 최종 상태와 각 단말의 throughput의 합과 전체 네트워크의 용량을 구한다. 이후 역전파 단계에서 이 값을 해당 node의 용량 값으로 저장하는 방식을 통해 확장이 끝나면 root node의 child node들 중 가장 throughput이 높으면서도 cell edge user의 throughput을 보장해주는 값을 return 해준다.

모든 확장을 진행해서 완전 확장 노드가 되면 ‘Selection’을 통해 tree policy에 따라 확장을 진행할 child node를 선택하게 된다. Tree policy로는 UCT(Upper Confidence Bounds for Trees)를 적용해서 좋은 성능을 이끌어 냈다.

[TeX:] $$\overline{X_j}$$는 child node j의 평균 보상을의미하는[0, 1] 사이의 값으로, 본 연구에서는 각 child node들의 throughput을 다 합한 값에 대한 해당 node의 throughput의 비율에 해당한다. [TeX:] $$\overline{X_j}$$가 높은 node일수록 exploitation 확률이 높아지게 된다. [TeX:] $$n_j$$는 child node j의 방문 횟수에 해당하기에, 한 번도 방문하지 않은 node일 경우 식 (1)의 값이 무한대가 되므로 반드시 한 번 이상 방문하게 하여 최소한의 exploration을 하게 된다. [TeX:] $$C_p$$는 상수 값으로, 이 값이 클수록 트리는 탐색을 많이하게 되는 값이다. [TeX:] $$C_p$$의 값이 너무 적거나 적절하지 못하면 성능이 저하되기에 본 연구에서는 [TeX:] $$C_p$$의 값을 1로 적용하여 실험을 진행하였다. 이렇게 UCT를 tree policy로 선택함에 따라 탐색의 균형을 맞출 수 있게 된다.

2.2 Cell edge user

Cell edge user는 셀 기반의 무선 네트워크에서 기지국으로부터 멀리 떨어져 있어서 셀의 가장자리 또는 근처에 위치한 사용자를 의미한다. Cell edge user는 크게 3가지의 특징을 가지게 된다.

1) 낮은 신호 강도: 기지국으로부터 멀리 떨어져 있는 만큼 상대적으로 낮은 강도의 신호를 받는다. 이로 인해 통신 품질 저하라는 부작용을 동반하게 된다.

2) 간섭: cell edge user는 셀의 가장자리에 있는 만큼 인접한 셀의 영향을 받을 가능성이 매우 높다. 이에 다른 셀의 기지국으로부터 간섭을 받을 수 있다. 이로 인해 데이터 전송률이 감소하고, 통화 품질이 저하되어 user의 quality of service (QoS)를 보장하지 못하게 된다.

3) 불안정한 연결: cell edge user는 이동 중에 다른 셀로의 전환(handover 또는 handoff)를 자주 경험하게 되어 통신이 일시 중단되거나 끊어질 확률이 매우 높다.

2.2.1 기존 cell edge user 솔루션

Cell edge user의 QoS 보장 문제는 LTE 네트워크부터 연구되던 문제로, 현재 더 높은 성능을 요구하는 5G 시대가 도래함에 따라 더 중요한 문제가 되었다. 이에 cell edge user의 QoS를 보장하기 위해 다양한 연구가 진행되고 있다.

1) CoMP (Coordinated Multi-Point): CoMP는 무선 통신에서의 전송과 수신을 개선하고자 여러 기지국이나 전송 포인트끼리 협력하는 기술을 의미한다. 기지국이 동시에 협력하기에 특정 사용자에게 데이터를 전송할 때, 다른 기지국에서의 신호 간섭을 줄일 수 있다. 또한, 기지국 간의 협력은 리소스를 더 효율적으로 할당하고, 전반적인 네트워크 성능을 최적화할 수 있다는 점이 존재한다^[5].

2) MIMO (Multiple input, Multiple Output): 다중 안테나 기술을 사용하여 cell edge user에게 더 나은 신호품질과 데이터 전송률을 제공합니다. 해당 기술을 뒷받침하기 위해서 빔포밍이라는 기술을 이용하여 단말에 직접 빔을 송신하여 신호 품질과 데이터 전송률을 높이게 됩니다.

3) HetNet: 크고 작은 여러 유형의 셀(매크로셀, 피코셀, 펨토셀 등)을 혼합해서 배치해 cell edge user에게 보다 향상된 품질을 제공하는 방식이다^[6].

4) AMC(Adaptive Modulation and Coding): 사용자의 신호 품질에 따라 변조 및 코딩 방식을 동적으로 조정하여 데이터 전송률을 최적화 시킨다^[7].

2.2.2 기존 cell edge user 솔루션의 한계

절은 2.1에 언급했던 솔루션들의 한계에 대해서 다룬다.

1) CoMP: CoMP는 복잡성의 한계가 존재한다. 여러 기지국 간의 협력을 필요로 하기에 기존의 기지국 중심의 네트워크 구성에 비해 고려해야 하는 부분이 많다. 또한, 알고리즘 측면에서도 설계와 구현이 복잡하기에 네트워크를 설치하는 초기 비용도 상당히 요구된다는 단점이 존재한다. 가장 치명적인 단점은 바로 지연이다. 기지국 간의 정보 교환 협력에는 추가적인 시간이 필요하기에 현재 산업계가 중시하는 실시간 서비스나 초저지연 서비스에서는 문제가 될 가능성이 존재한다.

2) MIMO: MIMO의 경우에는 주로 하드웨어 복잡성, 채널 정보의 필요성이 한계로 언급된다. 여러 안테나 및 관련된 RF 체인이 필요하므로 하드웨어 구성이 복잡하고, 소비 전력과 비용이 높다. 채널 정보의 경우에는 정확한 채널 상태 정보(channel state information, CSI)가 있어야 효과를 극대화할 수 있어 CSI에 대한 의존성이 매우 크다는 문제가 있다. 이외의 한계로는 안테나 간의 상호 간섭, mmWave 호환 문제에 대한 문제가 존재한다.

3) HetNet: HetNet이 가진 한계는 수신 파워에 큰 차이를 보이는 매크로셀과 다수의 스몰셀을 동시에 갖춘 네트워크기에 구현이 복잡하고 셀 간의 필요 이상의 빈번한 handover가 발생한다는 점이다. 이에 handover에 관한 절차가 복잡하여 연결의 불안정성과 추가적인 지연을 일으킬 수 있다. 또한, 서로 다른 유형의 셀과 접속점들을 효과적으로 관리하는 HetNets의 특성에 따라 고도화된 네트워크 관리 도구와 전략이 필수적이다. 이외에도, 많은 기지국을 배치해야 하는 만큼 초기 기지국 설치 비용이 상당히 많이 소모되기에 비용적인 문제가 존재한다.

4) AMC: 완벽한 CSI가 아니라면 AMC를 정확하게 조정하지 못하여 오류를 발생시킬 수 있다. 또한, 잦은 피드백으로 인한 지연이 발생할 수 있어, 빠르게 변하는 채널 환경에서는 AMC의 적용이 어렵다. 마지막으로 잦은 피드백은 추가적인 오버헤드를 발생시켜 네트워크 리소스를 많이 소모할 수 있다는 한계가 있다.

표 1은 상기 비교한 네 가지 기존 솔루션들의 장점과 한계를 비교한 결과이다.

2.2.3 본 연구의 cell edge user

본 연구는 앞서 언급한 cell edge user 솔루션 중 하나인 HetNets에 기반한 솔루션을 제안한다. 이에 기존의 하위 5%의 throughput을 받는 사용자로 정의했었던 매크로셀 기반의 네트워크에서 새로 정의해야 한다. 이는 스몰셀 네트워크는 사용자와 기지국 수가 매우 많은 ultra-dense network (UDN)로 구축될 것이기에, UDN의 환경을 고려하면 실제로 사용자가 셀의 edge에 존재할 확률은 매우 낮다. 대신 부하가 높은 특정 스몰셀들에 연결된 사용자들이 낮은 throughput을 받게 될 것이기에, 이 부하 불균형을 겪는 사용자들을 스몰셀의 cell edge user로 정의할 수 있다. 따라서 본 연구는 하위 30%의 사용자가 받는 throughput을 기준점으로 두고 그보다 낮은 throughput을 받는 사용자들을 cell edge user라고 재정의하고 실험을 진행하였다.

그림(Fig.) 3.

스몰셀 네트워크의 cell edge user (Cell edge user in small cell network)

Ⅲ. 실 험

본 장에서는 제시한 알고리즘 바탕으로 cell edge user들의 throughput의 증가 여부를 보인다. 시뮬레이션 환경을 모델링하기 위한 파라미터는 표 2와 같으며. 생성된 환경에서 최대 수신 파워 기반의 MRP 알고리즘과 무작위의 스몰셀로 오프로딩하는 random 알고리즘, 본 논문에서 제시한 MCTS 기반의 UA 알고리즘을 적용한 결과를 비교한다. 제안한 알고리즘의 보편성을 입증하기 위해 1,000개의 네트워크 환경을 생성하여 Monte Carlo 시뮬레이션을 적용했으며, 기지국과 사용자 단말은 homogeneous Poisson point process (PPP)에 따라 무작위로 분배된다. 시뮬레이션 환경은 [TeX:] $$1km^2$$ 영역에 매크로셀, 스몰셀, 사용자 단말은 각각 PPP density 3, 30, 100으로 설정되었다.

매크로셀과 스몰셀의 carrier frequency와 bandwidth는 0.8GHz, 10MHz와 28GHz, 800MHz로 설정하였다. Throughput model은 shannon capacity를 사용하였고, 특정 사용자 에 대한 각 기지국 tier의 throughput은 다음과 같이 나타내어진다.

매크로셀 사용자의 [TeX:] $$SINR_{m,x^*}$$과 스몰셀 사용자의 [TeX:] $$SNR_{m, x^*}$$은 아래와 같이 주어진다.

PL(d,f)은 각 tier 기지국의 주파수와 사용자 [TeX:] $$x^*$$까지의 거리에 관한 large scale fading인 path loss에 의한 신호 감쇠이다. 스몰셀 사용자에 대해서는 간섭의 영향을 받지 않고 잡음에만 영향을 받는 noise-limited로 가정하였다. 스몰셀 네트워크는 power가 작고 고주파의 carrier frequency를 사용한다는 사실로부터 motivated 되었다^[8].

Antenna gain은 매크로셀과 스몰셀이 각각 0dBi, 18dBi로 설정되었다. 매크로셀은 단말들의 연결성을 보장하며 간단한 통신(voice, messsage)만을 주고받는 anchor로만 사용한다고 가정했기 때문에 antenna gain을 0dBi로 설정했다. 반면 스몰셀은 높은 data rate 서비스를 받는 데 사용된다고 가정하므로 antenna gain이 존재한다. 그리고 simplification을 위해 uplink를 고려하지 않으며 사용자의 antenna gain은 생략한다.

전체 단말 중 video streaming, file download 등 높은 throughput을 요구하는 30%의 사용자 단말들이 스몰셀에 접속된다^[9]. 이들의 부하를 적절하게 분산하기 위해 사용자 단말을 3개의 가까운 스몰셀로 분배하는 경우를 고려하여 tree search와 random 알고리즘을 적용하였다. 또한, iteration 횟수는 계산 복잡도와 성능의 균형을 위해 실험적으로 도출된 값인 300으로 설정하였다. 최종적으로 cell edge user들과 자원을 필요 이상으로 많이 갖는 greedy user들의 비율을 각각 10%, 20%, 30%로 변경하며(즉, 전체 네트워크 사용자 대비 3%, 6%, 9%) 가장 널리 사용되는 성능 척도인 사용자 throughput에 미치는 영향을 시뮬레이션 결과를 통해 비교하였다. 그러나 전체 사용자의 평균 throughput이 초점을 맞추지 않고, cell edge user들과 greedy user들 각각의 throughput의 평균을 기본 척도로 사용한다. 전체 throughput 평균에는 greedy user의 과도한 자원이 그대로 반영되어 cell edge user의 성능을 제대로 반영할 수 없다고 가정하였기 때문이며, 시뮬레이션 결과는 이 가정이 합당함을 증명한다.

그림 4와 5는 각각 cell edge user들과 greedy user들의 비율에 따른 평균 throughput을 나타낸다. Random 알고리즘이 cell edge user와 greedy user 모두 가장 낮은 성능을 보인다. 제안하는 MCTS 알고리즘이 MRP 알고리즘 대비 cell edge user 측면에서 상당한 성능 개선을 보이며, cell edge user의 비율을 높일수록 평균 throughput 상승 폭이 증가한다. 동시에 greedy user의 평균 throughput은 MRP 대비 MCTS 알고리즘을 적용했을 때 대폭 하락했으며, 이는 greedy user들이 독점하던 자원이 cell edge user들에게 잘 분배되었음을 의미한다.

그림 6은 높은 throughput을 요구하는 모든 사용자들의 평균 throughput을 나타낸다. Cell edge user와 greedy user 각각의 평균 throughput 성능이 가장 낮았던 random 알고리즘이 역시 가장 낮은 성능을 보이고, greedy user가 독점하는 자원이 가장 많은 MRP의 모든 사용자들의 평균 throughput이 가장 높게 측정되었다. MCTS는 알고리즘의 특성상 cell edge user의 비율이 달라지면 평균 throughput이 변경되며, 비율이 높아질수록 평균 throughput 역시 상승하는 결과를 보인다.

표 3은 cell edge user의 비율에 따른 알고리즘별 cell edge user들의 평균 throughput을 수치적으로 정리하고 비교하였다. Cell edge user의 비율에 따라 제안하는 MCTS 알고리즘을 적용하였을 때 성능이 최대 15%까지 크게 증가하는 결과를 보인다. 이는 제안하는 알고리즘이 cell edge user들이 요구하는 QoS를 크게 개선할 수 있으며, 전체적인 네트워크의 부하 균형을 달성할 수 있음을 의미한다.

그림(Fig.) 4.

Cell edge user들의 평균 throughput 성능 비교 (Performance comparison of average throughput for cell edge users)

그림(Fig.) 5.

Greedy user들의 평균 throughput 성능 비교 (Performance comparison of average throughput for greedy users)

그림(Fig.) 6.

전체 사용자들의 평균 throughput 성능 비교 (Performance comparison of average throughput for all users)

Ⅳ. 결 론

본 논문에서는 스몰셀 네트워크의 cell edge user를 새롭게 정의하고, 기존 알고리즘 대비 cell edge user의 성능을 개선할 수 있는 MCTS 기반의 UA 알고리즘을 제안하였다. 제안한 알고리즘은 평균 사용자 throughput 관점에서는 성능이 저하되지만, 성능 개선이 가장 크게 요구되는 cell edge user의 throughput을 증가시키는 결과를 보인다. 해당 알고리즘은 역전파 단계를 조절함에 따라 높은 확장성을 보임에 더 큰 의의가 있다. 5G 시대에 존재하는 eMBB, mMTC, URLLC 등 다양한 서비스들 중 본 논문에서는 eMBB 서비스를 요구하는 사용자들 중 edge user의 성능을 향상한 경우로 해석할 수 있으며, 역전파 단계를 조절함에 따라 URLLC 사용자의 성능을 개선하는 등 다양한 방법으로 확장이 가능하다. 제안 알고리즘이 서비스의 요구사항이 다양해지는 5G 시대에 실용적으로 사용될 수 있기를 기대한다.