Index


Figures


Tables

Seo and Hwang: Supervised Domain Adaptation for Remaining Useful Life Prediction of Aircraft Engines Using AdaBoost-LSTM

Seunghwan Seo♦° and Jungwoo Hwang*

Supervised Domain Adaptation for Remaining Useful Life Prediction of Aircraft Engines Using AdaBoost-LSTM

Abstract: Along with the advent of high-quality deep learning algorithms, several methods have been published for the domain adaptation (DA) problem on remaining useful life. Most of them are unsupervised DA methods and popular adversarial approaches are known to have best performance among them. But, we have found out that adversarial approaches have an unstable problem that is the performance critically depends on the starting weights of the deep-learning networks. Furthermore, unsupervised DA methods could get a limited performance improvement if domain shift is larger than some extent. This paper proposes a supervised DA method based on AdaBoost with Long Short-Term Memory (LSTM) as base estimators. The proposed approach is effective when target domain data is much smaller than source domain data. On a publically accessible dataset, the proposed methodology is tested, and when compared to previous unsupervised domain adaption prediction methods, it reaches state-of-the-art prediction performance.

Keywords: Remaining Useful Life Prediction , Domain Adaptation , AdaBoost-LSTM , Transfer Learning

서승환♦°, 황정우*

AdaBoost-LSTM 기반 도메인 적응 기술을 이용한 항공기 엔진의 잔여 유효 수명 예측

요 약: 딥러닝 알고리즘의 발달과 함께 잔여 유효 수명 예측 위한 다양한 도메인 적응 기술이 발표되었다. 그 중 대부분은 비지도 도메인 적응 방식이며, 그 중 적대적 접근 방식이 가장 성능이 좋은 것으로 알려져 있다. 그러나 적대적 접근 방식은 딥러닝 네트워크의 시작 가중치에 따라 성능이 크게 좌우되는 불안정한 문제가 있다. 또한 비지도 도메인 적응 방식은 도메인 시프트(domain shift)가 어느 정도 이상 클 경우 성능 개선이 제한적일 수 있다. 본 논문에서는 장단기 메모리(LSTM)를 기본 모델로 사용하는 AdaBoost 기반의 지도형 도메인 적응 방법을 제안한다. 제안한 방법은 타겟 도메인 데이터가 소스 도메인 데이터보다 훨씬 작을 때 효과적이다. 이를 위해 미국 항공우주국(NASA)에서 개발한 C-MAPSS 데이터 세트를 통해 제안된 방법을 테스트한 결과, 기존의 비지도 도메인적응 예측 방법 대비 우수한 예측 성능을 확인할 수 있었다.

Ⅰ. 서 론

제조 장비 및 항공우주 엔진과 같은 산업 시스템의 예측 유지보수를 위한 핵심 기술은 예지 보전 및 상태 관리(PHM, Prognostics and Health Management)이다. PHM 시스템은 검사 속도를 높이고 비용을 절감하면서 사전 예방적 유지보수 계획을 가능하게 한다[1-3]. 산업 시스템의 잔여 유효 수명(RUL, Remaining Useful Life)을 정확하게 예측하는 것은 PHM에서 중요하다. RUL 예측을 위해 다양한 방법이 개발되고 있으며, 크게 모델 기반 방법과 데이터 기반 방법으로 분류할 수 있다[4]. 시스템의 메커니즘을 효과적으로 설명하고 고장을 예측하기 위해 모델 기반 기법은 해당 분야에 대한 전문 지식이 필요하다[5]. 그러나 이러한 기법은 매우 복잡한 시스템의 동역학적 메커니즘을 포착하지 못할 수 있다. 현재는 사용 가능한 데이터가 풍부하고 전문 지식에 대한 필요성이 감소함에 따라 데이터 기반 예측이 점점 더 대중화되고 있다[6]. 제공된 데이터를 통해 전통적인 머신러닝 기법 및 딥러닝 모델과 같은 데이터 기반 방법론에 의해 사용되어 정확한 RUL 예측을 위한 숨겨진 패턴을 발견할 수 있다. 컨볼루션 신경망 (CNN)[7-11], 게이트 순환 유닛(GRU)[12-14], 장단기 메모리 네트워크(LSTM)[15-17] 등 많은 다른 신경망 예측 기법이 개발되어 사용되고 있다. 비지도 학습은 최근 RUL 예측 방법에서 수많은 노력을 기울이고 있는 주제이다. 모멘트 매칭 접근법과 적대적 훈련 방법[18,19]은 이러한 기법을 나눌 수 있는 두 가지 기본 그룹이다. 앞선 기법들은 분포 불일치를 줄임으로써 도메인 전반의 특징 분포를 정렬한다. 최대 평균 불일치(MMD) 손실이 있는 다층 퍼셉트론(MLP)은 Zhu 등[20]에 의해 제안되었다. 특징 추출 후 소스 및 대상 도메인 훈련 데이터는 모두 MLP에 동시에 공급된다. 도메인 불변 특징은 MMD 손실과 소스 도메인 회귀 손실을 낮춰 생성된다. 도메인 분포를 정렬하기 위해 Yu 등[21]은 MMD를 사용하여 도메인 적응형 CNN-LSTM(DACL) 모델을 생성하고 C-MAPSS 데이터 세트에서 테스트했다. 이후 적대적 훈련을 활용하여 교차 도메인 예측 특징을 얻게 된다. Da 등[23]는 LSTM-DANN이라는 RUL 도메인 적응 네트워크를 제안했다. 도메인 간 RUL 예측을 수행하려면 먼저 소스 도메인에서 저하된 패턴 정보를 학습한 후, 그레디언트 인버전 레이어(gradient inversion layer) 을 사용하여 소스 도메인 회귀 모델을 수정하여 대상 도메인의 특징 분포에 적응해야 한다[24]. LSTM-DANN 외에도 LSTM-ADDA로 알려진 LSTM-DANN의 변형이 존재한다[25]. 이 기법[26]을 기반으로 하며, LSTM-DANN과 비슷한 성능을 가지고 있지만 더 간단한 구조를 가지고 있다. 전통적인 머신러닝 커뮤니티에는 대상 도메인 데이터가 소스 도메인 데이터보다 훨씬 작을 때 잘 작동하는 지도 전이 학습 기법이 있다. 이 방법은 처음에는 분류[27]에, 그 다음에는 회귀[28]에 활용되었으며, AdaBoost 추정기가 사용되었다.

본 논문에서는 LSTM과 AdaBoost를 결합한 지도 학습 프레임워크인 LSTM-AdaBoost를 제안하며, 부스팅 방법을 전이학습에 사용한 방법[28]의 영향을 받았다. 레이블이 지정된 타깃 도메인 데이터가 소스 도메인에 비해 상대적으로 희박한 경우에도 제안된 기법은 타깃 도메인에 적응할 수 있다. 타겟 도메인 데이터가 처음에 매우 희박한 경우, 제안된 지도 방식이 비지도 방식보다 실시간 상황에서 더 유용하다. 실제로 비지도 기법은 대상 도메인 데이터가 충분히 방대하고 레이블이 지정되지 않은 경우에만 유용하다. 제안된 접근 방식의 실행 가능성을 입증하기 위해 미국 항공우주국(NASA)에서 개발한 C-MAPSS 데이터 세트에 대한 테스트를 수행했다. 대상 도메인 데이터가 희소할 때 실시간 시나리오에 적합한 지도형 딥러닝 RUL 예측 기법을 제시하였다.

2절에서는 도메인 적응, LSTM 및 AdaBoost 기술을 검토한다. 3절에서는 학습 절차와 제안된 LSTMAdaBoost 아키텍처를 소개한다. 4절에서는 데이터 세트 전처리 기법과 실험 파라미터 설정에 대해 간략하게 설명하며, 실험 결과를 사용하여 제안한 기법의 우수성을 입증한다.

Ⅱ. 기존 알고리즘

2.1 문제정의

문제를 적절히 설명하기 위해, 우리는 도메인 적응의 기본적인 표준 표기법을 제공한다[29]. 도메인 [TeX:] $$D = \{x, P(X)\}$$에서 [TeX:] $$x$$는 특징 공간이고, [TeX:] $$X \in x$$이며, P(X)는 이 특징 공간에서 데이터의 한계 분포이다. 레이블이 지정된 소스 도메인 [TeX:] $$\mathcal{D}_S=\left\{x_S, P_S(X)\right\}$$와 타깃 도메인 [TeX:] $$D_r = \{x_T, P_T(X)\}$$이 주어지면, 지도 도메인 적응 문제는 레이블이 지정된 소스로부터 지식을 이전하여 효과적으로 결합함으로써 작은 크기의 레이블이 지정된 타깃에서 성능을 개선하는 것을 목표로 한다. 이 문제에서 [TeX:] $$D_S$$[TeX:] $$D_r$$는 모두 다양한 작동 및 고장 조건에서 항공기 엔진의 다변량 시계열 데이터이다. 특히, 우리는 특정 작동/고장 조건의 항공기 엔진 데이터를 라벨링하고, 작동/고장 조건이 다른 작은 크기의 라벨링된 데이터의 RUL 예측을 개선하는 것을 목표로 한다. 소스 도메인 [TeX:] $$\mathcal{D}_S=\left\{x_S^i, y_S^i\right\}_{i=1}^{n_S}$$로 표시하며, [TeX:] $$n_S$$는 총 샘플 수이고, 여기서 [TeX:] $$x_S^i \in \mathbb{R}^{M \times K}$$는 M개의 센서와 K개의 시간 단계가 있는 입력 소스 샘플, [TeX:] $$y_S^i \in \mathbb{R}$$은 해당 RUL 레이블이다. 마찬가지로 타겟 도메인 [TeX:] $$\mathcal{D}_T=\left\{x_T^j\right\}_{j=1}^{n_T}$$, 여기서 [TeX:] $$x_T^j \in \mathbb{R}^{M \times K}$$이고 [TeX:] $$n_r$$는 타겟 도메인 샘플의 수이다.

2.2 장단기 메모리(LSTM)

순환신경망(RNN)의 하위 유형인 장단기 메모리(LSTM) 네트워크[27]는 본 논문의 제안된 방법에서 시간적 특징 추출기 역할을 한다. 장기 및 단기 종속성을 모두 식별할 수 있고 기울기 소실 또는 폭발 문제를 완화할 수 있는 능력으로 인해 LSTM은 가장 자주 사용되는 RNN 변형 중 하나이다. 그림 1에서 볼 수 있듯이 LSTM 셀은 입력 게이트, 잊음 게이트, 출력 게이트를 사용하여 현재 셀 상태 [TeX:] $$c_k$$를 업데이트하고 숨겨진 상태 벡터 [TeX:] $$h_k$$를 출력하는 방식이다.

그림(Fig.) 1.

LSTM 셀 구조 (The detail structure of LSTM cell.)
1.png
2.3 AdaBoost 알고리즘

AdaBoost[31]는 분류를 위한 가장 잘 알려진 부스팅 기법 중 하나이다. AdaBoost는 가정을 개발하는 데 사용되는 각 훈련 인스턴스에 가중치 를 할당한다. 각 사례의 상대적 관련성을 나타내는 이 가중치는 데이터 세트에 대한 가설의 오차를 계산하는 데도 사용된다. 이를 반복하면서 가중치가 재조정되며, 이전 가설에서 제대로 분류하지 못한 사례에 더 높은 가중치를 부여한다. 결과적으로 학습은 프로세스가 진행됨에 따라 분류하기 가장 어려운 상황에 집중하게 된다.

회귀에 AdaBoost를 적용하기 위해 AdaBoostR2와 같은 다양한 기법이 제안되었다[32]. AdaBoost의 주요 구성 요소는 각 반복에서 잘못 분류된 인스턴스의 가중치를 재조정하는 것이다. 회귀 문제에서 인스턴스 [TeX:] $$x_i$$에 대한 가설 [TeX:] $$h_t$$에 의해 주어진 출력은 정확하거나 부정확하지 않지만, 실수 오차 [TeX:] $$e^i=\left|y^i-h_t\left(x^i\right)\right|$$를 가지며, 이는 임의로 커질 수 있다. 따라서 조정된 오류를 통해 매핑하는 방법이 필요하며, 이는 AdaBoost에서 사용하는 가중치 공식에 사용할 수 있다. AdaBoostR2 에서 사용되는 방법은 각 조정된 오차 [TeX:] $$\tilde{e}^i$$가 [0, 1] 범위에 있도록 각 오차를 최대 오차 [TeX:] $$D=\max _{i=0}^n\left|e^i\right|$$에 대한 관계로 표현하는 것이다.

Ⅲ. AdaBoost-LSTM 알고리즘

제안된 방법 아키텍처는 이 섹션에서 자세히 설명한다. 기본 학습기 LSTM을 사용한 AdaBoost 회귀는 그림 2에 표시된 아키텍처와 같다. 훈련 집합에 n개의 샘플이 포함되어 있다고 가정한다. i = 1, 2, ⋯, n 에 대한 샘플 i의 실제 RUL 값을 [TeX:] $$y^i$$라고 한다. AdaBoost 회귀는 H개의 하위 회귀자, 즉 LSTM을 생성하고 각 회귀자를 원래 훈련 집합으로 훈련한다. 각 회귀변수에 [TeX:] $$h_t$$대해 샘플 i, i = 1, 2, ⋯, n에 대한 정규화된 추정 오차를 다음과 같이 나타낸다.

그리고 추정 오차 [TeX:] $$h_t$$는 다음과 같이 정의된다.

(1)
[TeX:] $$e_t^i=\frac{\left|y^i-h_t\left(x^i\right)\right|}{\max _{i=1}^n\left|y^i-h_t\left(x^i\right)\right|}$$

(2)
[TeX:] $$h_t=\sum_{i=1}^n w_t^i e_t^i$$

샘플 i의 가중치는 식(3)에 의해 업데이트 된다.

(3)
[TeX:] $$w_t^i=\frac{w_{t-1}^i}{Z_{t-1}}\left(\frac{\varepsilon_{t-1}}{1-\varepsilon_{t-1}}\right)^{1-e_{t-1}^i}$$

그림(Fig.) 2.

AdaBoost-LSTM 구조 (An illustration of the architecture of the AdaBoost with base learning machine LSTM.)
2.png

여기서, [TeX:] $$z_{t-1}$$은 정규화된 상수로 식(4)와 같이 표현된다.

(4)
[TeX:] $$Z_{t-1}=\sum_{i=1}^n w_{t-1}^i\left(\frac{\varepsilon_{t-1}}{1-\varepsilon_{t-1}}\right)^{1-e_{t-1}^i}$$

식(3)은 이전 반복에서 추정 오차가 큰 샘플은 논리적으로 후속 반복에서 큰 샘플링 가중치가 부여됨을 보여준다. 그 결과 훈련과정에서 AdaBoost 회귀분석기는 정확한 예측이 어려운 샘플에 세심한 주의를 기울여 추정 오차를 줄인다. 최종적으로 훈련된 AdaBoost 회귀 모델은 모든 H 하위 회귀 모델에 대해 다음과 같이 가중치를 부여한 회귀 모델 h(x)가 된다.

(5)
[TeX:] $$h(x)=\sum_{t=1}^H \ln \left(\frac{1-\varepsilon_t}{\varepsilon_t}\right) \cdot h_t(x)$$

여기서 회귀변수 [TeX:] $$h_t$$의 가중치 [TeX:] $$\ln \left(\left(1-\varepsilon_t\right) / \varepsilon_t\right)$$는 추정오차 [TeX:] $$\varepsilon$$에 따라 감소한다. 즉, 추정오차가 작은 회귀변수가 최종 회귀변수 h(x)에 더 많이 기여하게 된다.

각 회귀 LSTM에 대한 평균제곱오차(MSE) 기준을 기반으로 모델을 학습한다.

(6)
[TeX:] $$\mathcal{L}_{m s e}=\frac{1}{n} \sum_{i=1}^n\left(\hat{y}^i-y^i\right)^2$$

여기서 y는 예측된 RUL값, 는 RUL 참값이며, n은 학습 샘플의 번호를 나타낸다.

Ⅳ. 실 험

4.1 데이터 준비 및 전처리

C-MAPSS[33] 데이터는 항공기 엔진의 작동-고장 테스트를 나타내는 잘 알려진 벤치마크 데이터 세트이다. 이 데이터 세트는 표 1에 표시된 것처럼 FD001, FD002, FD003 및 FD004의 네 가지 하위 집합으로 구성된다. 이러한 하위 집합은 작동 환경, 고장 유형, 수명 및 엔진 수 측면에서 다른 특성을 가진다. 특히 Training engines은 모델을 훈련하는 데 사용할 수 있는 엔진의 수를 반영하고, Test engines은 테스트에 사용할 수 있는 엔진의 수를 나타낸다. 각 데이터 하위 집합에 대한 총 훈련 샘플 수를 Training samples이라고 한다. 각 데이터 하위 집합에 대한 총 테스트 샘플 수를 Testing samples이라 한다. Max life spans은 엔진이 고장 나기 전까지 얼마나 많은 사이클을 견딜 수 있는지를 측정한다.

표(Table) 1.

C-MAPSS 데이터세트의 특성 (Properties of C-MAPSS dataset)
Dataset FD001 FD002 FD003 FD004
Training engines 100 260 100 249
Testing engines 100 259 100 248
Training samples 17731 48558 21220 56815
Testing samples 100 259 100 248
Max life spans (cycles) 362 378 512 128

각 엔진의 회전 부품은 다양한 센서를 통해 감지된다. 여기서는 데이터 처리 방법에 대해 간략히 설명한다. 먼저, RUL 예측에 유용한 센서를 선택한다[34,35]. 작동에서 고장까지 명확한 열화 패턴을 보여줄 수 있는 센서가 가장 유익한 센서이다. 여기에서는 무작위로 선택된 엔진의 센서 판독값을 표시한다. 일부 센서는 전체 성능 저하 기간 동안 본질적으로 일정하게 유지되므로 모델이 성능 저하 과정을 정확하게 시뮬레이션하지 못할 수 있다. 따라서 소스 및 대상 도메인에서 가장 유용한 공통 센서만 선택한다. 다음 센서인 S2, S3, S4, S7, S8, S9, S11, S12, S13, S14, S15, S17, S20 및 S21은 이 기법을 기반으로 선택하였다.

둘째, 다양한 작동 조건에서 동일한 유형의 센서라도 눈에 띄게 다른 값을 제공할 수 있다. 각 작업 상황에 대해 최소-최대 정규화를 사용하여 이러한 조건의 영향을 줄인다. 따라서 다양한 작업 상황에서 수집된 데이터는 [0, 1] 범위로 표준화된다.

세 번째 단계에서는 작동-고장 주기로부터 데이터 샘플을 생성하기 위해 슬라이딩 윈도우를 사용하였다. 이 때, LSTM의 윈도우 크기는 30으로 결정하였다[34,35]. 또한, 실제 RUL 대신 조각별 선형 RUL[36]을 사용하며, 즉 실제 RUL이 최대 RUL보다 크면 최대 RUL을 대신 사용한다.

4.2 모델 세팅

LSTM-AdaBoost 접근 방식은 LSTM 모델과 AdaBoost 모델로 구성된다. LSTM-AdaBoost의 전체 구조는 그림 2와 같다. 표 2과 표 3은 각각 LSTM과 AdaBoost의 세부 설정을 나타낸다.

BiLSTM 모델 학습을 위해 배치 크기 256의 미니 배치 학습을 채택했다. 과적합을 줄이기 위해 전체 구조에 걸쳐 드롭아웃 정규화를 채택하고 드롭아웃 비율을 0.5로 설정하였다. 아담 옵티마이저를 사용하여 0.5e-4의 학습률로 손실을 최소화하였다. 훈련 에포크의 범위는 20~150 에포크이다. Ada-Boost 모델의 경우 LSTM을 사용하였다.

표(Table) 2.

LSTM 파라미터 설정 (Parameter setting for LSTM)
Layer 1 BiLSTM(14,32) → Dropout
Layer 2 BiLSTM(32,32) → Dropout
Layer 3 BiLSTM(32,32) → Dropout
Layer 4 BiLSTM(32,32) → Dropout
Layer 5 BiLSTM(32,32) → Dropout
Layer output FC(64,32) → FC(32,16) → FC(16,1)

표(Table) 3.

AdaBoost 파라미터 설정 (Parameter setting for AdaBoost regression)
Parameters Kernel Penalty Kernel coef. H Learning rate
Settings RBF* 10 0.099 10 1.0

모델의 성능을 정량화하고 C-MAPSS 데이터 세트를 활용한 기존 연구와의 성능을 비교하기 위해 평균제곱근오차 (RMSE)와 Socre 지표를 사용하였다[23,24]. RMSE 지표는 다음과 같이 정의된다.

여기서 [TeX:] $$\hat{y}$$[TeX:] $$y$$는 각각 예측된 RUL과 기준값 RUL을 나타낸다. RMSE 메트릭은 초기 및 후기 RUL 예측을 동일하게 취급한다. 예후 예측 애플리케이션의 경우 늦은 RUL 예측은 시스템에 더욱 부정적인 영향을 줄 수 있다. 이 문제를 처리하기 위해 Score 메트릭은 늦은 RUL 예측에 대해 가혹한 페널티를 부과하는 데 사용된다. 다음과 같이 공식화할 수 있다.

(7)
[TeX:] $$R M S E=\sqrt{\frac{1}{n} \sum_{i=1}^n\left(\hat{y}_i-y_i\right)^2}$$

(8)
[TeX:] $$\text { Score }= \begin{cases}\frac{1}{n} \sum_{i=1}^n\left(e^{-\frac{\hat{y}_i-y_i}{13}}-1\right) & \text { if }\left(\hat{y}_i\lty_i\right) \\ \frac{1}{n} \sum_{i=1}^n\left(e^{\frac{\hat{y}_i-y_i}{10}}-1\right) & \text { if }\left(\hat{y}_i \geq y_i\right)\end{cases}$$

4.3 도메인 적응 미적용 결과와 비교

제안한 적응 방법의 효과를 증명하기 위해 비적응 방법(Source-Only)의 실험으로 소스 도메인 학습 데이터로 학습된 소스 도메인 모델에 타겟 테스트 데이터를 입력한다. 또한, 타겟 도메인 학습 데이터로 학습된 타겟 모델에 타겟 테스트 데이터를 입력하는데, 이는 타겟 도메인에 충분한 학습 데이터가 있는 이상적인 상황을 나타낸다(Target-Only). 마지막으로 타겟과 소스 도메인 데이터의 비율이 0.01인 경우(Target-0.01%)가 포함된다. C-MAPSS의 각 하위 집합을 소스 도메인으로 사용하여 실험 결과를 개별적으로 분석하고 논의한다. 타겟 및 소스 도메인 데이터의 비율에 따라 세 가지 경우의 RMSE와 점수 성능을 요약하면 표 4에 나와있다. Source-Only는 0%, Target(0.01%)는0.01%, Target-Only는 100%이다.

대부분의 경우 제안한 LSTM-AdaBoost의 예측 성능이 '소스 전용'의 예측 성능보다 훨씬 높은 것을 알 수 있다. 소스 전용 모델은 도메인 이동이 작을 때 합리적인 성능을 얻을 수 있지만, 제안한 방법은 대상 데이터의 일부만 레이블을 지정할 경우 효과를 더욱 향상시킬 수 있다.

표(Table) 4.

Source-Only, Target-Only, Target(0.01%)에 대한 LSTM-AdaBoost 성능 비교 (LSTM-AdaBoost Performance Comparison for Source-Only, Target-Only and Target (0.01%))
Metric RMSE Score
Method Source-Only Target (0.01%) Target-Only Source-Only Target (0.01%) Target-Only
FD001 → FD002 20.98 18.44 14.82 2584.56 1595.39 1051.26
FD001 → FD003 63.72 19.16 15.34 66012.96 1667.71 478.25
FD001 → FD004 44.63 22.30 16.28 51108.78 5038.59 1654.18
FD002 → FD001 16.83 15.91 14.15 810.66 548.93 304.49
FD002 → FD003 31.00 19.41 15.34 2660.99 1453.46 478.25
FD002 → FD004 34.14 21.42 16.28 11083.57 4959.30 1654.18
FD003 → FD001 44.79 17.95 14.15 19558.27 756.29 304.49
FD003 → FD002 48.97 19.03 14.82 1501091.67 2239.72 1051.26
FD003 → FD004 31.56 19.61 16.28 252911.91 2533.95 1654.18
FD004 → FD001 33.90 24.51 14.15 57819.95 2730.16 304.49
FD004 → FD002 25.79 20.91 14.82 44770.4 2066.05 1051.26
FD004 → FD003 19.32 20.51 15.34 1438.86 2045.40 478.25

표(Table) 5.

LSTM-ADDA와 LSTM-AdaBoost의 성능 비교 (Comparison between LSTM-ADDA and LSTM-AdaBoost.)
Metric RMSE Score
Method Source-Only Target (0.01%) Target-Only Source-Only Target (0.01%) Target-Only
FD001 → FD002 20.72 20.20 18.44 3309.15 2254.99 1595.39
FD001 → FD003 38.36 52.05 19.16 9622.08 99757.61 1667.71
FD001 → FD004 30.79 39.09 22.30 11351.97 35513.35 5038.59
FD002 → FD001 14.26 15.48 15.91 374.07 534.51 548.93
FD002 → FD003 33.92 30.87 19.41 5647.03 3297.50 1453.46
FD002 → FD004 34.27 33.14 21.42 17166.32 11778.41 4959.30
FD003 → FD001 25.60 43.08 17.95 7638.44 138909.24 756.29
FD003 → FD002 24.37 49.83 19.03 32583.40 1321647.06 2239.72
FD003 → FD004 22.01 28.97 19.61 7471.91 111854.20 2533.95
FD004 → FD001 28.90 20.97 24.51 21044.36 2104.16 2730.16
FD004 → FD002 28.39 24.70 20.91 46646.17 31296.31 2066.05
FD004 → FD003 14.74 14.47 20.51 733.43 878.60 2045.40
4.4 비지도 전이학습 결과와 비교

제안하는 방법과 비교하기 위해 비지도 전이 학습 방법 중 SOTA 모델인 LSTM-ADDA[18]를 사용하였다. 이 비교는 지도 전이 학습과 비지도 전이 학습 간의 성능 차이를 보여줄 수 있다.

평가 지표의 비교 결과는 표 5와 같다. 제안한 LSTM-AdaBoost의 예측 성능이 대부분 비지도 모델에 비해 월등히 높다는 것을 알 수 있다. 또한, LSTM-ADDA는 소스 도메인에서 학습된 초기 가중치에 매우 민감하다는 것을 알 수 있다. 소스 도메인에서 LSTM-ADDA (Worst) (FD001 > FD002 - RMSE: 20.20, Score: 2254.99)의 RMSE와 Score는 LSTM-ADDA (Best) (FD001 > FD002 -RMSE: 20.72, Score: 3309.15)보다 동등하거나 더 좋으며, FD003 > FD001 & FD002와 같은 경우 도메인 적응의 RMSE와 점수는 서로 매우 다르게 나타났다.

Ⅴ. 결 론

본 논문에서는 LSTM 네트워크와 AdaBoost 프레임워크(LSTM-AdaBoost)를 결합하여 새로운 도메인 적응 RUL 예측 기법을 제안하였다. 제안한 모델의 예측 효과를 C-MAPSS 데이터셋을 통해 검증하였다.

제안한 방법은 소스 도메인 데이터와 소량의 타겟 데이터를 사용하여 모델을 학습시키고, AdaBoost 회귀 분석은 정확한 예측이 어려운 샘플에 많은 주의를 기울여 추정 오차를 줄이게 된다. LSTM-AdaBoost 방법의 효과를 설명하기 위해 두 가지 비교 실험을 수행하였다. 실험 결과 제안한 방법의 예측 결과가 다른 방법보다 우수하다는 것을 알 수 있다. 제안한 방법은 타겟 도메인 데이터가 소스 도메인 데이터보다 훨씬 작을 때 효과적이다.

현실에서는 비지도 학습 방법을 사용하는 것보다 본 논문에서 제안한 LSTM-AdaBoost와 같은 지도 학습 방법을 사용하여 타겟 데이터의 일부를 활용하는 것이 더 효과적일 것으로 판단된다. 비지도 학습 방법의 경우 RMSE 값의 성능은 다소 높았지만, Score 결과를 통해 소스 도메인에서 학습한 초기 가중치에 민감한 것으로 나타났다. 따라서 성능은 높고 목표 도메인에 대한 민감도는 낮은 LSTM-AdaBoost가 더 유용할 것으로 판단된다. 목표 도메인의 RUL을 직접 추정하기 위해 향후 작업에서는 학습 프로세스에서 목표 도메인 데이터를 제거하고 대신 다중 소스 데이터와 함께 일반화된 모델을 활용하는 방안에 대해 연구할 계획이다.

Biography

서 승 환 (Seunghwan Seo)

2012년 2월: 영남대학교 환경공학과 졸업

2016년 4월: Chuo University, Japan 토목공학과 석사

2022년 3월~현재: 연세대학교 산업공학과 박사과정

2018년 10월~현재: 한국건설기술연구원 수석연구원

<관심분야> 지반계측, 딥러닝, 전이학습

Biography

황 정 우 (Jungwoo Hwang)

1989년 2월: 서울대학교 제어계측학과 졸업

1991년 2월: 한국과학기술원 전기및전자공학과 석사

2004년 2월: 한국과학기술원 정보통신공학과 박사

현재: ㈜아모센스 기술자문

<관심분야> 딥러닝,영상처리,시계열분석

References

  • 1 J. Zhu, N. Chen, and C. Shen, "A new datadriven transferable remaining useful life Metric RMSE Score Method LSTM-ADDA (Best) LSTM-ADDA (Worst) LSTM-AdaBoost (0.01%) LSTM-ADDA (Best) LSTM-ADDA (Worst) LSTM-AdaBoost (0.01%) FD001 → FD002 20.72 20.20 18.44 3309.15 2254.99 1595.39 FD001 → FD003 38.36 52.05 19.16 9622.08 99757.61 1667.71 FD001 → FD004 30.79 39.09 22.30 11351.97 35513.35 5038.59 FD002 → FD001 14.26 15.48 15.91 374.07 534.51 548.93 FD002 → FD003 33.92 30.87 19.41 5647.03 3297.50 1453.46 FD002 → FD004 34.27 33.14 21.42 17166.32 11778.41 4959.30 FD003 → FD001 25.60 43.08 17.95 7638.44 138909.24 756.29 FD003 → FD002 24.37 49.83 19.03 32583.40 1321647.06 2239.72 FD003 → FD004 22.01 28.97 19.61 7471.91 111854.20 2533.95 FD004 → FD001 28.90 20.97 24.51 21044.36 2104.16 2730.16 FD004 → FD002 28.39 24.70 20.91 46646.17 31296.31 2066.05 FD004 → FD003 14.74 14.47 20.51 733.43 878.60 2045.40 표5. LSTM-ADDA와 LSTM-AdaBoost의성능비교 Table5. Comparison between LSTM-ADDA and LSTM-AdaBoost. 183 prediction approach for bearing under different working conditions," Mech. Syst. Signal Process., vol. 139, 106602, 2020. (https://doi.org/10.1016/j.ymssp.2019.106602)doi:[[[10.1016/j.ymssp.2019.106602]]]
  • 2 Y. Lei, N. Li, L. Guo, N. Li, T. Yan, and J. Lin, "Machinery health prognostics: A systematic review from data acquisition to rul prediction," Mech. Syst. Signal Process., vol. 104, pp. 799-834, 2018. (https://doi.org/10.1016/j.ymssp.2017.11.016)doi:[[[10.1016/j.ymssp.2017.11.016]]]
  • 3 T. Zhou, T. Han, and E. Droguett, "Towards trustworthy machine fault diagnosis: A probabilistic Bayesian deep learning framework," Reliab. Eng. Syst. Saf., vol. 224, 108525, 2022. (https://doi.org/10.1016/j.ress.2022.108525)doi:[[[10.1016/j.ress.2022.108525]]]
  • 4 Y. Fan, S. Nowaczyk, and T. Rognvaldsson, "Transfer learning for remaining useful life prediction based on consensus self-organizing models," Reliab. Eng. Syst. Saf., vol. 203, 107098, 2020. (https://doi.org/10.1016/j.ress.2020.107098)doi:[[[10.1016/j.ress.2020.107098]]]
  • 5 N. Li, Y. Lei, J. Lin, and S. X. Ding, "An improved exponential model for predicting remaining useful life of rolling element bearings," IEEE Trans. Ind. Electron., vol. 62, pp. 7762-7773, 2015. (https://doi.org/10.1109/TIE.2015.2455055)doi:[[[10.1109/TIE.2015.2455055]]]
  • 6 Y. Jiang and S. Yin, "Recent advances in key-performance-indicator oriented prognosis and diagnosis with a MATLAB toolbox: DB-kit," IEEE Trans. Ind. Informat., vol. 15, no. 5, pp. 2849-2858, May 2019. (https://doi.org/10.1109/TII.2018.2875067)doi:[[[10.1109/TII.2018.2875067]]]
  • 7 J. Zhu, N. Chen, and W. Peng, "Estimation of bearing remaining useful life based on multiscale convolutional neural network," IEEE Trans. Ind. Electron., vol. 66, pp. 32083216, 2018. (https://doi.org/10.1109/TIE.2018.2844856)doi:[[[10.1109/TIE.2018.2844856]]]
  • 8 B. Yang, R. Liu, and E. Zio, "Remaining useful life prediction based on a doubleconvolutional neural network architecture," IEEE Trans. Ind. Electron., vol. 66, pp. 9521-9530, 2019. (https://doi.org/10.1109/TIE.2019.2924605)doi:[[[10.1109/TIE.2019.2924605]]]
  • 9 X. Xu, Q. Wu, X. Li, and B. Huang, "Dilated convolution neural network for remaining useful life prediction," J. Comput. Inf. Sci. Eng., vol. 20, 021004, 2020. (https://doi.org/10.1115/1.4045293)doi:[[[10.1115/1.4045293]]]
  • 10 W. Peng, Z.-S. Ye, and N. Chen, "Bayesian deep-learning-based health prognostics toward prognostics uncertainly," IEEE Trans. Ind. Electron., vol. 67, pp. 2283-2293, 2019. (https://doi.org/10.1109/TIE.2019.2907440)doi:[[[10.1109/TIE.2019.2907440]]]
  • 11 B. Wang, Y. Lei, N. Li, and W. Wang, "Multi-scale convolutional attention network for predicting remaining useful life of machinery," IEEE Trans. Ind. Electron., vol. 68, pp. 7496-7504, 2020. (https://doi.org/10.1109/TIE.2020.3003649)doi:[[[10.1109/TIE.2020.3003649]]]
  • 12 R. Zhao, D. Wang, R. Yan, K. Mao, F. Shen, and J. Wang, "Machine health monitoring using local feature-based gated recurrent unit networks," IEEE Trans. Ind. Electron., vol. 65, pp. 1539-1548, 2017. (https://doi.org/10.1109/TIE.2017.2733438)doi:[[[10.1109/TIE.2017.2733438]]]
  • 13 X. Li, H. Jiang, X. Xiong, and H. Shao, "Rolling bearing health prognosis using a modified health index based hierarchical gated recurrent unit network," Mech. Mach. Theory, vol. 133, pp. 229-249, 2019. (https://doi.org/10.1016/j.mechmachtheory.201 8.11.005)doi:[[[10.1016/j.mechmachtheory.2018.11.005]]]
  • 14 L. Ren, X. Cheng, X. Wang, J. Cui, and L. Zhang, "Multi-scale dense gate recurrent unit networks for bearing remaining useful life prediction," Future Gener. Comput. Syst., vol. 94, pp. 601-609, 2019. (https://doi.org/10.1016/j.future.2018.12.009)doi:[[[10.1016/j.future.2018.12.009]]]
  • 15 Y. Zhang, R. Xiong, H. He, and M. G. Pecht, "Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries," IEEE Trans. Veh. Technol., vol. 67, pp. 5695-5705, 2018. (https://doi.org/10.1109/TVT.2018.2805189)doi:[[[10.1109/TVT.2018.2805189]]]
  • 16 Y. Wu, M. Yuan, S. Dong, L. Lin, and Y. Liu, "Remaining useful life estimation of engineered systems using vanilla lstm neural 184 networks," Neurocomputing, vol. 275, pp. 167-179, 2018. (https://doi.org/10.1016/j.neucom.2017.05.063)doi:[[[10.1016/j.neucom.2017.05.063]]]
  • 17 V. TV, P. Malhotra, L. Vig, and G. Shroff, "Data-driven prognostics with predictive uncertainty estimation using ensemble of deep ordinal regression models," arXiv preprint arXiv:1903.09795, 2019. (https://doi.org/10.48550/arXiv.1903.09795)doi:[[[10.48550/arXiv.1903.09795]]]
  • 18 T. Han, C. Liu, W. Yang, and D. Jiang, "A novel adversarial learning framework in deep convolutional neural network for intelligent diagnosis of mechanical faults," Knowl.-Based Syst., vol. 165, pp. 474-487, 2019. (https://doi.org/10.1016/j.knosys.2018.12.019)doi:[[[10.1016/j.knosys.2018.12.019]]]
  • 19 X. Wang, M. Long, J. Wang, and M. Jordan, "Transferable calibration with lower bias and variance in domain adaptation," Advances in NIPS, vol. 33, pp. 19212-19223, 2020. (https://doi.org/10.48550/arXiv.2007.08259)doi:[[[10.48550/arXiv.2007.08259]]]
  • 20 M. Ghifary, W. B. Kleijn, and M. Zhang, "Domain adaptive neural networks for object recognition," in Pacific Rim Int. Conf. Artificial Intell., pp. 898-904, Springer: Cham, Switzerland, 2014.custom:[[[-]]]
  • 21 S. Yu, Z. Wu, X. Zhu, and M. Pecht, "A domain adaptive convolutional lstm model for prognostic remaining useful life estimation under variant conditions," in Proc. 2019 Prognostics and Syst. Health Manag. Conf. (PHM-Paris), pp. 130-137, Paris, France, May 2019. (https://doi.org/10.1109/PHM-Paris.2019.00030)doi:[[[10.1109/PHM-Paris.2019.00030]]]
  • 22 I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets," in Proc. NIPS, pp. 2672-2680, Cambridge, MA, USA, Dec. 2014; MIT Press: Massachusetts, MA, USA, 2014.custom:[[[-]]]
  • 23 P. R. D. O. Da Costa, A. Akcay, Y. Zhang, U. Kaymak, U. "Remaining useful lifetime prediction via deep domain adaptation," Reliab. Syst. Saf., vol. 195, 106682, 2020. (https://doi.org/10.1016/j.ress.2019.106682)doi:[[[10.1016/j.ress.2019.106682]]]
  • 24 Y. Ganin, E. Ustinova, H. Ajakan, P. Germain, H. Larochelle, F. Laviolette, M. Marchand, and V. Lempitsky, "Domainadversarial training of neural networks," J. Mach. Learn. Res., vol. 17, 2016. (https://doi.org/10.48550/arXiv.1505.07818)doi:[[[10.48550/arXiv.1505.07818]]]
  • 25 Y. Duan, J. Xiao, H. Li, and J. Zhang, "Cross-domain remaining useful life prediction based on adversarial training," Machines, vol. 10, 438, 2022. (https://doi.org/10.3390/machines10060438)doi:[[[10.3390/machines10060438]]]
  • 26 E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell, "Adversarial discriminative domain adaptation," in Proc. IEEE Conf. CVPR, pp. 7167-7176, Honolulu, HI, USA, Jul. 2017. (https://doi.org/10.1109/CVPR.2017.316)doi:[[[10.1109/CVPR.2017.316]]]
  • 27 W. Dai, Q. Yang, G.-R. Xue, and Y. Yu, "Boosting for transfer learning," in Proc. Twenty Fourth Int. Conf. Mach. Learn., pp. 193-200, 2007. (https://doi.org/10.1145/1273496.1273521)doi:[[[10.1145/1273496.1273521]]]
  • 28 D. Pardoe and P. Stone, "Boosting for regression transfer," in Proc. 27th Int. Conf. Int. Conf. Mach. Learn., pp. 863-870, 2010.custom:[[[-]]]
  • 29 S. J. Pan and Q. Yang, "A survey on transfer learning," IEEE Trans. Knowl. Data Eng., vol. 22, no. 10, pp. 1345-1359, Oct. 2010. (https://doi.org/10.1109/TKDE.2009.191)doi:[[[10.1109/TKDE.2009.191]]]
  • 30 S. Hochreiter and J. Schmidhuber, "Long short-term memory," Neural Comput., vol. 9, pp. 1735-1780, 1997. (https://doi.org/10.1162/neco.1997.9.8.1735)doi:[[[10.1162/neco.1997.9.8.1735]]]
  • 31 Y. Freund and R. E. Schapire, "A decision-theoretic generalization of online learning and an application to boosting," J. Comput. and Syst. Sci., vol. 55, pp. 119-139, 1997. (https://doi.org/10.1006/jcss.1997.1504)doi:[[[10.1006/jcss.1997.1504]]]
  • 32 H. Drucker, "Improving regressors using boosting techniques," in Proc. Fourteenth Int. Conf. Mach. Learn., pp. 107-115, Nashville, TN, USA, July 1997.custom:[[[-]]]
  • 33 A. Saxena, K. Goebel, D. Simon, and N. Eklund, "Damage propagation modeling for aircraft engine run-to-failure simulation," in Proc. Int. Conf. Prognostics Health Manag., 185 pp. 1-9, Denver, CO, USA, October 2008. (https://doi.org/10.1109/PHM.2008.4711414)doi:[[[10.1109/PHM.2008.4711414]]]
  • 34 C.-G. Huang, H.-Z. Huang, and Y.-F. Li, "A bidirectional LSTM prognostics method under multiple operational conditions," IEEE Trans. Ind. Electron., vol. 66, no. 11, pp. 2521-2531, Nov. 2019. (https://doi.org/10.1109/TIE.2019.2891463)doi:[[[10.1109/TIE.2019.2891463]]]
  • 35 Z. Chen, M. Wu, R. Zhao, F. Guretno, R. Yan, and X. Li, "Machine remaining useful life prediction via an attention based deep learning approach," IEEE Trans. Ind. Electron., vol. 68, pp. 8792-8802, Mar. 2021. (https://doi.org/10.1109/TIE.2020.2972443)doi:[[[10.1109/TIE.2020.2972443]]]
  • 36 H. Miao, B. Li, C. Sun, and J. Liu, "Joint learning of degradation assessment and RUL prediction for aeroengines via dual-task deep LSTM networks," IEEE Trans. Ind. Informat., vol. 15, no. 9, pp. 5023-5032, Sep. 2019. (https://doi.org/10.1109/TII.2019.2900295)doi:[[[10.1109/TII.2019.2900295]]]

Statistics


Related Articles

자동차 번호판 위치 인식을 위한 적대적 도메인 적응 모델 경량화
H. Cho, J. Kim, K. Jun
인지 무선 통신에서 전이 학습을 이용한 딥러닝 기반 변조 신호 센싱 기법
J. Park, Y. Choi, D. Seo, J. Ahn, H. Nam
광 무선통신 터미널 자동 추적을 위한 영상개선 알고리즘 성능 비교
K. S. Kim, Y. S. Heo, C. I. Yeo, S. Park, H. J. Park
회색조 영상의 시맨틱 분할을 위한 사전 학습된 딥러닝 모델 확장 기법
J. Jung and Y. Shin
전자전 환경에서 전이학습 기반 저피탐 레이더 변조 신호 분류 성능 분석
D. Seo, J. Park, W. Yun, J. Baek, W. Lee, H. Nam
위성 영상의 의미론적 분할을 위한 확장된 심층 신경망 연결 모델
J. Jung and Y. Shin
ResNet/SVM 기반 GNSS 재밍 식별 기법
S. Yoo, J. Yoo, S. Heo, S. Y. Kim
전경/배경 정보의 융합을 이용한 딸기 질병의 효율적인 분류
D. Kim, T. Kim, J. Lee
Image Captioning Network for Disaster Dataset Based on Transfer Learning and Disaster Convolution Block
J. Hong, D. Lee, H. Baek, B. Bae, S. Park

Cite this article

IEEE Style
S. Seo and J. Hwang, "Supervised Domain Adaptation for Remaining Useful Life Prediction of Aircraft Engines Using AdaBoost-LSTM," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 2, pp. 177-185, 2024. DOI: 10.7840/kics.2024.49.2.177.


ACM Style
Seunghwan Seo and Jungwoo Hwang. 2024. Supervised Domain Adaptation for Remaining Useful Life Prediction of Aircraft Engines Using AdaBoost-LSTM. The Journal of Korean Institute of Communications and Information Sciences, 49, 2, (2024), 177-185. DOI: 10.7840/kics.2024.49.2.177.


KICS Style
Seunghwan Seo and Jungwoo Hwang, "Supervised Domain Adaptation for Remaining Useful Life Prediction of Aircraft Engines Using AdaBoost-LSTM," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 2, pp. 177-185, 2. 2024. (https://doi.org/10.7840/kics.2024.49.2.177)