IndexFiguresTables |
Kangho Lee♦ , Jinhyung Kim , Gerardo Sacarel* and Yun-Jae Won°Development of Calibrating and Noise Reduction Methods for Recognizing Hand Movement or Positions Using a Soft Wearable GloveAbstract: Many studies on developing assistive technologies such as Soft robots or Exoskeletons for paralyzed patients by damaged central or peripheral nervous system are carried on. For these technologies, a device can measure patients’ body movements or poses will be required. In this study, therefore, we devised a wearable glove including small-thin silicon-based strain sensors filled with liquid metal. First, to serves as an accurate hand poses measurement device from different hands size of paralyzed patients, we established a simple calibration method that can be applied on low-power MCUs. Second, we established a noise reduction algorithm that assures our wearable gloves can measure patients’ hands movement in stable. Our methods for wearable gloves will be applied for recognizing patients’ hands movement, monitoring movement aids to decide working well or not and finally can be applied for a criterion for testing wearable robots such as Soft robots and Exoskeletons. Also, we are expecting that our methods can be used for other body parts such as arms, legs and feet. Keywords: Sensor calibration , An algorithm for noise reduction , Soft robot , Exoskeleton 이강호♦, 김진형*, 헤라르도 사카레로*, 원윤재°손 동작 인식을 위한 소프트 웨어러블 장갑의 센서 캘리브레이션과 노이즈 처리 기술 개발요 약: 다양한 원인에 의하여 신체의 운동 기능을 담당하는 중추신경계 또는 말초신경계가 손상되어 사지 마비를 갖게된 환자들의 삶의 질 향상과 생활 자립 및 보조를 위한 연구들이 진행되고 있고, 그 방법으로 외골격 또는 소프트로봇의 연구가 진행되고 있다. 본 연구팀은 사지마비 환자의 손 움직임을 보조하는 소프트로봇 개발 과정에서손의 움직임과 자세를 측정할 수 있도록 하기 위하여 실리콘과 액체금속 기반의 스트레인 센서를 이용하여 손의움직임을 측정할 수 있는 웨어러블 장갑을 개발하고자 하였다. 환자들마다 서로 다른 손의 크기와 움직임의 형태를 정확하고 원활하게 측정하고 인식할 수 있도록 하기 위하여 비교적 낮은 성능의 MCU (Microcontroller unit) 에서도 동작할 수 있는 효과적인 캘리브레이션 방법을 고안하였고, 손 인식 과정에서의 오동작 또는 불필요한 인식 결과가 나타나는 것을 줄이기 위하여 신호의 노이즈를 감쇠시키는 방법을 고안하여 적용하였다. 본 연구팀이개발한 웨어러블 장갑을 이용한 손의 자세 및 움직임을 측정하는 기술은 실제 사지마비 환자에게 적용되었을 때소프트로봇의 동작 효과를 측정하거나, 소프트로봇의 작동을 모니터링하고 조정할 수 있는 과정에 효과적으로 사용될 것으로 기대되며, 나아가 손뿐만 아니라, 팔, 다리 등 다른 신체 부위에도 적용할 수 있으며, 소프트로봇의성능을 평가하는 평가 기술로도 활용될 수 있을 것으로 기대한다. 키워드: 센서 캘리브레이션, 노이즈 감쇠 알고리즘, 소프트로봇, 외골격로봇 Ⅰ. 서 론교통사고, 낙상 등에 의하여 중추신경계의 직접적인 손상을 받거나 상해 및 기타 유전적 요인 등에 의하여 말초신경계의 손상에 의해 사지의 운동기능이 마비된 환자들은 손상 또는 마비의 정도에 따라 움직임에 제한을 받거나 아예 신체를 움직일 수 없어 남은 평생을 누워서 지내게 된다.[1] 이러한 환자들은 자신의 의지대로 일상 생활을 영위할 수 없을 뿐 아니라 누군가의 도움 없이는 남은 여생을 보내기 힘든 상황에 처하기 때문에 삶의 질 저하는 물론 사회적, 의료적으로도 이들에 대한 도움의 방법이 필요하다. 신체 운동기능의 마비를 가진 환자들을 도울 수 있는 해결책으로 운동기능을 보조해 줄 수 있는 소프트로봇 (Soft Robot) 또는 외골격 (Exoskeleton) 로봇으로 부르는 신체 착용형 운동 보조 기기가 신체 마비환자들의 움직임을 복원하거나 보조해 줄 수 있는 방법으로 간주되고 있다.[2-9] 본 연구팀은 이러한 신체 마비 환자들의 손상되거나 상실된 운동기능의 보조 또는 복원을 위하여 착용형 형태의 운동보조기술을 연구하고 있으며, 그 중에서도 소프트로봇을 이용한 팔과 손의 움직임을 보조해 줄 수 있는 운동기능 보조 및 복원 기술에 주목하고 있다. 팔과 손의 움직임을 관할하는 척수신경이 손상될 경우, 환자는 팔과 다리 모두를 사용하지 못하는 전신마비 상태에 이르게 되는데, 이 환자들은 비교적 구조물의 크기가 크고 단단하며 무거운 형태의 외골격 로봇을 착용하기가 쉽지 않다. 또한 전신마비 환자들은 평생을 침대 위에 누워 있는 상태로 보내야 하는데, 이러한 구조물을 착용한 상태로 침대 위에 오래 누워있는다는 것 또한 환자들에게 있어 고통을 가중시키는 요인이 된다.[10] 2009년에 미국에서 진행된 연구에 의하면, 전신 마비 환자들은 신체의 다양한 운동 기능 중에서 손과 팔의 움직임을 되찾을 수 있기를 가장 희망하는 것으로 나타났다.[11] 따라서 본 연구팀은 마치 의복의 형태와 비슷한 연질성을 가지면서 환자에게 편안한 착용감을 제공할 수 있는 소프트로봇을 이용해 손과 팔의 기능을 복원하기 위한 기술 개발에 착수하였으며, 동시에 소프트로봇을 이용하여 손의 움직임을 조절할 때 소프트로봇의 움직임을 관찰하고 제어할 수 있도록 하기 위하여 손의 움직임과 자세를 측정할 수 있는 장갑형 웨어러블 센서를 개발하여 소프트로봇에 적용하고자 한다. 특히 본 연구팀이 개발하여 적용하고자 하는 웨어러블 장갑 센서는 환자에게 편안한 착용성을 제공하면서 최대한 단순하게 만들 수 있도록 하기 위하여 연질 실리콘과 갈륨-인 (GaI) 액체 금속으로 이루어진 스트레인 센서를 장갑에 적용하여 손의 움직임과 자세를 측정할 수 있도록 고안하였고, 이 과정에서 본 연구팀의 스트레인 센서 기반 웨어러블 장갑은 범용성과 정밀성 이 두 가지 측면에서의 해결 과제가 존재한다는 것을 인식하였다. 첫 번째로 본 연구팀이 제시할 스트레인 센서 기반 웨어러블 장갑은 대량 생산을 통한 수요자의 접근성 향상을 위하여 서로 다른 손의 크기에도 정확히 손의 움직임을 측정하고 전달할 수 있어야 할 것이다. 또 두 번째로는 스트레인 센서 자체는 노이즈에서 비교적 자유로운 특성을 가지고 있으나[12,13], 센서에서 읽어들인 신호가 증폭기와 ADC (Analog to Digital Converter) 를 거치면서 원치 않은 노이즈가 발생할 수 있으므로 센서의 민감도를 최대한 유지하면서도 노이즈 발생을 최소화함 으로써 최대한 안정적이고 정밀한 손 움직임을 측정할 수 있어야 할 것이다. 따라서 본 연구팀은 상기 두 가지의 과제 해결을 위하여 사용자마다 서로 다른 손의 크기에 맞출 수 있도록 캘리브레이션 (Calibration) 기법을 개발하고, 불필요한 센서의 반응을 최대한 억제하여 노이즈 발생을 최소화하기 위한 필터 알고리즘을 센서 시스템에 적용하기 위한 연구를 진행하였다. 본 연구 논문에서는 상기 두 가지 기법을 통하여 범용성과 정밀도가 높은 웨어러블 장갑을 구현하는 과정을 다룰 것이다. Ⅱ. 본 론2.1 손의 움직임 측정을 위한 웨어러블 장갑 센서 구성본 연구에서 사용한 웨어러블 장갑은 총 10개의 탄성과 회복력이 좋은 스트레인 센서가 내장되어 있는 형태로 구성되어 있다. 웨어러블 장갑에 사용되는 스트레인 센서는 HiFlex 제품으로 10mm 폭과 1mm의 두께를 지닌 센서로, 장갑 내에서 손가락 끝에서부터 손가락 전체를 덮는 길이의 센서와 손가락 두 번째 마디에서 손가락 끝 까지를 덮는 길이의 센서 두 개가 하나의 묶음이 되어 5개의 손가락 위치에 위치하도록 만들어져 있다. 이 스트레인 센서의 실리콘 재질 내부에 만들어진 미세 전극 패턴 속에 액체 상태의 갈륨-인 금속 화합물이 채워져 있는 형태로 만들어져 있다. 실리콘 재질의 센서 몸체가 당김힘에 의해 늘어나게 되면 액체금속 화합물의 형태 변화를 통하여 센서 내부에서 측정되는 저항값이 변화하게 되고, 이것을 읽어서 센서의 포지션 또는 늘어남과 줄어듦을 인식할 수 있다. 이렇게 이루어진 스트레인 센서를 각각 그림 1과 같은 형태로 손가락에 배치하였고, 각 센서는 손가락 끝 마디 관절과 중간 관절의 각도 변화를 측정할 수 있도록 구성하였다. 그림(Fig.) 1. 웨어러블 장갑에 내장된 스트레인 센서의 배열과 센서 번호. A는 센서의 배열을, B는 센서의 번호를 나타낸다 (Locations (A) and numbers (B) of strain sensors in a wearable glove) ![]() 2.2 센서 측정 및 전송을 위한 시스템 구성스트레인 센서에서 생성된 저항값의 변화를 측정하여 전송하기 위하여 웨어러블 장갑은 위 그림 2의 형태로 구성된 시스템에 연결하였다. 시스템상에서 10개의 스트레인 센서는 MUX (Multiplexer) 에 의해 스위칭될 때마다 전력을 공급받으며 MUX, 증폭기, ADC와 MCU 모두 하나의 시스템으로 이루어져 있어 동일한 전원 소스에 연결되도록 설계하였다. 저전력 시스템 구현을 목표로 하였으며 센서에서 전달되는 신호 크기는 약 100mV 정도의 크기를 지니고 있어 증폭기에서 이를 적절히 증폭한 후 ADC에서 이진 데이터로 변환할 수 있도록 하였다. 그림(Fig.) 2. 웨어러블 장갑의 스트레인 센서 데이터를 PC로 전송하는 시스템 개요 (A schematic diagram of a system connected to 10 sensors in a wearable glove) ![]() 2.3 측정된 데이터의 시각화 구성스트레인 센서를 통하여 측정된 디지털 데이터를 이용하여 시각적으로 센서의 변화를 확인하여 센서 데이터가 증폭기의 적정 범위 내에서 증폭되는지를 확인하기 위하여 다음과 같은 형태로 센서의 데이터를 실시간으로 확인할 수 있도록 구성하였다. 상기 시각화 형태는 MCU에서 전달되는 데이터를 아두이노의 시리얼 모니터상에서 시현되도록 하였고, 각 센서에 따라 색을 다르게 처리하여 센서별 측정 데이터값의 변동을 실시간으로 확인할 수 있도록 하였다. (그림 3) 그림(Fig.) 3. A는 손을 편 상태, B는 손가락 끝 마디만을 구부린 상태, C는 주먹을 쥔 상태에서 측정된 센서 데이터 그래프 (Examples of real-time plotting of sensor signals. A : full open of a hand, B : bending the ends of each fingers and C : making fist of a hand) ![]() 2.4 센서 캘리브레이션 기본 알고리즘웨어러블 장갑을 사용하게 될 사용자에게 맞도록 센서의 응답 범위와 증폭 비율을 조정하기 위한 캘리브레이션 과정은 다음의 방법과 같이 진행되도록 구성하였다. 실험자가 웨어러블 장갑을 착용하고 증폭기의 증폭률 (Gain)을 0-255 (0일때의 출력값을 초기값-Base-로 표현) 단계로 순차적으로 상승시키면서 웨어러블 장갑 시스템에서 출력된 데이터를 확인하여 최적의 증폭률을 찾아 설정한다. 매 증폭률 상승 구간마다 주먹을 쥐었다 펴는 동작을 반복함으로써 (그림 4) 증폭기의 증폭률 상승을 통해 스트레인 센서에서 출력되는 응답 신호의 변화를 비교하고 손을 폈을 때와 손을 쥐었을 때 ADC에서 출력되는 값의 변화폭을 distance로 분류하여 이 distance가 ADC 신호 인식 범위 내에 존재하도록 최적의 증폭률을 설정한다. 다만 이렇게 할 경우, 증폭률을 0에서부터 255까지의 단계로 증가시키면서 센서의 모든 데이터를 수신받아 저장한 후 처리하기 위해서는 본 연구팀이 적용한 센서 데이터 전송 시스템이 작동을 멈추거나 처리에 지연이 생기는 등의 MCU 성능이 제한되는 것이 발견되었다. 이 과정에서 얻어지는 데이터의 개수는 대략 65만 개 상당으로, MCU의 성능을 제한하지 않으면서 메모리 등의 저장 과정의 효율성을 꾀하기 위하여 이 과정을 좀 더 단순화시켰다. 그림(Fig.) 4. 웨어러블 장갑을 착용한 상태에서 주먹을 완전히 쥐었다 완전히 펴는 동작을 반복하며 캘리브레이션을 수행한다 (An example of calibration. While repeating making a hand open and fist, calibration phase was carried on) ![]() 2.5 캘리브레이션 단순화를 위한 방법 개선상기 4절에서 언급했던 것처럼, 웨어러블 장갑의 센서 신호를 측정하여 출력해 줄 시스템의 MCU에 부담이 덜 가해지도록 하기 위하여 센서 데이터를 측정하고 저장하는 과정과 각 데이터를 비교하는 과정을 조금 더 간단히 할 수 있도록 단순화된 캘리브레이션 알고리즘을 구상하였다. 위 그림 5는 단일 스트레인 센서에서 주먹을 쥐었다 펴는 과정에서 수집된 센서 신호의 예시를 나타낸 것이다. 본 연구팀은 센서 캘리브레이션 과정을 단순화할 수 있도록 하기 위한 센서 반응의 특징성을 추출하고자 하였는데, 센서들에서 수집된 신호를 통하여 일관적인 특성이 있음을 확인하였다. 상기 그림 6은 장갑의 상태를 고정해두고 30분간 센서 데이터를 기록한 후, 기록된 신호의 평균 신호 레벨과 이를 중심으로 한 센서 신호 레벨의 변동폭을 나타낸 것이다. 그림(Fig.) 5. 주먹을 쥐었다 펼 때 나타나는 센서 신호의 변화. 그림은 5번 센서에서 측정된 신호의 일부를 예시 형태로 나타낸 것이다 (Changes of sensor output signals when an experimenter closed and opened his one hand while wearing wearable glove. This picture taken from No.5 sensor) ![]() 그림(Fig.) 6. 웨어러블 장갑을 착용하지 않은 상태에서 나타나는 시스템의 기본 노이즈 레벨 (Baseline sensor signal obtained from each sensors without any movement) ![]() 막대 그래프는 각 센서에서 얻어진 센서 신호의 30분간 평균값을, 에러바는 각 센서에서 나타난 신호의 최대 변동폭을 표시하였다. 그림 6에서 확인될 수 있는 것처럼 웨어러블 장갑을 착용하지 않은 상태에서 그대로 고정시켜 둔 뒤 약 30분간 센서에서 측정된 신호를 확인했을 때 센서에서 출력되는 신호값이 평균값을 중심으로 일정 범위 내에서 지속적으로 변화하는 것을 확인할 수 있었다. 또한 센서에 따라서 이 값이 서로 다르게 출력됨을 확인할 수 있었다. 따라서 센서 각각에서 얻어진 신호 레벨 및 신호 레벨을 중심으로 한 변동 구간을 어떤 자세에서도 나타날 수 있는 신호의 노이즈 레벨로 파악하고, 이 범위를 넘어가는 신호 변화가 발생하는 순간을 장갑 착용자의 손이 움직이는 순간으로 인식하도록 설정하였다. 이 특징을 근거로 하여 손의 움직임이 실제로 발생하는 신호 구간만을 인식하여 잘라낸 뒤 캘리브레이션 과정에 사용하도록 하였다. 이 과정을 통하여 저장된 데이터의 개수를 줄이고, 캘리브레이션 알고리즘이 데이터를 좀 더 효과적으로 비교할 수 있도록 하였다. 각 0-255 단계의 증폭률에 따라 얻어진 간소화된 데이터에서 distance 값을 추출한 뒤, distance 값이 증폭기의 증폭 한계치 내에 존재할 때 최적의 캘리브레이션 조건을 만족한 것으로 판단하고 해당하는 증폭률을 사용하도록 증폭률을 반환하도록 하였다. 이를 통해 본 연구팀이 사용한 MCU의 성능 및 메모리의 제한에 구애받지 않고 캘리브레이션을 진행할 수 있도록 하였다. 2.6 센서 신호의 노이즈 감소를 위한 알고리즘 구현웨어러블 장갑의 스트레인 센서를 이용하여 손의 움직임을 측정할 때 불필요한 노이즈에 의한 간섭 및 자세 오인을 방지하기 위하여 본 연구팀은 스트레인 센서에서 출력되는 신호 데이터의 노이즈를 감쇠시키기 위한 방안으로 노이즈 저감 알고리즘을 구현하였다. 먼저 본 연구팀이 최종적으로 고안한 노이즈 저감 알고리즘을 적용하기에 앞서, 저역통과 필터와 칼만 필터를 적용하였을 때, 저역 통과 필터에서는 약 0.17초 (그림 7)의 신호 출력 지연이 발생하는 것을 확인하였다. 또한 착용자가 웨어러블 장갑을 착용한 후 천천히 손을 쥐었다 펼 때와 빠르게 손을 쥐었다 펼 때의 출력 신호의 형상 (위 그림 7의 Slow 부분과 Fast 부분)에 매우 큰 차이를 보이고 있음을 확인하였다. 그 다음으로는 칼만 필터를 적용하였을 때 역시 필터 처리된 신호의 출력 지연이0.2초 가량 발생하는 것을 확인하였다. (그림 8) 칼만 필터를 적용했을 때 역시 위 그림 8 과 동일하게 착용자가 웨어러블 장갑을 착용한 상태에서 손을 천천히 쥐었다 펴거나 빠르게 쥐었다 펼 때 출력되는 신호의 크기에 상당한 차이가 있어 저역통과 필터는 물론 칼만 필터를 본 시스템에 적용하기에는 적합하지 않은 것으로 판단하였다. 따라서 본 연구팀은 아래 그림 9에서 대략적으로 설명하고 있는 것과 같이 신호 구간을 일정 간격의 윈도우로 분할하여 평균하는 평균 필터(Mean filter) 방법을 적용하고자 하였다. 본 연구팀이 고안한 노이즈 저감 알고리즘은 그림 9와 같이 일정 시간 구간을 정하여 각각의 윈도우로 분리한 뒤, 지속적으로 다섯개의 윈도우에서 수집된 신호를 평균하는 것으로, 시간적인 해상도를 일부 낮추는 다운샘플링의 효과를 내지만 랜덤하게 발생할 수 있는 노이즈를 감소시킬 수 있을 것으로 기대하였다. 그림(Fig.) 9. 센서 신호의 노이즈를 완화시키기 위한 알고리즘 구성 모식도 (A schematic diagram describing about noise reduction algorithm) ![]() 평균 필터를 적용하여 앞선 두 종류의 필터를 적용한 것과 동일하게 필터 처리가 되지 않은 원 신호 (Raw data) 와 필터 처리가 된 신호를 측정하여 그래프화 한 결과 그림 10과 같은 형태의 결과를 얻었다. 두 신호간의 지연 시간은 0.03초 미만으로 측정되었고, 주먹을 천천히 쥐었다 펴거나 빨리 쥐었다 펴더라도 신호의 왜곡이 일어나지 않았다. 지연 시간의 경우, 데이터 상으로는 거의 동일하게 측정되나, 데이터를 시각화 하면서 동시에 파일로 저장하기 위해 사용한 UNITY의 시각화 표시의 최소 해상도가 0.03초로 측정되어 0.03초 미만으로 정의하였다. 2.7 캘리브레이션 결과본 연구팀이 고안한 캘리브레이션 방법에 의하여 웨어러블 장갑의 스트레인 센서에서 중폭기를 거쳐 출력되는 신호의 특성을 조정한 결과 아래 그림 11과 같은 형태의 시각 데이터를 획득하였다. 그림(Fig.) 11. 캘리브레이션 전, 후 비교. A는 캘리브레이션을 적용하기 전, B는 캘리브레이션을 적용한 후 (Results of calibration. A shows signals without calibration (raw data) and B shows calibrated data.) ![]() 그림 11A는 캘리브레이션을 진행하기 전 아무런 처리를 하지 않은 상태에서 얻어진 웨어러블 장갑의 움직임 측정 신호 파형으로, 신호가 출력 범위 내에 정상적으로 위치하지 못하고 증폭기의 한계를 벗어나 정상적인 센서 데이터 측정이 불가능한 것을 볼 수 있다. 이 상태에서 본 연구팀의 방법론에 의하여 캘리브레이션을 진행한 결과, 그림 11B에서 볼 수 있는 것처럼 ADC 출력 데이터상에서 0-2500 내의 범위 사이에 웨어러블 장갑 센서의 출력 신호가 위치하도록 조정된 것이 확인되었다. 다양한 손 동작의 측정 가능성을 확인하기 위하여 웨어러블 장갑을 손에 착용한 상태에서 손을 편 상태 (그림 12A), 손가락 끝 마디를 꺾은 상태 (그림 12B), 주먹을 쥔 상태 (그림 12C) 세 가지 동작을 측정하였을 때 센서에서 출력되는 신호의 형태가 각각 정상 범위 내에서 분류할 수 있도록 출력되는 것을 확인하였다. 그림(Fig.) 12. 캘리브레이션을 적용한 후 A는 손을 완전히 편 상태, B는 손가락 끝 마디만을 구부린 상태, C는 주먹을 완전히 쥔 상태 (. Sensors’ signals which were applied calibration. A is when an experimenter opened his one hand, B is bending his end of each fingers and C is fully closing his one hand) ![]() 2.8 노이즈 감쇠 결과본 연구팀이 고안한 노이즈 감쇠 알고리즘을 통하여 스트레인 센서에서 출력되는 신호의 노이즈 감쇠 및 신호의 안정도 효과가 나타났는지를 확인하기 위하여 웨어러블 장갑을 착용하지 않은 상태로 둔 뒤 형태가 유지되도록 하고 노이즈 처리 전과 노이즈 처리 후로 나누어 각각 30분간 신호를 측정하여 저장하였다. (그림 13) 위 그림 13의 막대 그래프는 각 센서별로 노이즈 처리를 하기 전과 노이즈 처리를 적용한 후의 30분간 측정된 데이터 전체의 평균값을 의미하며, 에러바는 각 센서에서 나타난 신호의 최대 변동폭을 표시 하였다. 그 결과, 본 연구팀이 고안한 노이즈 감쇠 알고리즘을 통하여 웨어러블 장갑에서 측정된 센서 신호 데이터를 처리하였을 때, 전체적으로 출력되는 출력 데이터 값의 레벨이 낮아지는 것과 동시에 신호의 변화 폭이 동시에 줄어드는 것을 확인하였다. 노이즈 감쇠 처리를 하지 않은 상태에서 얻어진 각 스트레인 센서의 신호 레벨의 평균은 최소 483.6 에서 최대 1351.4 였으며, 평균 레벨을 중심으로 한 신호의 변동폭은 센서에 따라 최소 ±17 에서 최대 ±256 으로 나타났다. 반면에 노이즈 처리를 한 뒤에 얻어진 센서 신호의 평균값은 최소 157.8 에서 최대 603.5 로 나타났으며 이 평균 레벨을 중심으로 한 신호의 변동폭은 센서에 따라서 최소 ±42 에서 최대 ±93 으로 레벨의 크기와 변동폭이 감소한 것으로 나타났다. 그림(Fig.) 13. 센서 신호의 노이즈 처리를 하기 전과 노이즈 처리를 적용한 후의 신호 레벨 비교 (Comparison of sensors’ signals without noise reduction and with noise reduction) ![]() 따라서 노이즈 감쇠 효과를 조금 더 확인하기 위하여 손을 쥐었다 펴는 동작을 통해 노이즈 감쇠 알고리즘 처리 전 후의 데이터를 비교해 본 결과 전체적으로 출력 신호의 변동폭이 줄어들고 일정해진 것을 확인하였다. 2.9 고찰서론에서 전술한 바와 같이 본 연구팀은 사지의 운동기능이 소실된 사지 마비 환자의 운동기능을 복원하기 위한 기술의 개발을 수행하고 있으며, 이 과정에서 사지마비 환자들의 손 움직임을 복원하거나 보조하는 소프트 로봇의 개발을 진행하고 있다. 본 연구팀이 소프트로봇의 개발을 목표로 하는 이유는 부분마비 환자와 다르게 사지마비 환자는 자력에 의해 기립하거나 몸의 움직임을 만들어 낼 수 없기 때문에 일생을 침대에 누워 있어야 하는 이유로 환자들에게 편안한 착용감을 제공할 수 있어야 한다고 보았기 때문이다. 이 과정에서 소프트로봇에 의해 사지마비 환자의 손 움직임을 보조하거나 복원할 수 있는 기술이 실제 환자에게 적용되었을 경우, 소프트로봇의 효과를 측정하고 이를 조정할 수 있도록 하기 위하여 손의 움직임을 측정할 수 있는 방법의 개발이 필요해지게 되었다. 따라서 이 역시도 사지의 운동기능이 완전히 소실된 환자들에게 편안한 착용감을 줄 수 있도록 하기 위하여 웨어러블 장갑 형태의 손 움직임 측정 기술 방법을 고안하게 되었으며, 최대한 구조물을 단순화시켜 환자에게 최대한 편안함을 줄 수 있도록 하고자 하였다. 따라서 본 연구팀은 환자의 손 움직임을 측정하는데 있어서 기존에는 각도를 측정하는 용도로 사용되지 않았던 스트레인 센서를 이용해 환자의 손 움직임을 측정하고자 하였다. 본 연구팀이 사용한 스트레인 센서는 센서가 가진 인장력에 의해 센서가 늘어나거나 줄어들 때 내부의 액체 금속의 반응을 변화시켜 저항값의 변화를 출력하므로, 이를 활용하여 손가락의 굽힘과 폄, 손의 쥠과 폄을 측정할 수 있을 것으로 기대하였다. 다만 스트레인 센서를 이용하여 손의 움직임을 측정하기 위하여서는 센서에서 출력된 신호를 ADC에서 받아들일 수 있는 최적의 형태로 증폭하여 전달하여야 하는데, 장갑을 착용하는 착용자마다 손의 크기가 다르고 손가락의 길이도 동일하지 않은 등, 착용자에 따른 차이가 있어 착용자에게 맞는 적절한 증폭률을 선정해 출력 신호의 범위를 조정하는 캘리브레이션 과정이 필요하였다. 최초 본 연구팀이 적용한 캘리브레이션 과정은 일반적인 캘리브레이션 방법과 같이 일일이 증폭기의 증폭률을 순차적으로 조정하면서 적절한 증폭 범위를 찾아내는 방법이었으나, 이 과정을 적용했을 때 본 연구팀이 데이터 전송 모듈에 사용한 MCU의 처리 한계를 벗어나 정상적인 동작을 하지 않거나 시간이 많이 걸리는 한계가 존재하였다. 따라서 손을 완전히 편 상태와 손을 완전히 쥔 상태에서 측정된 신호의 특징을 분석하여 ADC 출력값 기준 센서에 따라 483.6 ~ 1351.4 사이에서 변동하는 것을 확인하였고, 이를 기준으로 하여 손을 쥐었다 펴는 동작을 하는 구간만을 인식해 전송하여 처리할 수 있도록 하였다. 이를 통하여 MCU의 성능 제한을 받지 않으면서 비교적 효율적이고 빠르게 캘리브레이션이 끝날 수 있도록 하였다. 그림 11에서 볼 수 있는 것과 같이 본 연구팀이 사용한 스트레인 센서를 통해 얻어지는 특정 손동작의 신호 변화는 대체로 일관적인 양상을 보임을 확인하였고, 실제 캘리브레이션을 진행하였을 때 그림 12에서 볼 수 있는 것처럼 손동작 측정 데이터가 원활한 움직임 측정을 수행할 수 있는 증폭 이득 출력 범위 내에 존재함을 확인하였다. 이를 통하여 본 연구팀은 정확도를 지니면서도 MCU의 성능 처리에 부담을 줄여주면서 동시에 줄어든 데이터의 양으로 인해 상대적으로 빠른 시간 안에 사용자에게 맞는 움직임 측정 성능을 제공하는 웨어러블 장갑의 캘리브레이션 알고리즘을 도출할 수 있게 되었다. 특히 이는 사용자 맞춤형 웨어러블 장갑을 각각 제작하지 않고도 캘리브레이션만으로 장갑의 사용성을 확보할 수 있음으로써 실제 기술의 상용화 가능성을 높일 수 있는 강점으로 작용할 것이라고 기대된다. 다음으로 본 연구팀은 손 동작을 안정적으로 측정할 수 있으면서도 측정의 정확도를 높이기 위하여 노이즈 감쇠 알고리즘을 적용하고자 노이즈 감쇠를 위한 방법을 고안하였다. 먼저 센서 신호를 후처리하지 않은 상태의 원 신호 (raw data) 상태에서 UNITY를 이용해 손의 동작을 측정해 시각화된 영상으로 확인하였을 때, 실제로는 착용자의 손이 움직이지 않아도 시각화 영상 속에서는 손이 빠르고 미세하게 떨리는 것으로 나타났다. 웨어러블 장갑을 착용하지 않은 채, 장갑이 움직이지 않도록 고정한 상태에서 센서 신호를 측정하여 확인해 본 결과 그림 13에서 볼 수 있는 것처럼 전체적인 신호 출력 레벨이 노이즈 처리를 적용한 후에 비해 높으면서, 신호의 평균값을 중심으로 한 변동폭이 현저히 높다는 것을 발견하였다. 따라서 신호의 높은 변동폭에 의해 손의 움직임이 일어나지 않아도 시각화 결과물에서 나타나는 손 측정 데이터는 지속적으로 손이 떨리거나 움직이는 것으로 나타나는 것을 알 수 있었다. 이러한 현상에 대하여 본 연구팀은 두 가지로 노이즈 발생의 원인을 가정하였다. 첫번째로 본 시스템은 추후 사지마비 환자에게 입혀질 소프트로봇 의류에 배터리와 함께 장착될 것이기 때문에, 필요한 배터리의 크기를 줄여 환자에게 주어야 할 부담을 줄여야 한다. 따라서 시스템 전체가 매우 적은 전력 소모량을 기반으로 동작할 수 있도록 설계하였기에 각 스트레인 센서에서 출력되는 신호 레벨은 100mV 수준의 신호 레벨을 지니고 있다. 이것을 ADC에서 적절히 인식할 수 있도록 하기 위하여 증폭기를 이용해 증폭하는 과정에서 노이즈가 발생할 수 있을 것으로 가정하였다. 두번째로는 각 스트레인 센서는 지속적으로 전원을 공급받지 않고 전력 소모량을 줄이기 위해 MUX가 스위칭을 할 때마다 전원이 연결되고 이에 따른 센서의 상태값을 출력한다. 따라서 스위칭 과정에서 전원 노이즈가 발생할 수 있을 것으로 가정하였다. 따라서 위의 두 가지 가정으로 미루어 보았을 때 웨어러블 장갑에서 나타나는 노이즈와 이로 인해 시각화 화면에서 나타나는 지속적인 떨림은 센서 그 자체의 노이즈라기보다는 랜덤하게 시스템 상에서 발생하는 노이즈로 인한 것이라는 판단을 하게 되었다. 또한 Jean-Baptiste Chossat et. al. 과 Hamid Souri et. al. 의 스트레인 센서를 이용한 연구들에서 스트레인 센서를 이용하는 이유 중 하나로 센서 자체의 노이즈가 기존의 다른 센서에 비해 줄어든다는 것을 장점으로 이야기하고 있는 것과 같이[12,13] 스트레인 센서는 기계적인 형태의 센서가 아니므로 스트레인 센서 자체에서 노이즈가 발생할 것으로 간주하지는 않았다. 따라서 시스템의 기본 노이즈 레벨을 확인하고자 그림 6에서 볼 수 있는 것처럼 웨어러블 장갑을 움직이지 않도록 그대로 둔 상태에서 30분간 각 스트레인 센서의 신호를 측정하였으며, 이를 토대로 시스템에서 발생하고 있는 것으로 보이는 노이즈 레벨 수준을 확인하였다. 이렇게 노이즈 레벨을 확인한 후, 노이즈를 감소시켜 안정적인 손 움직임 및 자세의 측정을 위해 측정된 센서 신호에 저역 통과 필터와 칼만 필터를 적용하여 보았으나 이 경우 필터 처리 과정에서 각각 0.17초, 0.2 초의 신호 지연이 발생하였고 (그림7, 그림8), 장갑 착용자가 주먹을 천천히 쥐었다 펼 때와 빠르게 쥐었다 펼 때 필터가 적용되어 출력되는 신호의 크기에 상당한 왜곡이 발생하는 것을 확인하였다 (그림 7, 그림 8). 본 연구팀의 웨어러블 장갑은 사지 마비 환자의 운동보조를 수행해 줄 소프트 로봇에 연계됨과 동시에, 뇌-기계 접속 기술을 통하여 환자의 의도 또는 팔을 움직이고자 하는 의도를 분석하는 데에도 사용될 예정이기 때문에 뇌-기계 접속 기술을 통해 얻어질 신경신호의 측정 결과와 동일한 타이밍을 제공할 수 있어야 했다. 따라서 저역 통과 필터와 칼만 필터를 적용하는 것은 적절하지 않다고 판단하였다. 따라서 상술한 목적에 최대한 부합할 수 있도록 하기 위하여 평균 필터 방법을 차용하여 노이즈 감쇠 알고리즘을 구현하였다. 본 연구팀이 평균 필터 방법을 이용하여 고안한 노이즈 감쇠 방법은 순차적으로 입력되는 데이터를 동일한 시간 간격 (윈도우) 으로 나누어 최근 5개의 윈도우 데이터를 평균한 뒤, 평균한 값을 출력하는 방법이다. 따라서 이 방법은 다른 측면에서 볼 때 시간적 해상도를 일부 낮추는 효과를 가져올 수 있기 때문에 사람의 손 동작을 측정하는 데 기민하게 반응하지 않을 수 있는 약점을 나타낼 수 있다. 이러한 부분을 확인하기 위하여 오실로스코프를 이용하여 MUX에서 출력되는 데이터와, MCU 상에서 평균 필터가 적용된 후 데이터가 출력되기까지의 시간 간격을 측정해 본 결과 평균 필터를 적용하지 않았을 때에는 6ms 의 시간 차이가 발생했던 것이 평균 필터를 적용하였을 때에는 15ms 로 9ms 증가한 것으로 나타났다 (그림 9). 사람의 손이 움직이는 시간적인 속도는 센서가 데이터를 수집하는 속도보다 현저히 느리다. 본 연구팀이 센서 신호를 측정하여 전송하는 시스템의 최대 시간적 해상도가 15ms 인데 반해, 사람의 신경신호 반응속도는 최대 약 100ms 정도로, 육상 경기에 참가하는 세계적인 육상선수들의 신경신호 반응속도가 통상적으로 100ms 보다 느리게 나타나기 때문에, 이로 인하여 육상 경기에서 부정 출발을 인식하는 기준은 출발 총성이 울린 후 육상 선수가 100ms 내에 출발했을 때를 기준으로 한다.[14] 따라서 본 연구팀이 적용한 평균 필터 방법은 일종의 시간적 다운샘플링 효과를 만들어 내기는 했으나, 사람의 반응속도보다 최대 7배 가까이 매우 빠르며, UNITY를 통해 시간적 지연을 측정하였을 때 결정한 0.03초를 놓고 비교하더라도 100ms 에 비해 현저히 낮다는 것을 알 수 있다. 게다가 본 연구팀이 목표로 하는 사지마비 환자의 경우에는 이보다 더 늦은 반응속도와 더 늦은 손의 움직임 보조가 수행될 것이기 때문에 평균 필터 방법을 적용했을 때 나타나는 시간적 해상도의 저하는 사지마비 환자의 손 동작과 자세의 측정에 있어 적절할 것으로 판단된다. 이렇게 적용한 평균 필터 방법에 의한 노이즈 감소 효과를 측정하고 비교하기 위하여 본 연구팀은 웨어러블 장갑이 움직이지 않도록 고정한 상태에서 30분간 센서 데이터를 측정, 저장하였다. 이렇게 한 이유는 상술한 바와 같이 노이즈가 센서 그 자체에서 발생하기보다는 소전력으로 작동하는 부분과 MUX 스위칭으로 인해 무작위로 일어나는 노이즈라고 판단하였기 때문이다. 따라서 손을 움직이지 않고 시스템 그 자체에서 나타나는 노이즈 레벨의 범위를 확인하고자 하였다. 그 결과, 신호처리 전의 원 신호(Rawdata) 대비 최소 7%에서부터 최대 82%까지 신호 레벨을 낮출 수 있었고, 전체 센서에서 확인된 신호 레벨 감소 효과의 평균은 55%였다. 동시에 노이즈로 작용하는 신호의 변화 폭은 최소 61%에서 최대 79%까지 변동폭을 감소시킬 수 있었으며, 이 역시 평균적으로 72%의 노이즈 감쇠 효과를 얻어낼 수 있었다. 따라서 시각화 화면에서도 손의 불규칙한 떨림이 상당히 완화되어 부드러운 움직임을 표시할 수 있게 되었다. (표1) 표(Table) 1. 노이즈 감소 알고리즘 적용 전과 후의 센서 신호 비교 (Comparison of acquisition signal changes by noise reduction algorithm)
Ⅲ. 결 론본 연구팀은 사지마비 환자의 손 움직임 보조를 위한 소프트로봇 개발에 있어 사지마비 환자의 손 움직임과 자세를 측정하여 소프트로봇의 작동을 모니터링하고 소프트로봇의 효과를 측정하며 소프트로봇의 동작 상태를 조정할 수 있도록 하기 위한 손 동작 인식용 웨어러블 장갑을 개발하고 이를 통해 손 동작을 실제로 측정할 수 있는 기술을 개발하고자 하였다. 웨어러블 장갑을 이용해 착용자의 손 크기와 움직임에 맞도록 센서의 응답 패턴을 조정하여 최적화는 캘리브레이션 알고리즘을 적용하였고, 센서에서 출력되는 신호의 노이즈를 감쇠시켜 자세 또는 동작의 오인식을 줄이고 동작 인식 및 시각화 시현을 위한 정확도를 향상시킬 수 있도록 하였다. 이 과정을 통하여 본 연구팀은 손 동작 인식을 위한 웨어러블 장갑을 개발하는 과정에서 범용성과 정확성을 확보할 수 있었다고 사료된다. 사용자에게 맞춘 장갑을 제작하는 것이 아닌, 만들어져 있는 장갑에 사용자의 손 특성을 맞추도록 캘리브레이션함으로써 기술의 상용화와 대량 생산에도 대응할 수 있고자 하였고, 캘리브레이션 과정을 단순화함으로써 사용자에게 편리한 사용성을 제공하고자 하였다. 또한 본 연구팀이 구현한 노이즈 감쇠 알고리즘은 사지마비 환자는 물론, 임상의나 엔지니어가 웨어러블 장갑의 상태를 확인하고, 웨어러블 장갑을 통해 모니터링되는 소프트 로봇의 작동 상태를 즉각적으로 확인할 수 있도록 하여 효과적인 운동기능 보조 또는 복원 기술의 개발과 적용을 가능하게 할 것으로 사료된다. 나아가 이렇게 개발된 웨어러블 장갑을 활용한 손 동작 인식 기술은 사지마비 환자의 손 뿐만 아니라 팔, 다리, 발 등 다른 신체 부위에도 적용할 수 있고, 소프트로봇의 성능 측정을 위한 성능 평가 방법으로 활용될 수 있을 것으로 기대한다. BiographyBiographyBiographyBiographyReferences
|
StatisticsCite this articleIEEE StyleK. Lee, J. Kim, G. Sacarelo, Y. Won, "Development of Calibrating and Noise Reduction Methods for Recognizing Hand Movement or Positions Using a Soft Wearable Glove," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 4, pp. 601-611, 2024. DOI: 10.7840/kics.2024.49.4.601.
ACM Style Kangho Lee, Jinhyung Kim, Gerardo Sacarelo, and Yun-Jae Won. 2024. Development of Calibrating and Noise Reduction Methods for Recognizing Hand Movement or Positions Using a Soft Wearable Glove. The Journal of Korean Institute of Communications and Information Sciences, 49, 4, (2024), 601-611. DOI: 10.7840/kics.2024.49.4.601.
KICS Style Kangho Lee, Jinhyung Kim, Gerardo Sacarelo, Yun-Jae Won, "Development of Calibrating and Noise Reduction Methods for Recognizing Hand Movement or Positions Using a Soft Wearable Glove," The Journal of Korean Institute of Communications and Information Sciences, vol. 49, no. 4, pp. 601-611, 4. 2024. (https://doi.org/10.7840/kics.2024.49.4.601)
|