- 이승현 ([email protected])
- 홍민기 ([email protected])
- 신연순 ([email protected])
우리 사회가 고령화시대로 접어들면서 낙상은 매우 심각한 사회문제가 되고 있으며 정확한 낙상 감지 기술의 수요도 늘고 있다. 본 연구는 웹 캠을 이용한 개선된 낙상감지 기법을 제안한다. 제안하는 기법은 RGB영상을 기반으로 스켈레톤 포즈 추출, 데이터 가공, GRU 신경망 알고리즘을 적용한 개선된 낙상 감지의 과정이 포함된다.
현대사회는 고령화가 진행 중이며, [1]에 따르면 한국의 고령 인구 비율은 2025년에는 20%를 넘어설 것으로 예상된다. 이와 함께 65세 이상 노인들 중 낙상 사고가 높은 비율로 발생하고 있으며, 이로 인해 심각한 부상과 치료가 필요한 경우가 많다. 낙상은 65세 이상 노인에서 주요한 사망 원인 중 하나이며, 고령 인구가 증가하면서 이 문제는 더욱 심각해질 것으로 예상된다. 따라서 정확한 낙상 감지 기법이 필요하다.
[2]와 [3]는 외부 센서를 사용하여 낙상 감지를 수행하였다. [2]는 압력센서를 사용하여 낙상을 예측하고, [3]은 웨어러블 센서를 사용하여 낙상을 예측한다. 이러한 낙상 감지 기법들은 사용자에게 추가적인 장치를 필요로 하게 하며, 오작동과 기기의 충전 등 불편한 요소가 존재한다. [4]는 낙상 감지에 관한 기술로서, 자세 센서와 인간 스켈레톤 데이터를 종합적으로 활용하여 Gradient Boosting Decision Trees(GBDT) 알고리즘을 기반으로 한 낙상 감지 시스템을 제안한다. 해당 연구 결과는 종합 데이터를 사용하여 높은 정확도를 제공하지만, 고급 하드웨어 센서를 필요로 한다. [5]는 사람 골격 데이터와 낙상 감지 분류를 위한 GRU 신경망 기법을 적용한 낙상 감지 방법을 제시하였다. 하지만 실험 환경이 단순하여 실제 환경에도 낙상 감지 정확도를 유지하기 어렵다는 문제가 있다.
본 연구에서 제시하는 낙상 감지 시스템은 웹 캠을 활용하여 촬영한 영상정보를 이용한다. 확보한 RGB 영상에서 스켈레톤 좌표를 추출하여 데이터셋을 구성한다. 이 데이터를 이용하여 GRU를 기반으로 하는 낙상감지 알고리즘을 학습하고 검증한다.
본 연구가 제안하는 개선된 낙상 감지 기법의 아키텍처는 Fig. 1과 같으며 총 4단계로 구성된다.
- PoseNet을 사용해 영상으로부터 스켈레톤 관절 좌표를 추출한다. 스켈레톤 관절 좌표는 Fig. 2와 같이 구성된다.
- R값(인체 경계 박스의 너비를 높이로 나눈 값), HSSC값(머리-어깨 뭉치의 상하 움직임 속도), Overlap값(머리-어깨 뭉치가 몸통과 겹쳐지는 비율)을 계산한다.
- 계산된 값을 GRU 모델에 전달해 학습을 진행한다. GRU는 LSTM의 게이트와 셀 스테이트를 간소화 하여 더 빠르게 동작하지만, 정확도에서는 거의 유사한 성능을 보이도록 개선한 모델[6]이다.
- 학습된 모델을 검증 데이터 셋을 이용해 낙상 여부를 결정하고 성과를 분석한다. 이 단계에서 Overlap값을 포함한 모델, 포함하지 않은 모델[5]의 비교를 통해 본 논문에서 제시하는 시스템의 성능을 분석한다.
GRU는 2개의 스택으로 구성되었고, 각각 32, 64개의 유닛으로 구성되었다. 스택을 거칠 때마다 Dropout을 적용하여 과적합을 방지하였고, 최종적으로 FC layer를 사용해 낙상을 예측하였다. 학습에 사용한 데이터셋은 URFD와 AI Hub, 자체적으로 촬영한 동영상을 활용하였다. 영상은 30fps로, 프레임별로 R값, HSSC값, Ovelap값을 계산하여 데이터를 생성하고 모아진 값들로 학습을 진행하였다. 이때, 모델들의 성능은 Table 1과 같다. 정확도, 재현율 등의 수치에서 Overlap 값을 포함한 모델이 성능에서 향상된 모습을 보인다.
| 모델 | 정확도 | 정밀도 | 재현율 | 특이도 | F1-Score | 위양성율 | AUC-ROC |
|---|---|---|---|---|---|---|---|
| Overlap 포함 | 95.6035% | 95.0141% | 95.6001% | 95.6066% | 95.3062% | 3.3756% | 0.99 |
| Overlap 미포함 | 94.3987% | 94.0611% | 93.9991% | 96.6244% | 95.0189% | 4.3934% | 0.99 |
본 연구에서는 노인들의 주요한 사망 원인 중 하나인 낙상의 감지 성능을 향상시키기 위한 기법을 제시하고자 하였다. PoseNet을 활용해 인체의 골격 좌표를 추출하여 GRU 모델의 학습에 활용한다. 기존의 시스템에서 추가적으로 머리-어깨 뭉치의 몸통과 겹쳐지는 비율인 Overlap값을 새로 사용하여 낙상 감지의 성능을 향상시키고자 하였다. Overlap값을 사용하였을 때 조금 더 높은 성능을 보였으며, 실행 시간의 차이는 없었다. 기존의 연구들과 비교해 본 논문은 웹 캠 등의 장치만 있다면 적용이 가능하며 다양한 환경에서의 실험 데이터를 확보하여 학습 및 검증을 진행함으로써 실 생활에 더 적합하다. 추후 학습된 모델을 발전시켜 웹 혹은 어플리케이션에 포함을 시켜 실시간으로 낙상 감지를 하는 등 개선의 여지가 있다.
[1] 2022년 고령자 통계, 통계청, 2022년
[2] 김정길 외 3명, 압력센서 기반의 보행 변인을 이용한 낙상 예측 알고리즘, 한국감성과학회 춘계학술대회, 2020권, 71p, 2020년
[3] 김성현 외 3명, The Study of Realtime Fall Detection System with Accelerometer and Tilt Sensor, 한국정밀공학회지, 28권, 11호, 1330p, 2011년
[4] Wen-Yu Cai 외 5명, GBDT-Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction, Journal of Healthcare Engineering, Vol 2020, 15p, 2020년
[5] 강윤규 외 2명, PoseNet과 GRU를 이용한 Skeleton Keypoints 기반 낙상 감지, 한국산학기술학회논문지, 22권, 2호, 127p, 2021년
[6] Kyunghyun Cho 외 6명, Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, EMNLP, 1724p, 2014년