Human Activity Recognition 최신 동향
Scroll Down논문 리뷰 및 최신 동향 정리
저번엔 AMASS와 DIP같은 3D 모델 기반 데이터를 이용한 논문들을 봤다. 오늘은 가공된 IMU sensor dataset을 이용해 실험을 진행한 논문들을 간추려 보았다.
오늘의 리뷰 논문
1 IEEE Attention-Based Convolutional Neural Network for Weakly Labeled Human Activities’ Recognition with wearable sensors
2 IEEE Feature learning for Human Activity Recognition using Convolutional Neural Networks
3 IEEE LSTM-CNN Architecture for Human Activity Recognition
4 IEEE A CNN-LSTM Approach to Human Activity Recognition
위 논문들을 바탕으로 최신 동향을 알아보자.
제일 많이 쓰이는 dataset은 UCI Har Dataset과 WISDM Dataset. actual test를 제외하고 실험한 논문이 꽤 있다. CNN-LSTM을 사용한 [4]번 논문은 Conv1D layer를 사용했고, CNN으로 선 특징 추출을 진행한 것으로 보인다. CNN_LSTM과 LSTM 비교실험을 진행했다. 반면 [3]번 논문은 LSTM-CNN을 사용했는데, 본문에서 진행한 실험에 의하면 CNN-LSTM에 비해 성능이 좋다고 나와있다. 여기서는 accuracy뿐 아닌 F1-score를 평가 지표로 사용했다. Optimizer로 Adam을 추천.
[1]번 논문도 UCI HAR Datset을 사용했는데, 제목에서 알 수 있듯이 CNN을 사용하여 weakly labeled된 데이터에 초점을 맞췄다. attention based CNN과 DeepConvLSTM을 다뤘기 때문에 여기서 기존 논문과의 차별점을 볼 수 있다. Weakly sensor data를 compatibility score, density로 분석했다.
[2]번은 UCI HAR Dataset과 Audio data를 사용했다. CNN으로 특징 추출을 진행하였고, 이 특징으로 pre-trained한 모델로 real-world data 실험을 진행했다. 즉, pre-trained된 CNN 특징 추출이 논문의 핵심이다. CNN 커널, 층, 필터 수에 따른 비교도 진행했는데, HAR에 쓰이는 CNN의 파라미터 조정에 연구를 한 듯 하다.
위 논문들을 참고하여 UCI HAR dataset(2012버전, 2015버전)을 SVM, CNN, LSTM, CNN-LSTM, LSTM-CNN으로 구현해 깃허브에 올려놨다.
github주소
Grid search한 SVM 성능이 제일 좋다는게 아이러니하다. 그중 LSTM-CNN은 [4]번 논문을 최대한 구현해봤다. 이후에 실제 데이터를 모은 후에 어떤 식으로 학습모델을 설계해야 할지 아직 잘 모르겠다. HAR를 계속 찾아보면 dataset - 기존 model과의 비교실험 - F1 score 순으로 쓰고 싶다. 어떤 논문은 SGD가 좋다, 다른 논문을 보면 Adam이 좋다 하는데, 이또한 IMU 기반 센서 데이터라도 가공 데이터에 따라 편차가 있는 것 같다. CNN을 설계할 땐 우선 Conv1D를 사용하고 있긴 하지만 어떻게 될진 잘 모르겠다. 비슷한 activity 구별하는 모델도 만들어보고 싶었는데, [1]과 맥락이 비슷할까? LSTM-CNN으로 pre-trained 한 번 하고 실제 데이터에 적용해보는 것도.