현재 Cognitive Stress 관련 실험중인데(나도 정확히 잘 모르고 또 발설하다 문제 생기면 안 되니까 ㅋ pass) 박사님께서 관련 논문을 읽어보라고 주셔서 하나하나 정리해보려고 논문 카테고리를 만들었다
살면서 처음으로 논문 요약을 해봅니다
하다보면 잘하겠지 그럼 Go ㅋ
심박수 변동성을 통한 인지 스트레스 원격 측정
논문에서는 HR(Heart Rate), BR(Breath Rate), HRV(Heart Rate Variations)의 미묘한 변화를 원격으로 측정하고 이러한 특징을 바탕으로 편안한 상태와 스트레스 상태를 분류하는 방법을 다룬다
(HR: 심박수, BR: 호흡, HRV: 심박 변이도)
1. 디지털 카메라를 사용하여 생리적 특징의 측정 가능한 변화를 보여주는 실험과 결과를 제시
2. 편안한 상태와 인지 스트레스 하에서의 변화를 원격으로 포착할 수 있음을 입증
3. 생리적 특징을 기반으로 휴식 상태와 인지 스트레스를 예측하기 위한 분류기를 구축 후 테스트
그렇다면
왜 '스트레스'도 아닌, '인지 스트레스'를 측정하고,
왜 원격으로 디지털 카메라를 이용하여 생리적 특징의 변화를 포착할까?
심박 변이도(HRV)는 자율신경계(ANS) 활동을 측정하는 데 일반적으로 사용된다.
HRV 저주파(LF) 성분은 압반사 활동에 의해 조절되며 교감 및 부교감 활동을 모두 포함한다.
HRV 고주파(HF) 성분은 심장에 대한 부교감 신경의 영향을 반영하며 호흡동 부정맥(RSA)과 연결된다.
-> 교감신경 조절(교감신경/미주신경 균형)은 LF/HF 전력 비율을 고려하여 추정할 수 있다.
인지 작업(예: 암산이나 영어 말하기)은 HRV에 영향을 미친다.
정신적 스트레스를 받는 사람들은 대조군에 비해 HF HRV 성분이 감소했고, 주의 집중 작업 동안 기준선과 비교했을 때 심박수의 변화와 함께 더 낮은 총 HRV 전력이 관찰됐다.
-> HRV의 스펙트럼을 분석하여 정신적 스트레스를 받는 최적의 근무 시간 등을 예측할 수 있겠는데?
얼굴 표정과 같은 비언어적 신호가 인지 상태(예: 집중력)를 감지하는 데 유용할 수 있지만, 많은 경우 사람들은 안면 근육 움직임을 나타내지 않고,(나도 공적에선 시크도도 무표정 작살ㅋ) 열화상은 스트레스를 원격으로 포착하기 위해 사용되었지만 카메라가 비싸다.
-> 디지털 카메라를 통해 HRV를 통해 주의력, 집중력 또는 참여도를 저렴한 비접촉 방식으로 측정할 수 있다.
HRV 측정의 최적 표준은 심전도(ECG)이다. 그러나 ECG에서 파생된 HRV 측정과 광용적맥파측정(PPG)을 사용하여 수행된 측정 간에는 시간 및 주파수 영역이 높은 수준으로 일치했다.
(PPG:투과광 또는 반사광의 변화를 통해 심혈관 혈액량 맥박(BVP)을 측정하는 저비용의 비침습적 기술)
전용 광원 없이 저가형 디지털 카메라를 사용하여 사람의 얼굴 영상에서 BVP(Blood Volume Pulse)를 복구하는 것이 가능하다고 한다. 표준 디지털 카메라의 컬러 밴드 감도를 조금만 변경하면 비디오 이미지에서 복구된 BVP의 정확도가 향상되고 더 먼 거리에서도 동일한 측정이 가능해진다. 접촉 센서 측정과 심박수, 호흡수, HRV 저주파수 및 고주파수 구성요소의 원격 측정값 사이에 높은 상관관계가 있는 것으로 나타났다. 피부가 보이지 않는 경우에도 심박수를 감지할 수 있도록 인간 머리의 움직임으로부터 BVP 파형을 복구하는 방법이 있지만, 어떤 경우에는 카메라 PPG 측정으로 시스템이 수행되지 않았으며 경직된 머리 움직임에 취약했다.
-> 원격으로 측정한 것과 접촉 센서를 이용하여 측정한 것은 높은 상관관계가 있고, 머리의 움직임으로 측정한 것은 취약하다.
생리적 매개변수의 정량화
HR은 60/IBI로 계산됐다.(IBI: 비트 간 간격의 평균)
BR은 HRV의 주요 고주파 성분으로부터 추정할 수 있다.
HRV 전력 스펙트럼의 0.15~0.4Hz 사이에서 가장 높은 피크(fHF 피크)의 중심 주파수에서 BR을 결정한다.
접촉 측정의 경우 BR은 지배적인 피크 fresp의 주파수로 계산됐다.
기록된 호흡 파형의 PSD에서 60*fresp. HRV의 LF 및 HF 전력은 각각 0.04-0.15Hz 및 0.15-0.4Hz에 해당하는 PSD 곡선 아래 영역으로 계산되었고, LF와 HF는 총 전력 차이의 영향을 최소화하기 위해 정규화된 단위로 정량화했다.
인지 스트레스의 예측
카메라로 측정된 생리적 매개변수를 특징으로 사용하여 개인이 인지적 스트레스를 받고 있는지 휴식하고 있는지 예측하기 위한 분류기를 구축하고 테스트한다.
분류를 위해 선형 커널을 사용하여 Naive Bayes 모델과 SVM(지원 벡터 머신)을 테스트한다.
입력 특징: 각 세션에 대한 평균 심박수, 평균 호흡수, 정규화된 HRV LF 전력, 정규화된 HRV HF 전력 및 HRV LF/HF 전력 비율, 비용 C 매개변수는 0.1로 설정
테스트 세트의 한 참가자에 대한 데이터를 보류하고, 훈련을 위해 나머지 모든 데이터를 사용 -> 개인 독립적 테스트를 수행(각 참가자마다 한 번씩 10번 반복)
여기서!
Naive Bayes 모델과 SVM은 뭘까?
나이브 베이즈(Naive Bayes)분류기는 텍스트 분류와 같은 분류 작업에 사용되는 감독형 머신 러닝 알고리즘
이 분류기는 분류 작업을 수행하는 데 확률 원칙을 사용한다.
생성형 학습 알고리즘 계열의 일부로, 주어진 클래스 또는 카테고리의 입력 분포를 모델링한다.
로지스틱 회귀와 같은 차별적 분류기와는 달리, 나이브 베이즈는 클래스 간 구분에 있어 가장 중요한 특징을 학습하지 않는다.
생성형 학습 알고리즘은 주어진 입력 데이터와 해당 클래스(혹은 레이블)의 공동 확률 분포를 모델링하는 알고리즘
생성형 모델은 데이터를 생성할 수 있는 모델로 간주되며, 입력 데이터와 레이블 간의 관계를 설명하는 데 중점을 둔다.
(P(X|Y)를 알고 있기 떄문에 특정 클래스 Y에 속하는 데이터를 무작위로 생성할 수 있어서 생성형 학습 알고리즘임)
작동 원리: 생성형 알고리즘은 입력 데이터 X와 클래스 레이블 Y의 결합 확률 분포 P(X, Y)를 학습한다. 이를 통해 각각의 클래스 Y에 대해 해당 클래스에서 X가 나올 확률 P(X|Y)를 학습하고, 베이즈 정리를 이용해 최종적으로 P(Y|X)를 계산하여 분류 작업을 수행한다.
(나이브 베이즈는 각 특성이 독립적이라고 가정함)
예시: 나이브 베이즈(Naive Bayes), 히든 마르코프 모델(Hidden Markov Model), 가우시안 혼합 모델(Gaussian Mixture Model) 등
-> 생성형 학습 알고리즘은 측정된 생리적 데이터 X를 입력하면 Rest인지 C.S인지 확률을 비교해서 Y값을 분류하고, P(X|Y), P(Y)를 학습한다.
생성형 모델은 데이터의 생성 과정 전체를 모델링
차별적 분류기는 클래스와 입력 데이터 사이의 경계를 학습하는 알고리즘
이 분류기는 입력 데이터로부터 직접적으로 클래스 레이블을 예측하는 데 중점을 둔다. 클래스 간의 차이를 명확히 구분하는 모델이다.
작동 원리: 차별적 분류기는 P(X|Y)를 학습하는 대신, 입력 데이터 X로부터 클래스 Y를 직접 예측하는 P(Y|X) 자체를 학습한다. 즉, 두 클래스 사이의 결정 경계(Decision Boundary)를 찾는 데 주력한다.
(어느정도 되면 Rest인지 C.S인지 경계를 찾고 바로 분류함)
예시: 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM), 신경망(Neural Networks) 등
-> 차별적 분류기는 특정 데이터가 주어졌을 때 해당 데이터가 특정 클래스에 속할 확률 P(Y|X)를 바로 학습하고, 이 확률이 특정 임계값을 넘으면 해당 클래스로 분류한다.
- 생성형 모델: P(X|Y)와 P(Y)를 학습한 후 베이즈 정리를 통해 P(Y|X)를 계산함. 즉, 데이터를 어떻게 생성할 수 있는지를 이해하고, 이를 통해 분류를 수행함
- 차별적 모델: P(Y|X)를 직접 학습하여, 주어진 데이터를 바로 분류하는 데 중점을 둠. 데이터가 어떤 클래스에 속하는지 구분하는 것이 주 목표임
결과
1. 원격 생리학적 측정의 검증
원격 방법인 카메라 측정을 통해 계산된 생리학적 파라미터를 접촉센서 측정에서 계산 한 것과 비교할 때, 접촉 방법과 원격 방법 사이의 상관 관계는 HR = 1.0, BR = 0.93, HRV LF = 0.93, HRV HF = 0.93 및 HRV LF/HF 비율 = 0.93, P <0.01
HR, RR 및 HRV LF/HF의 뿌리 평균 제곱 오차는 각각 0.106, 1.53 및 0.145로 높은 일치가 관찰되었으며, 카메라가 BVP 신호를 정확하게 캡처 할 수 있음을 시사한다.
2. 인지 스트레스가 생리학에 미치는 영향
오차 막대는 평균의 양쪽에 하나의 표준 편차를 표시
호흡수와 LF/HF 비율이 잘 구별되고, 심박수는 구별이 잘 안됨
3. 생리학적 스트레스 예측
선형 SVM을 사용하여 휴식 또는 인지 스트레스를 분류하기 위한 모델의 예측 정확도는 85%
밸런스된 클래스 크기를 갖춘 두 개의 클래스로 분류했기에 Naive 예측은 50%(이건 뭔 말이지?)
DISCUSSION
카메라를 사용하여 수행된 생리학적 측정은 접촉 센서 측정과 높은 상관관계가 있었음
휴식 상태와 인지 스트레스 하에서 참가자의 반응 간의 차이를 포착할 수 있을 만큼 민감하다고 할 수 있음
참가자 중 90%의 경우 휴식 시간보다 인지 스트레스 세션 동안 호흡률이 더 높았고, 스트레스 세션동안 모든 참가자의 평균 호흡률은 휴식 세션 동안보다 상당히 높았다(p < 0.002). 참가자 중 80%의 HRV LF 구성 요소는 인지 스트레스 세션 동안 더 높았다. 스트레스 세션 동안 모든 참가자의 평균 HRV LF/HF 비율도 휴식 세션 동안보다 상당히 높았다(p < 0.005).
그러나 심박수만으로는 인지 스트레스의 강력한 예측 인자가 아니었던 것과는 달리, 휴식 상태와 스트레스 상태의 평균 심박수 사이에는 유의미한 차이가 없었다. 원격으로 측정된 스펙트로그램은 모든 참가자의 주요 주파수가 휴식 상태와 스트레스 상태 사이에서 이동했음을 보여준다. 또한 각 세션 동안 주요 주파수가 고정되지 않았으므로 HRV 스펙트로그램이 반응 역학에 대한 유용한 정보를 제공할 수 있는 이유를 보여준다.
SVM 분류기 예측 정확도는 개인 독립적인 훈련 계획에서도 매우 좋았으며, 세션의 85%(20개 중 17개)가 휴식 또는 인지 스트레스로 올바르게 분류되었다.
휴식 중인 참가자 5명의 반응은 스트레스를 받는 것으로 잘못 분류되었으며, 해당 조건에서 가장 높은 BR이 측정되었다. 아마도 참가자가 실험을 발견하고 접촉 센서를 착용해야 한다는 것이 스트레스를 받았기 때문일 것으로 예상된다.
-> BR, HRV은 C.S일 때가 Rest일 때보다 높았으나, HR(심박수)는 C.S와 Rest 사이에 큰 차이가 없었다.
논문 전문: extension://bfdogplmndidlpjfhoijckpakkdjkkil/pdf/viewer.html?file=https%3A%2F%2Fdspace.mit.edu%2Fbitstream%2Fhandle%2F1721.1%2F103771%2FPicard_Remote%2520measurement.pdf%3Fsequence%3D1%26isAllowed%3Dy