오픈라이더갤럭시 워치 액티브2 실시간 심박수 연동방법

오픈라이더갤럭시 워치 액티브2 실시간 심박수 연동방법

프로젝트AI 이 프로젝트는 얼굴 영상에서 감정을 인식하여 노래를 추천해주는 것을 목적으로 합니다. 굉장히 일반적인 프로젝트라고 볼 수 있었으나 저희는 실시간으로 영상을 계속 입력하여 모델 트래픽 처리, 안드로이드 결과 처리 등이 필요합니다. 필자가 했던 Kempowerment bootcamp에서 진행한 프로젝트입니다. 핸드폰 카메라와 컴퓨터 웹캠을 켜 놓으면 실시간으로 사용자의 얼굴을 입력 받아 현재 감정을 인지하고 현재 감정에 매칭되는 장르의 노래를 추천해주는 어플리케이션을 개발합니다.

공부나 일을 할 때 저희 어플리케이션을 켜 놓으면 실시간으로 추천받는 노래를 통해 스트레스를 줄이고 업무 효율을 높일 수 있을 거란 기대를 가지고 있습니다.

설정을 위해 시도했던 것들

나는 액티브 2에서 시작을 계속했음에도 불구하고, 몇 시간이나 심박수 측정이 안되었습니다. 삼성헬스에서 심박수 측정하면 20초 정도 걸리길래 기다리다. 보시면 측정될까 싶어 그냥 자전거를 타고 왔는데도 측정이 안되더라. 몇 시간을 이것저것 검색설정 변경하며 실행시키다. 보니 갑자기 되어서 뭐가 중요한 건지는 모르겠는데, 우선 했던 것들 대충 정리합니다.

테스트 서버

강사님께서 말씀하시기를 내가 하는 파트가 있다면야 만약 AI라면 다른 개발이나 디자인이 어떠한 방식으로 돌아가고 있는지 구체적으로는 아니더라도 실행은 되도록 서로 공유를 해야한다고 하셨습니다. 저는 이 점을 정말 간과하였습니다. 따라서 프로젝트가 끝난 다음에야 개발자분께 여쭤보게 되었습니다. 그에 관하여 정리합니다.

프로젝트의 종합적인 구조는 다음과 같습니다. 저는 지금까지 제 로컬에 인텔리제이에 웹 프로젝트를 만들고 그 안에 html과 jsp로 프론트를 쓰고 자바로 백엔드를 작성하였습니다.

하지만 이 프로젝트는 개발자가 웹, 앱, 서버가 모두 다르고 코드를 작성한 컴퓨터도 각 파트마다. 다. 달랐습니다.

Face Landmark 추출

앞에서 말했듯이 감정은 내면의 현상으로 얼굴 픽셀값만 보고 모델이 구분하는 것은 믿을 만한 정보가 아닙니다. 따라서 얼굴에서 랜드마크를 뽑아 feature를 추가로 부여합니다. 과거 51개의 랜드마크는 얼굴 전체를 추출 대상으로 잡았지만 감정에 영향을 많이 줄 것 같은 랜드마크를 반복 실험을 통해 찾아내어 34개로 축소하였습니다.

CICD 개발자분 답변

우선 안드로이드는 깃헙에 프로젝트 root 폴더를 올린 겁니다. 그게 구글 플레이스토어에 느는 것과 같은 것으로 그것만 다운받으면 할 수 있는 개념으로 앱을 보시면 됩니다.

② 신경 쓸 거는 웹과 서버입니다. 프론트 코드와 서버 코드는 하나하나씩 깃허브에 프로젝트 폴더가 다른 개발자들이 작성한게 올라가 있습니다. 그걸 CI/CD 개발자 분이 본인의 서버 노트북에 pull하고 모든 포트를 다.

열어서 제가 localhost8080하면 톰캣에 가는 것처럼 CICD 개발자 분의 노트북으로 접근할 수 있게 한 것입니다. 그렇다면 사용자는 URL로 프론트에 접근하고 그 프론트는 서버 노트북에 코드가 있고 프론트는 서버 노트북에 있는 백엔드 FLASK 코드와 데이터 교환을 하도록 되어있습니다.

Face Detection

감정 인식을 하기 위해서는 얼굴에 집중하여 모델 학습을 해야합니다. 물론 행동이나 자세 등도 감정에 영향을 미칠 수 있겠지만 이는 특이사항으로 볼 수 있기에 언제나 눈, 코, 입의 위치가 정해져있는 얼굴을 추출한다면 모델의 성능이 좋을 것이라고 생각하였습니다. Opencv Haar Cascades를 사용해 전처리 해주었습니다. Haar Cascades는 다른 얼굴 탐지에 비해 속도가 빠르고 인자를 적절하게 조절하면 여러 크기의 얼굴을 캐치할 수 있습니다.

인자 기본값의 경우 얼굴이 아닌 것을 얼굴로 착각한 결과가 보입니다. maxSize를 주면 지정한 크기보다. 큰 객체는 무시됩니다. maxSize 500으로 제대로 원본 이미지에서 얼굴만 캐치할 수 있었습니다. 하지만 실시간 얼굴 인식이 좋지 않아 전처리에서만 사용하고 안드로이드에 탑재한 모델은 MLkit를 사용하였습니다.

영화는 무법자 잭 콜비리 밴 클리프, 벤 밀러셰브 울리, 짐 피어스로버트 윌크가 말을 타고 만나 일요일 아침 작은 마을 해들리빌로 들어가는 것으로 시작됩니다. 교회 종소리가 울리자 마을 사람들은 악명 높은 갱단을 조심스럽게 주시합니다. 한편 윌 케인게리 쿠퍼과 평화주의자 퀘이커 에이미 파울러그레이스 켈리는 치안판사 사무실에서 결혼식을 올립니다. 세 명의 무법자는 마을을 돌아다니며 갱단 두목 프랭크 밀러의 정오 도착을 기다리기 위해 기차 창고 밖에 정착합니다.

케인 원수와 그의 찬란하고 신부는 시장토마스 미첼과 은퇴한 원수론 채니 주니어의 축하를 받고 케인은 마지못해 아내의 소원에 따라 그의 별을 끊는다. 바로 그때 Kane이 몇 년 전에 살인 혐의로 체포하여 감옥에 보낸 Frank Miller의 사면을 알리는 전보가 도착합니다. 역장은 밀러가 정오 기차를 타고 올 것이라고 선언합니다.

자주 묻는 질문