울산과학기술원(UNIST) 신소재공학부의 김지윤 교수 연구팀이 사람의 감정을 실시간으로 파악할 수 있는 획기적인 기술을 개발했습니다. 이 첨단 기술은 감정을 기반으로 서비스를 제공하는 차세대 웨어러블 시스템을 비롯해 다양한 산업에 혁신을 가져올 것으로 기대됩니다.

감정, 기분, 느낌 등 인간 감정의 추상적이고 모호한 특성으로 인해 감정 정보를 이해하고 정확하게 추출하는 것은 오랫동안 어려운 과제였습니다. 이를 해결하기 위해 연구팀은 언어와 비언어적 표현 데이터를 결합해 종합적인 감정 정보를 효율적으로 활용할 수 있는 멀티모달 인간 감정 인식 시스템을 개발했습니다.

웨어러블 기술의 혁신

이 시스템의 핵심은 개인 맞춤형 피부 통합 얼굴 인터페이스(PSiFI) 시스템으로, 자가 구동되고 간편하며 신축성이 있고 투명합니다. 이 시스템은 언어 및 비언어적 표현 데이터를 동시에 감지하고 통합할 수 있는 최초의 양방향 트라이보전 스트레인 및 진동 센서를 갖추고 있습니다. 이 시스템은 무선 데이터 전송을 위한 데이터 처리 회로와 완전히 통합되어 있어 실시간 감정 인식이 가능합니다.

개발된 기술은 머신러닝 알고리즘을 활용하여 마스크를 착용한 상태에서도 사람의 감정을 실시간으로 정확하게 인식합니다. 이 시스템은 가상현실(VR) 환경 내 디지털 컨시어지 애플리케이션에도 성공적으로 적용되었습니다.

개인화된 피부 통합 얼굴 인터페이스(PSiFI)가 적용된 시스템 개요의 모식도. Credit: UNIST

이 기술은 물체가 마찰을 일으키면 양전하와 음전하로 분리되는 '마찰 충전' 현상을 기반으로 합니다. 특히 이 시스템은 자체 발전이 가능하기 때문에 데이터 인식을 위한 외부 전원이나 복잡한 측정 장치가 필요하지 않습니다.

사용자 지정 및 실시간 인식

김 교수는 "이러한 기술을 바탕으로 개인 맞춤형으로 사용할 수 있는 피부 일체형 안면 인터페이스(PSiFI) 시스템을 개발했다"고 말했다. 연구팀은 반경화 기술을 활용해 마찰 충전 전극용 투명 전극을 제작했습니다. 또한 다각도 촬영 기법을 사용하여 유연성, 탄력성, 투명성을 결합한 개인 맞춤형 마스크를 제작했습니다.

연구팀은 안면 근육 변형과 성대 진동 감지를 성공적으로 통합하여 실시간 감정 인식을 가능하게 했습니다. 이 시스템의 기능은 사용자의 감정에 따라 맞춤형 서비스를 제공하는 가상현실 '디지털 컨시어지' 애플리케이션에서 시연되었습니다.

이번 연구의 제1저자인 이진표 교수는 "이번에 개발한 시스템을 활용하면 복잡한 측정 장비 없이 몇 단계의 학습만으로 실시간 감정 인식을 구현할 수 있다. 향후 휴대용 감정 인식 디바이스 및 차세대 감정 기반 디지털 플랫폼 서비스의 가능성을 열었다"고 말했습니다.

왼쪽부터 김지윤 교수와 이진표 UNIST 재료공학부 교수. Credit: UNIST

연구팀은 안면 근육 변형과 음성 등 멀티모달 데이터를 수집하여 실시간 감정 인식 실험을 진행했습니다. 이 시스템은 최소한의 훈련만으로 높은 감정 인식 정확도를 보였습니다. 무선 및 사용자 정의가 가능한 특성으로 인해 착용성과 편의성을 보장합니다.

또한 이 시스템을 VR 환경에 적용하여 스마트 홈, 개인 영화관, 스마트 오피스 등 다양한 환경에서 '디지털 컨시어지'로 활용하고 있습니다. 다양한 상황에서 개인의 감정을 파악하는 이 시스템의 기능을 통해 음악, 영화, 책에 대한 개인 맞춤형 추천을 제공할 수 있습니다.

김 교수는 "인간과 기계의 효과적인 상호작용을 위해서는 다양한 데이터 유형을 수집하고 복잡한 통합 정보를 처리할 수 있는 휴먼-머신 인터페이스(HMI) 기기가 필요하다"고 강조했습니다. 이번 연구는 차세대 웨어러블 시스템에서 인간 정보의 복합적인 형태인 감정을 활용할 수 있는 가능성을 보여준 사례"라고 말했습니다.

참고: 이진표, 장한혁, 장연우, 송현서, 이수우, 이푸이시, 김지윤의 "개인화된 피부 통합 무선 얼굴 인터페이스를 통한 다중 모달 감정 정보 인코딩", 2024년 1월 15일, Nature Communications.
DOI: 10.1038/s41467-023-44673-2

이번 연구는 싱가포르 난양공과대학교의 리 푸이 시 교수와 공동으로 진행되었으며, 과학기술정보통신부 산하 한국연구재단(NRF)과 한국재료연구소(KIMS)의 지원을 받아 수행되었습니다.

- DeepL 번역 -