연구 주제 키워드

  • 인지 프로세스 연구(Cognitive processes)
  • 인간의 정보 인지, 의사 결정, 행동을 포괄하는 프로세스에 대한 연구(Human information processing models)
  • 유용성 테스트 (Usability testing)
  • 인간의 상황인식에 대한 연구(Situation awareness)
  • 학습 보조 방법론 (Assistive learning methods)
  • 멀티모달 분석 (Multimodal analysis)
  • 여러 개의 움직이는 물체를 동시에 시선으로 추적시 발생하는 시선 패턴에 대한 연구 Multiple target tracking
  • 시선 패턴을 비쥬얼화하는 연구 (패턴은 효과적으로 그래프 또는 그림으로 구현) Visual scanning patterns and their visualization

연구 프로젝트 간략 소개

미국 국립과학재단 커리어 상

  • 다수가 참여하는 VR에서의 비언어 스마트 학습 방법론의 개발 :비쥬얼 학습 (non-text-based learning)은 책에 글로 쓰여진 대부분의 내용을 VR 안에서 물체 또는 그래픽으로 구현한다는 의미입니다. 스마트 학습 시스템 (smart learning system)은 일종의 맟춤형 학습, 즉 개개인이 필요로 하는 정보를 필요할 때마다 자동으로 바로 보여주는 시스템을 의미합니다. 실시간 멀티 모달 분석 (near real-time multimodal analysis)이란 인간이 가상 공간 안에서 학습시 시선 추적 (eye tracking), 뇌파 (brainwave), 손의 움직임 (hand tracking) 등을 동시에 거의 실시간으로 분석하는 것을 의미합니다. 즉, 실시간 멀티 모달 분석을 통하여 개개인의 행동 패턴을 분석하고 필요로 하는 정보를 예측하여 그 정보를 자동으로 바로 비쥬얼 정보로 보여주는 스마트 학습 시스템을 개발하는 것입니다. 다르게 표현하자면, 가상 공간 내에서 여러 명이 모여서 학습할 때에 개개인의 학습 행동 패턴을 분석하고 예측하는 컴퓨터 알고리즘을 개발하고 그것을 토대로 개개인에 맞는 비쥬얼 정보를 제공하는 스마트 학습 시스템을 개발하는 것입니다.

  • 예시: VR 내에서 발생하는 시선 (눈이 바라보는 곳) 데이터.
    예시: VR 사용시 뇌파 및 손의 움직임을 동시에 측정 가능.

    위의 예시들에서 볼 수 있듯이 데이터를 얻는 기술은 이미 존재합니다. 문제는 어떻게 학습자료를 효과적으로 VR에서 구현할 수 있는가와 어떻게 시선, 뇌파, 손동작 등의 데이터를 거의 실시간으로 분석하여 사용자의 관심도 및 학습과정을 분석하고 예측하여 필요로 하는 정보를 추가적으로 바로 보여줄 수 있는가입니다. 커리어 상으로 받은 연구비용으로 VR에서 효과적인 학습자료를 만드는 방법을 개발하고 실시간 멀티모달 예측 모형을 개발합니다.

항공 관제 관리 시스템 (Air Traffic Management Systems)

  1. 항공 관제탑 리스크 분석 (VR 환경): 전문가의 시선 패턴을 분석하여 어떻게 사고를 예방하고 작업 능력을 향상시킬 수 있는지를 분석합니다.


    시선 데이터 예시. 총 8개 (또는 12개)의 60인치 모니터를 활용하여 VR환경을 구축하였습니다. 원의 중심이 시선이 머문 곳이며, 원의 크기는 바로본 시간에 비례합니다. 선들은 빠른 시선의 움직임을 보여줍니다. 숫자들은 시선이 머문 순서를 의미합니다.


  2. 여러 개의 시선 테이터를 클러스트링을 통하여 분석하고 전문가들이 공통으로 사용하는 시선 패턴을 발견해 낼 수 있습니다.

  3. 시선 분석 및 데이터 비쥬얼화 : 항공관제사들의 시선 패턴을 분석하여 교육 및 훈련에 활용합니다.



  4. 레이더를 관찰한 시선 데이터를 그래프 이론을 적용하여 분석합니다.

  5. 멀티모달(multimodal) 분석: 작업량, 뇌파, 시선 분석



  6. 작업량, 뇌파, 시선 데이터 간의 상관 관계를 분석합니다.

  7. 게임화(gamification)연구 교육 및 훈련에 활용할 수 있는 게임을 개발하고 있습니다.



  8. 시선 데이터를 자동으로 분석할 수 있는 알고리즘의 개발

  9. 유니버설 디자인에 기반한 학습 방법론 및 멀티 모달 훈련 (Universal Design for Learning (UDL) and multimodal training) : 유니버설 디자인에 기반한 학습 방법론을 적용하여 미 연방항공국 아카메디 생도들이 더 효과적으로 학습할 수 있는 자료를 개발합니다.

항공기 조종실 시스템 (Pilot Cockpit Systems)

  • 시선 데이터를 활용하여 조종사의 피로도를 예측.

기상 예측 및 경보 시스템 (Weather Forecasting and Alerting Systems)

  1. 기상 캐스터의 인지 능력을 측정 및 의사 결정 과정 연구


  2. 기상 캐스터의 상황 인식 능력 분석.

  3. 날씨 경보 앱의 유용성 테스트.

온라인 헬스캐어 시스템 (Online Healthcare Systems)

  • 테블릿 사용시의 유용성 테스트



해양 정유 개발/시추 VR 시스템 (Enhancing Expert Containment, Decision Making, and Risk Communications: Virtual Reality Offshore Operations Training Infrastructure)

  • 걸프만 BR 유전 사고 및 유사 사고에 대한 인간공학 연구.



마케팅 연구: Youtube 광고

  • Youtube 광고를 어떻게 보고 행동하는지에 대한 연구.


손 동작 예측 시스템 (Haptic cue: Predicting mouse or touchpad patterns)

  • 마우스 또는 터치패드의 사용시 손 동작의 패턴을 사용한 작업능력을 향상 방법 연구.