Videome:

Cognitive Machine Learning from Digital Videos

Digital videos offer an excellent learning material for teaching machines. We use an IPTV-like game platform and EEG to study human visual and linguistic memory in a learning-by-viewing paradigm. The results are used to develop advanced machine learning techniques that will simulate human learning and memory. In particular, we explore nonparametric Bayesian architectures, such as dynamic hypernetworks, that learn a sequence of digital videos of unbounded size by self-organizing cognitive networks. This project is supported by National Research Foundation (NRF).


Overall Concept

 

 ▒ Objectives (year by year) 

 

2010년-인터랙티브 홈씨어터 구축 및 인지적 추천 모형 연구
  • 인터랙티브 홈씨어터 플랫폼 구축 및 멀티모달 기억 게임(MMG) 구현
     - 1,000시간 이상 분량의 디지털 컨텐트 코퍼스(Videome) 구축
     - TV 드라마 시리즈를 이용한 추천 및 인지 모형 개발 기본 단계 연구
     - 장면과 대사를 포함하는 내용기반 드라마 추천 방법 연구
  • 인지적 추천을 위한 확률하이퍼그래프 모델링 기법 연구
     - 장면과 대사간의 연관성 모델링 확률하이퍼그래프 EM 알고리즘 연구
     - Cross-Entropy기반 효율적인 확률하이퍼그래프 학습 알고리즘 개발
     - MMG 로그 데이터 기반 사용자 행동 특성 연구

2011년-확률하이퍼그래프를 이용한 인지 학습 기반 추천 기술 연구
  • 확률하이퍼그래프를 이용한 인지 학습 모델 구현 기술 개발
     - Bayesian Inference에 기반한 MMG 피험자 학습 모델링 연구
     - 멀티모달 데이터 기반 채널 자동 검색 및 인식 알고리즘 개발
     - 하이퍼그래프 학습을 이용한 채널 예약 추천 기술 연구
  • Particle Filtering 하이퍼그래프를 이용한 채널 선호도 예측 모델 연구
     - MCMC를 이용한 사용자의 순차적 행동 패턴 분석 알고리즘 연구
     - 사용자 행동 스트림 데이터 기반 선호도 판별 및 여과 기법
     - MMG 사용자 로그 데이터 기반 행동 추천 순위 결정 알고리즘 연구

2012년-확률하이퍼그래프을 이용한 인지 추론 기반 인터랙티브 추천 기술
  • 고차 Markov 모델 기반 인지 추론 기술 연구
     - 확률하이퍼그래프를 이용한 고차 Markov 모델 구현 기술 연구
     - 하이퍼그래프 추론 기반 멀티모달 변환 및 연관 추천 기법 연구
     - 멀티모달 스트림 데이터 기반 내용 예측 및 연상 제시 알고리즘 개발
  • 사용자의 순차적 행동 패턴 모델링을 위한 확률하이퍼그래프 추론 기술
     - Sequential Monte Carlo 기법을 이용한 사용자 행동 예측 기술
     - 멀티채널 로그 데이터 기반 사용자 명령어 예측 추천 알고리즘 개발
     - Importance Sampling 기법을 이용한 사용자 명령어 완성 및 제안 연구

2013년-인터랙티브 추천을 위한 인지 학습 및 추론 엔진 개발
  • 작업기억 모델 기반 추천을 위한 복잡 확률하이퍼그래프 모델 연구
     - 인터랙티브 추천 상황에서의 인간의 작업 기억 특성 인지 실험
     - 내용기반 추천 작업기억 모델링을 위한 확률하이퍼그래프 모델 연구
     - 행동기반 추천 작업기억 모델링을 위한 확률하이퍼그래프 모델 연구
  • Sequential Bayesian Inference 기법에 의한 학습과 추론 연동 기술 개발
     - Continuous Lifelong 추천을 수행하는 인지 학습 및 추론 엔진 개발
     - 대규모 인터랙티브 라이프로그 데이터의 효율적인 분석 기법 연구
     - 내용기반과 행동기반 모델을 결합한 통합 추천 엔진 아키텍쳐 연구

2014년-Proactive 추천 서비스 적용 및 안정화
  • 시범 서비스를 위한 성능 안정화 기술 연구
     - Proactive 서비스를 위한 인지 추천 엔진 개선
     - 효율성 제고를 위한 엔진의 성능 개선 연구
  • 산학협력을 통한 시범 서비스 추진
     - 시범 서비스 영역에 대한 엔진의 특화 및 안정화
     - Cold Start를 고려한 서비스 영역 모델링
     - 새로운 활용 분야 발굴 및 산업체 기술 이전


 ▒ Target system to be developed  

Publications


Project Title Cognitive Machine Learning and Inference Technologies for Intelligent Recommendation Services
Duration May 2010 - April 2015
Funding National Research Foundation (NRF)
Principal Investigator Prof. Byoung-Tak Zhang
Researchers

Jin-San Yang

Jung-Woo Ha

Min-Oh Heo

Ha-Young Jang

Byoung-Hee Kim

Soo-Jin Kim

Ji-Hoon Lee

Je-Keun Rhee

Ho-Sik Seok

Hyunwoo Kim

Jin-Seok Nam

Woongchang Yoon

Bado Lee

Myung-Goo Kang


Contact Kyung-min Kim
E-Mail kmkim -at- bi snu ac kr
Phone +82-2-880-1847
Fax +82-2-875-2240