MMG:

Cognitive learning and the Multimodal Memory Game Platform


개 요

자막, 소리, 이미지 3가지 다른 종류의 데이터를 이용하여, 인지적 기억과 관련된 새로운 기계학습 문제를 정의하고 해결하고자 하는 시도.

  • 드라마 Friends 의 영상, 소리, 자막 데이터를 수집.
  • 자막 데이터만을 학습하여 문장 완성 문제를 다룸.
  • 이미지 데이터만을 학습하여 망가진 이미지 완성 문제를 다룸.
  • 자막, 소리, 이미지 데이터를 함께 다루어, 보다 나은 성능을 보이는 기계학습 문제를 정의하고 해결하고자 함.
  • 인지적 기억과 관련된 기계학습 문제를 정의하고 해결하고자 함.

concept.jpg

자막 ßà 소리 ßà 이미지의 중첩된 하이퍼네트워크에
기반한 Multimodal Memory Game

 



이미지로부터 텍스트를 복원하는 MMG의 구조 예

   



이미지로부터 텍스트를 복원하는 실험 예

 

Publications

  • Self-assembling hypernetworks for cognitive learning of linguistic memory, B.-T Zhang and C.-H. Park, Proceedings of World Academy of Science, Engineering and Technology (WASET), p.134, 2008.

 


Project Title

Multimodal Memory Game

Sponsor

-

Principal Investigator

Prof.Byoung-Tak Zhang

Researchers

Ho-Sik Seok

Sun Kim

Chan-Hoon Park

Eun-Seok Lee

Won-Jin Shin

Young-Kil Ko

Ha-Young Jang

Kwon-ill Kim

Min-Oh Heo

Joo-Kyung Kim

Bon-Woong Ku

Sang-Yoon Yi

Young-Jin Park

Seong-Bae Lee

Duration

2007.11 - 


Contact

 Min-Oh Heo

E-Mail

moheo (a) bi.snu.ac.kr

Phone

 +82-2-880-1835

Fax

 +82-2-875-2240