Videome:

Cognitive Machine Learning from Digital Videos

Digital videos offer an excellent learning material for teaching machines. We use an IPTV-like game platform and EEG to study human visual and linguistic memory in a learning-by-viewing paradigm. The results are used to develop advanced machine learning techniques that will simulate human learning and memory. In particular, we explore nonparametric Bayesian architectures, such as dynamic hypernetworks, that learn a sequence of digital videos of unbounded size by self-organizing cognitive networks. This project is supported by National Research Foundation (NRF).


¢Æ Overall Concept ¢Æ

 

 ¢Æ Objectives (year by year) ¢Æ

 

2010³â-ÀÎÅÍ·¢Æ¼ºê Ȩ¾¾¾îÅÍ ±¸Ãà ¹× ÀÎÁöÀû Ãßõ ¸ðÇü ¿¬±¸
  • ÀÎÅÍ·¢Æ¼ºê Ȩ¾¾¾îÅÍ Ç÷§Æû ±¸Ãà ¹× ¸ÖƼ¸ð´Þ ±â¾ï °ÔÀÓ(MMG) ±¸Çö
     - 1,000½Ã°£ ÀÌ»ó ºÐ·®ÀÇ µðÁöÅÐ ÄÁÅÙÆ® ÄÚÆÛ½º(Videome) ±¸Ãà
     - TV µå¶ó¸¶ ½Ã¸®Á ÀÌ¿ëÇÑ Ãßõ ¹× ÀÎÁö ¸ðÇü °³¹ß ±âº» ´Ü°è ¿¬±¸
     - Àå¸é°ú ´ë»ç¸¦ Æ÷ÇÔÇÏ´Â ³»¿ë±â¹Ý µå¶ó¸¶ Ãßõ ¹æ¹ý ¿¬±¸
  • ÀÎÁöÀû ÃßõÀ» À§ÇÑ È®·üÇÏÀÌÆÛ±×·¡ÇÁ ¸ðµ¨¸µ ±â¹ý ¿¬±¸
     - Àå¸é°ú ´ë»ç°£ÀÇ ¿¬°ü¼º ¸ðµ¨¸µ È®·üÇÏÀÌÆÛ±×·¡ÇÁ EM ¾Ë°í¸®Áò ¿¬±¸
     - Cross-Entropy±â¹Ý È¿À²ÀûÀÎ È®·üÇÏÀÌÆÛ±×·¡ÇÁ ÇнÀ ¾Ë°í¸®Áò °³¹ß
     - MMG ·Î±× µ¥ÀÌÅÍ ±â¹Ý »ç¿ëÀÚ Çൿ Ư¼º ¿¬±¸

2011³â-È®·üÇÏÀÌÆÛ±×·¡ÇÁ¸¦ ÀÌ¿ëÇÑ ÀÎÁö ÇнÀ ±â¹Ý Ãßõ ±â¼ú ¿¬±¸
  • È®·üÇÏÀÌÆÛ±×·¡ÇÁ¸¦ ÀÌ¿ëÇÑ ÀÎÁö ÇнÀ ¸ðµ¨ ±¸Çö ±â¼ú °³¹ß
     - Bayesian Inference¿¡ ±â¹ÝÇÑ MMG ÇÇÇèÀÚ ÇнÀ ¸ðµ¨¸µ ¿¬±¸
     - ¸ÖƼ¸ð´Þ µ¥ÀÌÅÍ ±â¹Ý ä³Î ÀÚµ¿ °Ë»ö ¹× ÀÎ½Ä ¾Ë°í¸®Áò °³¹ß
     - ÇÏÀÌÆÛ±×·¡ÇÁ ÇнÀÀ» ÀÌ¿ëÇÑ Ã¤³Î ¿¹¾à Ãßõ ±â¼ú ¿¬±¸
  • Particle Filtering ÇÏÀÌÆÛ±×·¡ÇÁ¸¦ ÀÌ¿ëÇÑ Ã¤³Î ¼±È£µµ ¿¹Ãø ¸ðµ¨ ¿¬±¸
     - MCMC¸¦ ÀÌ¿ëÇÑ »ç¿ëÀÚÀÇ ¼øÂ÷Àû Çൿ ÆÐÅÏ ºÐ¼® ¾Ë°í¸®Áò ¿¬±¸
     - »ç¿ëÀÚ Çൿ ½ºÆ®¸² µ¥ÀÌÅÍ ±â¹Ý ¼±È£µµ ÆÇº° ¹× ¿©°ú ±â¹ý
     - MMG »ç¿ëÀÚ ·Î±× µ¥ÀÌÅÍ ±â¹Ý Çൿ Ãßõ ¼øÀ§ °áÁ¤ ¾Ë°í¸®Áò ¿¬±¸

2012³â-È®·üÇÏÀÌÆÛ±×·¡ÇÁÀ» ÀÌ¿ëÇÑ ÀÎÁö Ãß·Ð ±â¹Ý ÀÎÅÍ·¢Æ¼ºê Ãßõ ±â¼ú
  • °íÂ÷ Markov ¸ðµ¨ ±â¹Ý ÀÎÁö Ãß·Ð ±â¼ú ¿¬±¸
     - È®·üÇÏÀÌÆÛ±×·¡ÇÁ¸¦ ÀÌ¿ëÇÑ °íÂ÷ Markov ¸ðµ¨ ±¸Çö ±â¼ú ¿¬±¸
     - ÇÏÀÌÆÛ±×·¡ÇÁ Ãß·Ð ±â¹Ý ¸ÖƼ¸ð´Þ º¯È¯ ¹× ¿¬°ü Ãßõ ±â¹ý ¿¬±¸
     - ¸ÖƼ¸ð´Þ ½ºÆ®¸² µ¥ÀÌÅÍ ±â¹Ý ³»¿ë ¿¹Ãø ¹× ¿¬»ó Á¦½Ã ¾Ë°í¸®Áò °³¹ß
  • »ç¿ëÀÚÀÇ ¼øÂ÷Àû Çൿ ÆÐÅÏ ¸ðµ¨¸µÀ» À§ÇÑ È®·üÇÏÀÌÆÛ±×·¡ÇÁ Ãß·Ð ±â¼ú
     - Sequential Monte Carlo ±â¹ýÀ» ÀÌ¿ëÇÑ »ç¿ëÀÚ Çൿ ¿¹Ãø ±â¼ú
     - ¸ÖƼä³Î ·Î±× µ¥ÀÌÅÍ ±â¹Ý »ç¿ëÀÚ ¸í·É¾î ¿¹Ãø Ãßõ ¾Ë°í¸®Áò °³¹ß
     - Importance Sampling ±â¹ýÀ» ÀÌ¿ëÇÑ »ç¿ëÀÚ ¸í·É¾î ¿Ï¼º ¹× Á¦¾È ¿¬±¸

2013³â-ÀÎÅÍ·¢Æ¼ºê ÃßõÀ» À§ÇÑ ÀÎÁö ÇнÀ ¹× Ãß·Ð ¿£Áø °³¹ß
  • ÀÛ¾÷±â¾ï ¸ðµ¨ ±â¹Ý ÃßõÀ» À§ÇÑ º¹Àâ È®·üÇÏÀÌÆÛ±×·¡ÇÁ ¸ðµ¨ ¿¬±¸
     - ÀÎÅÍ·¢Æ¼ºê Ãßõ »óȲ¿¡¼­ÀÇ Àΰ£ÀÇ ÀÛ¾÷ ±â¾ï Ư¼º ÀÎÁö ½ÇÇè
     - ³»¿ë±â¹Ý Ãßõ ÀÛ¾÷±â¾ï ¸ðµ¨¸µÀ» À§ÇÑ È®·üÇÏÀÌÆÛ±×·¡ÇÁ ¸ðµ¨ ¿¬±¸
     - Çൿ±â¹Ý Ãßõ ÀÛ¾÷±â¾ï ¸ðµ¨¸µÀ» À§ÇÑ È®·üÇÏÀÌÆÛ±×·¡ÇÁ ¸ðµ¨ ¿¬±¸
  • Sequential Bayesian Inference ±â¹ý¿¡ ÀÇÇÑ ÇнÀ°ú Ãß·Ð ¿¬µ¿ ±â¼ú °³¹ß
     - Continuous Lifelong ÃßõÀ» ¼öÇàÇÏ´Â ÀÎÁö ÇнÀ ¹× Ãß·Ð ¿£Áø °³¹ß
     - ´ë±Ô¸ð ÀÎÅÍ·¢Æ¼ºê ¶óÀÌÇÁ·Î±× µ¥ÀÌÅÍÀÇ È¿À²ÀûÀÎ ºÐ¼® ±â¹ý ¿¬±¸
     - ³»¿ë±â¹Ý°ú Çൿ±â¹Ý ¸ðµ¨À» °áÇÕÇÑ ÅëÇÕ Ãßõ ¿£Áø ¾ÆÅ°ÅØÃÄ ¿¬±¸

2014³â-Proactive Ãßõ ¼­ºñ½º Àû¿ë ¹× ¾ÈÁ¤È­
  • ½Ã¹ü ¼­ºñ½º¸¦ À§ÇÑ ¼º´É ¾ÈÁ¤È­ ±â¼ú ¿¬±¸
     - Proactive ¼­ºñ½º¸¦ À§ÇÑ ÀÎÁö Ãßõ ¿£Áø °³¼±
     - È¿À²¼º Á¦°í¸¦ À§ÇÑ ¿£ÁøÀÇ ¼º´É °³¼± ¿¬±¸
  • »êÇÐÇù·ÂÀ» ÅëÇÑ ½Ã¹ü ¼­ºñ½º ÃßÁø
     - ½Ã¹ü ¼­ºñ½º ¿µ¿ª¿¡ ´ëÇÑ ¿£ÁøÀÇ Æ¯È­ ¹× ¾ÈÁ¤È­
     - Cold Start¸¦ °í·ÁÇÑ ¼­ºñ½º ¿µ¿ª ¸ðµ¨¸µ
     - »õ·Î¿î Ȱ¿ë ºÐ¾ß ¹ß±¼ ¹× »ê¾÷ü ±â¼ú ÀÌÀü


 ¢Æ Target system to be developed  ¢Æ

¢Æ Publications ¢Æ


Project Title Cognitive Machine Learning and Inference Technologies for Intelligent Recommendation Services
Duration May 2010 - April 2015
Funding National Research Foundation (NRF)
Principal Investigator Prof. Byoung-Tak Zhang
Researchers

Jin-San Yang

Jung-Woo Ha

Min-Oh Heo

Ha-Young Jang

Byoung-Hee Kim

Soo-Jin Kim

Ji-Hoon Lee

Je-Keun Rhee

Ho-Sik Seok

Hyunwoo Kim

Jin-Seok Nam

Woongchang Yoon

Bado Lee

Myung-Goo Kang


Contact Kyung-min Kim
E-Mail kmkim -at- bi snu ac kr
Phone +82-2-880-1847
Fax +82-2-875-2240