LEONN

Learning and Evolution of Neural Networks

본 연구는 과학 기술부의 뇌 개발 사업의 일환으로 진행되고 있으며 모델링 팀의 최종 목표는 생물학적 신경망의 동적 특성과 작동 원리에 기초한 새로운 시간적 정보 처리의 원천 기술을 개발하는 것이다

.

 

1차년도의 목표는 신경망 모델의 복잡도와 학습 데이터의 복잡도 및 이들간의 상호 관계를 수학적으로 분석하고 이 이론적 결과를 건설적 학습 알고리즘의 성능 분석에 적용하고자 하는 것이다. 이러한 연구의 결과는 추후 일반화 성능이 보다 뛰어난 새로운 신경망 모델과 학습 알고리즘을 제안하기 위한 초석이 되리라 기대된다. 본 연구를 수행하기 위한 세부적인 진행 내용은 다음과 같다.

  • 일반화 성능과 신경망 구조의 복잡도 관계의 수학적 분석
    • Principle of Occam's Razor
    • Computational Learning Theory
    • Statistical Learning Theory
  • 일반화 성능과 데이터 복잡도의 관계 분석
    • Probably Approximately Correct(PAC) 학습 모델 연구
    • Model Complexity와 Sample Complexity 관계 분석
    • Statistical Learning Theory에 기반한 Sample Complexity 분석
  • Regularization 기법을 이용한 복잡도 축소 및 일반화 향상 기법
    • VC Dimension 분석
    • Empirical Risk Minimization
    • Structural Risk Minimization
  • 학습 이론에 근거한 건설적 학습 알고리즘의 분석
    • 작은 크기로 출발하여 망 구조의 성장에 의한 구조 최적화
    • ERM, SRM 기반의 Statistical Learning Theory적 분석
    • 일반화 성능 향상을 위한 건설적 알고리즘의 개선 방향 연구

2차년도의 목표는 시공간 패턴처리를 위한 신경망을 모델링하고 이를 최적화하고자 하는 것이다. 이를 위해 시공간 데이터의 특성을 분석하고, 확률적, 통계 물리학적 접근 방법을 이용하여 청각 데이터 중심의 시간적 특성 코딩 방법을 연구한다. 그리고 이러한 데이터에 적합환 신경망을 모델링하고 실제의 청각 데이터를 이용한 실험을 진행한다. 그리고 그 학습 결과를 이용하여 시공간 패턴 처리를 위한 신경망의 구조 최적화에 관한 기법을 연구한다.

 

년도

목표

     1998.11 ~ 1999. 7

  신경망의 복잡도와 일반화 성능 관계 분석

     1999. 8 ~ 2000. 7

   시공간 패턴 처리를 위한 생물학적 신경망과 최적화

     2000. 8 ~ 2001. 7

   감각 정보 처리를 위한 신경망 학습 및 진화 기법

Publications

  • Efficient Model Induction by a Bayesian Evolutionary Algorithm with Incremental Data Inheritance, Byoung-Tak Zhang, Je-Gun Joung, 1998 (submitted to IEEE Transactions on Evolutionary Computation)
  • Bayesian Methods for Efficient Genetic Programming, Byoung-Tak Zhang, Genetic Programming and Evolvable Machines, vol. 1, no 3., 2000 (to appear)
  • Active Data Partitioning for Building Mixture Models, Suk-Joon Kim, Byoung-Tak Zhang, International Conference of Neural Information Processing, vol. 2, pp. 854-857, 1998
  • Combining Locally Trained Neural Networks by Introducing a Reject Class, Suk-Joon Kim, Byoung-Tak Zhang, International Joint Conference on Neural Networks 1999, (CD version)
  • Temporal Pattern Recognition using a Spiking Neural Network with Delays, Jeongh-Woo Sohn, Byoung-Tak Zhang, International Joint Conference on Neural Networks, 1999, (CD version)
  • A Bayesian Framework for Evolutionary Computation, Byoung-Tak Zhang,  IEEE 1999 Congress on Evolutionary Computation, pp. 722-727, 1999.
  • Time Series Prediction using Committee Machines of Evolutionary Neural Trees, Byoung-Tak Zhang, Je-Gun Joung, IEEE 1999 Congress on Evolutionary Computation, pp. 281-286, 1999
  • 지역 위원회의 구축과 결합, 김석준, 장병탁, 춘계 정보과학회지, vol. 26, no. 1, pp. 254-256, 1999
  • 지역적 특성을 가지는 Committee Machine의 일반화 성능 향상을 위한 선형적 지식 추정 기법, 인공지능, 신경망, 퍼지 시스템 종합학술대회 (JCEANF 99), pp. 205-212, 1999
  • Time Series Prediction Using Committee of Evolutionary Neural Trees, Byoung-Tak Zhang, Je-Gun Joung, 1999 (submitted)
  • A Bayesian Evolutionary Approach to the Design and Learning of Heterogeneous Neural Trees, Byoung-Tak Zhang, Je-Gun Joung, Dong-Yeon Cho, 2000 (submitted)
  • Using Stochastic Helmholtz Machine for Text Learning, Jeong-Ho Chang and Byoung-Tak Zhang, 19th International Conference on Computer Processing of Oriental Languages (ICCPOL), 2001

Project Title

Learning and Evolution of Neural Networks

Sponsor

Ministry of Science and Technology

Principal Investigator

Prof.Byoung-Tak Zhang

Researchers

SeongBae Park

JeongHo Chang

JangMin O

KyuBaek Hwang

DongYeon Cho

Sun Kim

Duration

November 1998 - July 2001

Superintendent Research Institute

Pohang University of Science and Technology

Cooperative Research Institute

Seoul National University, Chungbuk National University