Introduction to Machine Learning
  • 2017 Fall Undergraduate Course in Computer Science and Engineering and Brain-Mind-Behavior Concentration Program
  • Instructor: Prof. Byoung-Tak Zhang
  • Main TA: Hanock Kwak (Room: 302-314-1, Tel.: 010-2665-1237, Email: hnkwak@bi.snu.ac.kr)
  • Sub TA: Joonho Kim (Room: 302-314-1, Tel.: 010-3229-9087, Email: joonhokim@bi.snu.ac.kr)
  • Classroom: 302-106
  • Time: Tue & Thu, 11:00-12:15
  • Reference: 장병탁 (2017). 장교수의 딥러닝, 홍릉과학출판사
  • Evaluation:
    • Two exams (70%)
    • Project (20%)
    • Participation and discussion (10%)
  • Announcement:
    • (07/25) 기계학습 개론 수업에 오신 것을 환영합니다.
    • (09/11) 프로젝트 설명입니다.  
    • (09/14) 텐서플로우 기본자료입니다.  
    • (09/20) 10/10(화) 19:00 ~ 21:30 보강입니다.
    • (09/20) 10/17(화) 23:59 프로젝트 제안서 마감입니다. [ETL 제출]
      제안서는 첨부된 형식에서 제목/요약/서론/참고문헌 부분만 1~2페이지 정도로 작성하시면 되고,
      문제정의/관련연구/시도할 방법에 관한 내용이 포함되어야 합니다.  
    • (11/02) 11:00 ~ 12:15 라쿠치나 건물에서 열리는 PACS 2017 참여하는 것으로 대체됩니다.
      프론트 데스크에서 출석 체크를 할 예정이니 꼭 참석해주세요.
      PACS 2017 홈페이지 
    • (11/07) 중간고사 성적이 공개되었습니다. 클레임 302동 314-1호 11/13(월) 18:00~20:00
      여기를 눌러주세요. 
    • (12/15) 기말고사 성적이 공개되었습니다. 클레임 302동 314-1호 12/19(화) 11:00~12:00
      여기를 눌러주세요. 
  • Course Description:
    • Machine learning studies architectures and algorithms for automatically constructing models (or computer programs) from observed data. Machine learning systems design software not by manual programming but by automatic programming through feeding data, and thus can improve their performance on their own by observing more data. Deep learning is a class of machine learning models that employs many layers of neural network structures and, recently, has revolutionized the AI industry by solving many difficult problems, such as image recognition, speech recognition, natural language processing, self-driving cars, and autonomous robots. This course gives an introduction to machine learning and neural networks with an emphasis on deep learning models. We study the basic mathematical algorithms of various deep learning models and their applications in vision, speech, language, robotics, games, and digital media. Course attendants are expected to do their own deep learning AI project on a problem given or chosen by the participant.

    • Lecture Schedule
    • Week Topics Slides
      Week 1
      (9/5)

      머신러닝 개요

      • 머신러닝의 특성
      • 프로그래밍 방식과의 차이점
      • 산업적 응용 사례
      • 역사와 최근 발전 동향
       
      (9/7)

      신경망

      • 퍼셉트론
      • 델타규칙
       

      Week 2

      (9/12, 9/14)

      신경망

      • 다층퍼셉트론
      • 오류역전파 알고리듬
      • 활용 사례
       

      Week 3

      (9/19, 9/21)

      딥러닝과 정규화

      • 딥러닝 개념과 혁신점
      • 딥러닝 아키텍쳐
      • 딥러닝 모델의 비교
      • 모델복잡도 이론과 정규화
      • 편향분산 분석
       

      Week 4

      (9/26, 9/28)

      • 컨볼루션 신경망 (자율학습)
       

      Week 5

      (10/3, 10/5)

      • 추석 연휴
      Week 6
      (10/10)

      컨볼루션 신경망

      • 컨볼루션 신경망의 기본 개념
      • AlexNet
      • DeepFace
      • GoogLeNet
      (10/10 11:00~12:15 정상수업)
      (10/10 19:00~21:30 보강)
       

      (10/12)

      딥빌리프넷

      • RBM 구조
      • RBM 학습
      • 딥빌리프넷(DBN)
      • 응용사례
       

      Week 7

      (10/17)

      딥하이퍼넷

      (10/17 23:59 프로젝트 제안서 마감)

      • 하이퍼넷 구조
      • 하이퍼넷 학습
      • 하이퍼넷 응용사례
      • 딥하이퍼넷
      • 딥하이퍼넷 응용사례
       

      (10/19)

      컨볼루션넷 실습

       

      Week 8

      (10/24)

      • 중간고사(10/24)

      (10/26)

      순환신경망

      • 순환신경망의 구조
      • 순환신경망의 학습
       

      Week 9

      (10/31)

      컨볼루션넷 실습 2

      (11/2)

      PACS 2017 참여

      Week 10

      (11/7)

      순환신경망

      • 장단기 메모리망(LSTM)
      • 장단기 메모리망의 변형과 확장
      • 순환신경망의 활용
       

      (11/9)

      딥 강화학습

      • 강화학습과 MDP 문제
      • MC 학습과TD 학습
      • Sarsa와 Q학습 알고리듬
      • 딥큐넷(DQN)
      • 딥강화학습의 활용: AlphaGo
       

      Week 11

      (11/14, 11/16)

      뉴럴튜링머신

      • 뉴럴튜링머신(NTM)의 구조
      • NTM의 읽기 및 쓰기 연산
      • NTM의 주소지정 메커니즘
      • 메모리넷(MemNet)
       

      Week 12

      (11/21)

      종단학습모델

      • 인코더디코더모델(EncDec)
      • 문장대문장모델(Seq2Seq)
      • 종단학습메모리넷(MemN2N)
      • 활용사례: 기계번역(NMT)
       

      (11/23)

      대립학습모델

      • 변별모델과생성모델
      • 정보이론과상대엔트로피
      • 생성대립넷(GAN)
      • 딥컨볼루션생성대립넷(DCGAN)
      • 양방향생성대립넷(BiGAN)
       

      Week 13

      (11/28)

      잔차학습모델

      • 딥잔차넷(DRN)
      • 암묵적 앙상블 잔차넷
      • 멀티모달 잔차넷(MRN)
      • 응용사례: 시각대화 챗봇
       

      (11/30)

      프로젝트 설명회

      Week 14

      (12/7)

      기말고사

      Week 15

      (12/14)

      프로젝트 최종보고서 마감