|
課程名稱 |
腦理論
Brain Theory |
|
開課學期 |
109-2 |
|
授課對象 |
學程 神經生物與認知科學學程 |
|
授課教師 |
劉長遠 |
|
課號 |
CSIE7434 |
|
課程識別碼 |
922 U0100 |
|
班次 |
|
|
學分 |
3.0 |
|
全/半年 |
半年 |
|
必/選修 |
選修 |
|
上課時間 |
星期三7,8,9(14:20~17:20) |
|
上課地點 |
|
|
備註 |
曾修類神經網路。上課地點：資310。
限學士班四年級以上
總人數上限：30人 |
|
|
|
|
課程簡介影片 |
|
|
核心能力關聯 |
核心能力與課程規劃關聯圖 |
|
課程大綱
|
|
為確保您我的權利,請尊重智慧財產權及不得非法影印
|
|
課程概述 |
Neural Networks
Syllabus:
Foundation
Perceptron
Multi-Layer Perceptron (MLP) plus tiling algorithm
Hopfield model
Elman Network
Self-Organizing Map (SOM)
Reinforcement learning (RL)
Lecture notes on Neural Networks, Cheng-Yuan Liou
see Class Websites:
https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html
課程內容與類神經網路相同 作業與 project 一樣 |
|
課程目標 |
classification, recognition, learning
註: 要加選同學請自行上網加選 |
|
課程要求 |
project, home assignments, exam
只需 Basic Calculus
作業 第二部分(II), 與 project 任一題作完整 學期成績 A-
兩題都作完整 學期成績 A
Skip: 作業 第ㄧ部分(I)
tiling algorithm
code + ppt in
https://www.csie.ntu.edu.tw/~cyliou/red/NN/Demo/demo.html
paper in
https://pdfs.semanticscholar.org/a8c9/c463b17a63380f3dd0d62e034d9c76411de2.pd做出 paper 內的 Table 1數據
作業 第二部分 (II)
Uni-perceptron (augmented bi-perceptron)
Data set MNIST 數量{ pn , n=1 ~ 60000=N} , 多少屬性 D=28 X 28 pixels (B/W)
https://scidm.nchc.org.tw/dataset/mnist 手寫字
J=10 classes {C0, C1, C2, .., Cj, … , CJ=9}
步驟一
為每一個 pattern, pn? Cj , 找出屬於他的兩個集合 { pn1} 和 { pn 2}. { pn1} 含 784 個與pn 最近的patterns, pm ,但不屬於 pn的Class Cj,
{ pn1}={pm , m=1~784 | pm? Cj }.
做一個 hyperplane (784 dimensions)通過這 784個最近的 patterns, { pn1} . hyperplane 在 pn 的那一邊設定為為正號.
步驟二
{ pn 2} 含所有為正號的 patterns 且屬於Cj (與 pn在此hyperplane
同一邊). 正號的 patterns 數量為 |{ pn 2}| .
因此一共有 60000 個 { pn1} 和 60000 { pn 2}.
步驟三
找出{ pn 2}內與此hyperplane最近的一個 pattern, pu?{ pn 2} 將此hyperplane 平移到距此 pu一半的距離, 自pu作法線垂直於此 hyperplane.
步驟四
對任一class Cj 選 max{|{ pn 2}|; pn ? Cj }值為最大的集合 { pn 2}1 定出其平移後的hyperplane 為第一個得出的perceptron 的weights.
之後將集合 { pn 2} 內的patterns 從class Cj中剔除 從剩餘的集合內找出最大的集合, max{|{ pn 2}|; pn ? Cj and pn ? { pn 2}1}, { pn 2}2 定出其平移後的hyperplane 為第二個得出的perceptron 的weights. 注意 { pn 2}1∩{ pn 2}2 =.O
依此類推找出最少數量的幾個perceptron or neurons
{{ pn 2}1 , { pn 2}2 ,{ pn 2}3 ,…; { pn 2}a∩{ pn 2}b =.O for a≠b} 含所有Cj 內的 patterns , 這幾個 { pn2}a 之一與其對應的 hyperplane or perceptron 會對任一Cj 內的pattern 輸出為 正號 但對其他classes 的 所有patterns輸出為 負號 . (選最大集合及消去法 類似於 Chapter 3 內 bi-perceptron 最少量幾個寬帶狀 strips )
**** Project Chapter 6 ‘ETAM’ Eq.(7---12)
Project Chapter 6 ‘ETAM’ Eq.(7---12)
Code in https://www.csie.ntu.edu.tw/~cyliou/red/demo/hairy/index.html
'et-AM' ! 'C code' + 'M file'
Data set MNIST 數量P=60000 , 多少屬性 N=28 X 28 pixels (B/W)
Training dataset=55000 ; Testing dataset=5000.
Part I
https://scidm.nchc.org.tw/dataset/mnist 手寫字
Window size = 5 X 5 pixels (convolution)
Total neurons = 28 X 28=784 in square grid points
Total weights
=784 X 5 X 5 (including 4 edges and 4 corners) + 784 thresholds
Note: delete all weights outside the window for each neuron
Note that wij ≠ wji and wii≠0
Part II
Augument one standard digit for each handwritten digit in the dataset, see the 10 digits with 96 pixels (8X12) in Chapter 6.
Total neurons for the layer = 784 + 96
Total weights = 784 X 25 + 784 (thresholds) + 784 X 96 + 96X96+
96 (thresholds)
Then apply the algorithm in ETAM’ Eq.(7---12) training the neural network.
Any testing data will be associated with an unknown pattern, 96 pixels,
that has assigned with 96 ‘0’ as input..
Note that wij ≠ wji and wii≠0
** CNN hard for rotation and scale invariance.
Solved by vastly enlarging the dataset with different
rotations and/scales of patterns
** 4 X 2 replications of the saved dataset 圍棋 in training
|
|
預期每週課後學習時數 |
|
|
Office Hours |
另約時間 備註： 預約時間 |
|
指定閱讀 |
https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html |
|
參考書目 |
lecture notes in
https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html |
|
評量方式
(僅供參考) |
|
|
週次 |
日期 |
單元主題 |
|
第1週 |
2/24 |
Overview
Foundation
Chapter 1
Perceptron perceptron in Chapter 1 |
|
第2週 |
3/03 |
MLP
Tiling algorithm
Chapter 4 + Chapter 3 |
|
第3週 |
3/10 |
Chapter 6
RL |
|
第4週 |
3/17 |
RL paper
Neuronlike adaptive elements that can solve difficult learning control problems
https://ieeexplore.ieee.org/document/6313077
video MIT 6.S191 Lecture 6
https://www.youtube.com/watch?v=xWe58WGWmlk
Deep learning
Hinton's video |
|
第5週 |
3/24 |
Hinton's Deep learning
https://www.youtube.com/watch?v=AyzOUbkUf3M&t=637s
Lecture 10.5 — Dropout [Neural Networks for Machine Learning]
https://www.youtube.com/watch?v=vAVOY8frLlQ
Neural networks [5.1] : Restricted Boltzmann machine - definition
Hugo Larochelle
https://www.youtube.com/watch?v=p4Vh_zMw-HQ&t=222s
CNN
https://www.youtube.com/watch?v=WUZhLzaD3b8
http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf
neocognitron
https://www.youtube.com/watch?v=Qil4kmvm2Sw
https://www.rctn.org/bruno/public/papers/Fukushima1980.pdf |
|
第6週 |
3/31 |
on language
NetTalk + BP
https://papers.cnl.salk.edu/PDFs/NETtalk_%20A%20Parallel%20Network%20That%20Learns%20to%20Read%20Aloud%201988-3562.pdf |
|
第7週 |
4/07 |
on language
Elman network
paper in
https://www.csie.ntu.edu.tw/~cyliou/red/Publications.htm
J.35. Cheng-Yuan Liou, Chen-Wei Cheng, Jiun-Wei Liou, and Daw-Ran Liou, Autoencoder for Words, Neurocomputing, vol. 139, pages 84-96, 2014.
Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award
https://www.youtube.com/watch?v=Zg9kgTQoskA&t=2714s
Geoff Hinton - Recent Developments in Deep Learning
https://www.youtube.com/watch?v=vShMxxqtDDs
Geoffrey Hinton: What is wrong with convolutional neural nets?
https://www.youtube.com/watch?v=Jv1VDdI4vy4
Geoffrey Hinton – Capsule Networks
https://www.youtube.com/watch?v=x5Vxk9twXlE |
|
第8週 |
4/14 |
交作業
SOM
The self-organizing map by T. Kohonen
https://sci2s.ugr.es/keel/pdf/algorithm/articulo/1990-Kohonen-PIEEE.pdf |
|
第9週 |
4/21 |
Chapter 5
SIR-kernel
SIR-som |
|
第10週 |
4/28 |
Hopfield model
https://www2.cs.sfu.ca/CourseCentral/414/li/material/refs/Lippmann-ASSP-87.pdf
http://www.bcp.psych.ualberta.ca/~mike/Pearl_Street/PSYCO452/pdfstuff/Supplements/Tank1.pdf
pattern recognition STD method
J.10. Cheng-Yuan Liou and Hsin-Chang Yang (1996). Handprinted character recognition based on spatial topology distance measurement. IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.18, no.9, pages 941-945. |
|
第11週 |
5/05 |
Hopfield model
Collective Computation in Neuronlike Circuits
http://www.bcp.psych.ualberta.ca/~mike/Pearl_Street/PSYCO452/pdfstuff/Supplements/Tank1.pdf
self organizing map
J.25 + J.16 in
https://www.csie.ntu.edu.tw/~cyliou/red/Publications.htm
|
|
第12週 |
5/12 |
Komogorov theorem
MLP+NetTalk
Boltzmann machine
複習
STD + Capsule network
交 Project |
|
第13週 |
5/19 |
測驗 線上 考題 2:20pm 公布在此 答案 3:10pm 以前寄給助教
線上測驗 姓名 學號 系級
Neural Networks, final 測驗, 2021, 2:20pm-3:10pm, 總共四題
1. AI史上首先提出方法做到 “對任意, 灰階或binary資料庫, training data set 100% 正確率且可承受雜訊比SNR, 雪花型雜訊” 是哪一年?
2. 第五章直接算出 weights 不需要 training 的圖在哪一個投影片上第幾頁?
3. Chapter 3 與 Vapnik’s SVM(1992) 最重大區別是 (限二十字以內)
4. Uni-perceptron 的投影片與 code 在 red網站哪一部分? 投影片畫有哪五個 Uni-perceptron 的特徵 (限三十字以內)
{https://www.csie.ntu.edu.tw/~cyliou/red/NN/}
在 red網站哪一部分?
特徵一
特徵二
特徵三
特徵四
特徵五 |
|
第14週 |
5/26 |
輔導
推薦閱讀
V-C dimension
https://en.wikipedia.org/wiki/Vapnik%E2%80%93Chervonenkis_dimension
https://www.youtube.com/watch?v=puDzy2XmR5c |
|
第15週 |
6/02 |
輔導
推薦閱讀 SVM by Prof. Patrick H. Winston
https://www.youtube.com/watch?v=_PwhiWxHK8o&t=13s |
|
第16週 |
6/09 |
寄給助教
交作業 + project |
|
第17週 |
6/16 |
輔導
推薦閱讀
On the Computational Complexity of Deep Learning
http://lear.inrialpes.fr/workshop/osl2015/slides/osl2015_shalev_shwartz.pdf |
|