一些implement 神经网络的代码

dense:fully connected layed

input layer:

NN: fully connected， hyperparameter，神经元数量，需要自己tune，数据量少，HP可以稍微少点，避免overfit。根据train performance和test performance 来tune 超参数：learning curve。 中间几层layer也算是超参数

output: 和prediction size一样，softmax函数，

compile network： 选择optimization方法：Adam和rmsprop，确定loss function， 选择metrica，训练的时候会print accuracy。

train——image的pre_processing：reshape，pixel value从0到1（input normalization）。

把label定义，one-hot encoding，从一味矩阵变成10*10

开始train网络，epoch=5轮，每组6万张图片，（每张图片训练5次）总共数据量30万次。batchsize：6万丈中每次选择128张一块训练求出y值，然后加起来128个之后总共backward propagation。

深度学习数据量越大，表新越好，传统机器学习会饱和。

AI可以计算机视觉，speech识别和生成：siri，语言理解：聊天机器人等等，广告，机器人。

为什么deep learning流行现在：新train 方法，大量的高质量标注数据集：imagenet，软件平台：google的tensorflow等等，pytorch等等， GPU的大量平行计算加快训练时间。

推荐课程：cs231n.stanford/edu.  2017年youtube视频，可以选择去看，然后可以对computer vision有深刻理解。

CNN大部分用于图像识别，recurrent NN适用于时序信息识别：音乐，文本，讲话，生成C++代码。强化学习：阿尔法狗。 GAN用于虚假图片的生成，模仿声音/照片，换脸技术。