一件事情我们规律总结的不准,原因是什么?是不是因为我们观察的不够细或者说观察的维度不够多呢?当我们掷一个骰子,我们清楚的知道他掷出的高度,落地的角度,反弹的力度等等信息,那上帝视角的我们是一定可以知道他每次得到的点数的.我们观测不到所有的信息,所以我们认为每次投骰子得到的点数是不确定的,是符合一定概率的,未观测到的信息我们称为误差.

所以，只要观察的维度够多，数据够多，理论上是可以无限趋近于上帝视角的。

• epoch: 整个数据集往模型里输送了多少次，跑完一遍数据集就是一次epoch；

为什么要过好几遍，一遍还算不出来最佳模型吗？看来是的，据说是因为dataset是有限的。

• dataset = batch_size * number of batches；
• 一个batch计算完就是一次iteration，一个dataset分成了几个batch，跑完一次epoch（整个dataset）就需要几次iteration；

所以：dataset * epoch = batch_size * iteration