科创Neural Network第一帖！ 感谢为机器学习版块添砖加瓦，内容很严谨充实。
提一点小建议：
- 学习NN尽量参考2012年以后的资料，因为在这之后出现了很多重要的算法和思路，比如楼主位提到的 sigmoid activation function，现在已经广泛被ReLu所代替，同时引入了dropout layer来增加网络的稀疏性，另外还有针对图像数据的CNN等等，很大程度上改变了NN的结构和性能。
- 粗略看了下github的代码，像是一个multi-layer perceptron，你提到的数据溢出的问题很有可能出在这里：
double sigmoid(double x)
{
return (1.0/(1.0+exp(x)));
}
计算sigmoid时，在未对exp运算做特殊处理的情况下，数据溢出几乎是100%会发生的，因为cpp里double最大只能到1.7e307，此时对应的log只有710左右。关于解决这个问题的思路，可以参考这个blog。欢迎多多交流