损失函数：度量模型一次预测的好坏

经验函数：度量模型平均意义下的预测好坏

输出预测值F（x）与实际值Y可能不一致也可能一致，损失函数（Loss function）可以度量一次预测，记作L（Y，F（x）），常用的的损失函数有以下几种：

1，0-1损失函数

2，平方损失函数

3，绝对损失函数

4，对数损失函数或者对数似然损失函数

损失函数数值越小，模型就越好。

给定一个训练数据集：

那么关于这个数据集的平均损失称为：经验风险或者经验损失：

期望风险是模型关于联合分布的期望损失，经验风险估计期望风险往往都不理想，需要对经验风险进行一定的矫正，这就需要监督学习的两个策略：经验风险最小化，结构风险最小化。

经验风险最小化：

机构风险最小化：

当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差，就成为学习方法评估的标准。

训练数据集平均损失记作：

测试数据集的平均损失记作：

如果损失函数式0-1损失函数时，那么测试数据集上的错误率：

这里的 I 是指示函数，即 Y ≠ f(x) 时为1，等于为0

相应的数据集上的正确率为：

所以上面两者相加是=1的