即从假设空间中挑选出参数最优的模型的准则。模型的分类或预测结果与实际情况误差(损失函数)越小，模型就越好。那么策略就是误差最小。
即从假设空间中挑选模型的方法(等同于求解最佳的模型参数)。机器学习的参数求解通常会转化为最优化问题，故学习算法通常是最优化算法，例如最速梯度下降法、牛顿发以及拟牛顿法等。
模型在未进行训练前，其可能的参数是多个甚至无穷的，故可能的模型也是多个甚至无穷，这些模型的集合就是假设空间。
增强学习，以环境反馈(奖/惩信号)作为输入， 以统计和动态规划技术为指导的一种学习方法。