- 定义:以房屋为例,除了面积外,还有其他因素,如房屋卧室数目,层数等来共同影响房屋的价格,这些因素共同组成一个可以输入的行向量注:b可以看作是基线,即房屋起价注:Multiple linear regression——多元线性回归可以用两个行向量的点乘来简化【矢量化】
矢量化
- np.dot——把code简化,提高运行速度注:python的代码计数从0开始,因此range(0,n)实际代表的是0—n-1
- 例:矢量化实现并行计算
梯度下降用于多元线性回归
- 定义:矢量化的过程
- 梯度下降:更新W1—Wn
- 梯度下降实现:
- 功能缩放:
- 对于较大的x,模型对w的预测需要尽可能小
- 如何进行缩放:注:这是通过分别除最大值来实现的缩放注:均值归一化注:Z-score均一化
- 总结:
- 检查梯度下降是否收敛:
- 关于学习曲线:如果J在迭代的过程中上升意味着学习率α太大,或者是代码错误!
- 自动收敛测试:如果J的减少幅度小于ε,课证明收敛
- 选择学习率:
- 学习率过高的危害:
- 尝试一系列不同的α值
- 功能缩放: