文 | MLer
979字 | 3分钟阅读
感谢李宏毅老师的分享,他的课程帮助我更好地学习、理解和应用机器学习。李老师的网站:http://speech.ee.ntu.edu.tw/~tlkagk/index.html。这个学习笔记是根据李老师2017年秋季机器学习课程的视频和讲义做的记录和总结。因为这个视频是在Youtube上面,有些朋友可能无法观看,我把它搬运下来放在云盘上面,大家点击阅读原文,就可以直接在手机随时随地观看了。再次,感谢李老师的付出和贡献。
这门课,共有36个视频,每个视频播放的时间不一。我按着视频播放的顺序,观看,聆听和学习,并结合讲义,做学习笔记。我做学习笔记目的有三:
1 帮助自己学习和理解机器学习
2 记录机器学习的重要知识、方法、原理和思想
3 为传播机器学习做点事情
视频10:逻辑回归
一、问题定义
第一步:函数集,逻辑回归算法的表示,如下图:
第二步:函数集好坏度量(最大化好,最大化似然概率;最小化坏,最小化损失函数)
交叉熵:用于度量两个概率有多接近(真实概率与预测概率)
第三步:寻找最佳的函数,获取最佳函数对应的参数
二、逻辑回归与线性回归对比
如下图:
三、逻辑回归的损失函数
逻辑回归损失函数,为什么不用平方误差表示?
这个问题,李老师从数学分析和可视化分析,做了详细地介绍。我们容易发现,若用平方误差这种损失函数,在逻辑回归算法里面,不容易找到最优解。更详细的内容,请点击阅读原文,观看视频。
四、判别模型和生成模型
1)判别模型和生成模型对比
2)生成模型的优势
五、多分类问题
问题解决的思路,使用Softmax,如下图:
六、逻辑回归的局限性
异或逻辑,无法求解。如下图:
解决方案:
1) 特征变换 专家知识
问题:不总是容易找到最好的特征变换
2)逻辑回归多级级联 机器学习知识
由逻辑回顾过渡到神经网络和深度学习。
更纤细的内容,请点击http://47.112.229.252:8082/files/905bcca4-3b1a-4030-85f5-e3cf595cdfb1/ML%20Lecture%205_%20Logistic%20Regression.mp4,观看视频。
思考题:
1 逻辑回归与线性回归有什么区别?
2 逻辑回归的损失函数如何设计和构建?
3 逻辑回归算法的局限性?
4 多分类问题的解决方案?
5 逻辑回归与神经网络的关系?