笔记|李宏毅老师机器学习课程,视频10逻辑回归

| MLer

979字 | 3分钟阅读

感谢李宏毅老师的分享,他的课程帮助我更好地学习、理解和应用机器学习。李老师的网站:http://speech.ee.ntu.edu.tw/~tlkagk/index.html。这个学习笔记是根据李老师2017年秋季机器学习课程的视频和讲义做的记录和总结。因为这个视频是在Youtube上面,有些朋友可能无法观看,我把它搬运下来放在云盘上面,大家点击阅读原文,就可以直接在手机随时随地观看了。再次,感谢李老师的付出和贡献。

这门课,共有36个视频,每个视频播放的时间不一。我按着视频播放的顺序,观看,聆听和学习,并结合讲义,做学习笔记。我做学习笔记目的有三:

1 帮助自己学习和理解机器学习

2 记录机器学习的重要知识、方法、原理和思想

3 为传播机器学习做点事情

视频10:逻辑回归

一、问题定义

第一步:函数集,逻辑回归算法的表示,如下图:

第二步:函数集好坏度量(最大化好,最大化似然概率;最小化坏,最小化损失函数)

交叉熵:用于度量两个概率有多接近(真实概率与预测概率)

第三步:寻找最佳的函数,获取最佳函数对应的参数

二、逻辑回归与线性回归对比

如下图:

三、逻辑回归的损失函数

逻辑回归损失函数,为什么不用平方误差表示?

这个问题,李老师从数学分析和可视化分析,做了详细地介绍。我们容易发现,若用平方误差这种损失函数,在逻辑回归算法里面,不容易找到最优解。更详细的内容,请点击阅读原文,观看视频。

四、判别模型和生成模型

1)判别模型和生成模型对比

2)生成模型的优势

五、多分类问题

问题解决的思路,使用Softmax,如下图:

六、逻辑回归的局限性

异或逻辑,无法求解。如下图:

解决方案:

1) 特征变换 专家知识

问题:不总是容易找到最好的特征变换

2)逻辑回归多级级联 机器学习知识

由逻辑回顾过渡到神经网络和深度学习。

更纤细的内容,请点击http://47.112.229.252:8082/files/905bcca4-3b1a-4030-85f5-e3cf595cdfb1/ML%20Lecture%205_%20Logistic%20Regression.mp4,观看视频。

思考题:

1 逻辑回归与线性回归有什么区别?

2 逻辑回归的损失函数如何设计和构建?

3 逻辑回归算法的局限性?

4 多分类问题的解决方案?

5 逻辑回归与神经网络的关系?