《PyTorch深度学习实践》课堂笔记 Lesson6 使用PyTorch实现Logistic回归

2024-02-19 23:39:40

文章目录

1.交叉熵
2.线性回归和Logistic回归的区别
3.实现过程
- 3.1源代码
- 3.2训练结果

1.交叉熵

若存在两个分布 P D 1 ( x ) , P D 2 ( x ) P_{D_1}\left( x \right) \,\,, P_{D_2}\left( x \right) PD1(x),PD2(x)交叉熵可以由以下公式表示：

∑ i P D ( x = i ) ⋅ ln ⁡ ( P T ( x = i ) ) \sum_i^{}{P_D\left( x=i \right) \cdot \ln \left( P_T\left( x=i \right) \right)} i∑PD(x=i)⋅ln(PT(x=i))

交叉熵可以用来衡量两个分布时间的相似性它的值越大，两个分布越相似，这个思想可用到我们的回归思想中，即预测值与实际值的分布越相似，效果越好

又由于要与前面模型的损失函数类似（在画损失函数图的时候loss函数呈现一个下降的方式（越小越好）），我们再在交叉熵的前面加上负号，所以后最终损失函数如下：

− ∑ i = 1 N ( y log ⁡ y ^ + ( 1 − y ) log ⁡ ( 1 − y ^ ) ) -\sum_{i=1}^N{\left( y\log \hat{y}+\left( 1-y \right) \log \left( 1-\hat{y} \right) \right)} −i=1∑N(ylogy^+(1−y)log(1−y^))

2.线性回归和Logistic回归的区别

若设回归方程为 y = w x + b y = wx +b y=wx+b则有
Logistic损失函数称为BCE(Binary Cross Entropy)

对比	线性回归	Logistic回归
损失函数（loss func）	l o s s = ( y ^ − y ) 2 = ( x w − y ) 2 loss = (\hat{y}-y)^2=(xw-y)^2 loss=(y^−y)2=(xw−y)2	l o s s = − ( y l o g y ^ + ( 1 − y ) l o g ( 1 − y ^ ) loss = -(ylog\hat{y}+(1-y)log(1-\hat{y}) loss=−(ylogy^+(1−y)log(1−y^)
函数输出	几何数值（直接通过大小衡量）	通过二进制交叉熵直接比较两个分布的差异性
正向指标	越小越好	越小越好（ y 与 y ^ y与\hat{y} y与y^的分布越接近越好）

3.实现过程

3.1源代码

# -*- coding:utf-8 -8-
"""
Author: FeverTwice
Date: 2021--08--03
"""

# import torch.nn.functional as F
import torch
import numpy as np
import matplotlib.pyplot as plt

#数据集导入
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])

#==========================================================#

# 定义函数模块
class LogsticRegressionModel(torch.nn.Module):
    # 构造函数部分
    def __init__(self):
        super(LogsticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    # 在function包上面调用sig函数
    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred

model = LogsticRegressionModel()

#==========================================================#

#构造logstic回归递归函数，并设置不用求和
criterion = torch.nn.BCELoss(size_average=False)

#选择优化方法
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 存储迭代数值
lost_vector = []
epoch_vect = np.arange(1, 1001)

#=================下面部分与上一章节的源代码的迭代部分相同========================

# 迭代训练循环
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
    lost_vector.append(loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data.item())

# 画图
plt.plot(epoch_vect,lost_vector)
plt.show()

3.2训练结果

# 写在最后本文章为[《PyTorch深度学习实践》完结合集](https://www.bilibili.com/video/BV1Y7411d7Ys?p=2&spm_id_from=pageDriver)课程对应的一些课后习题解答，仅为各位同志学习参考之用

各位看官，都看到这里了，麻烦动动手指头给博主来个点赞8，您的支持作者最大的创作动力哟！＜（＾－＾）＞
才疏学浅，若有纰漏，恳请斧正
本文章仅用于各位同志作为学习交流之用，不作任何商业用途，若涉及版权问题请速与作者联系，望悉知

码农公寓