《PyTorch深度学习实践》第三讲 反向传播

问题描述

问题分析

编程实现

代码

import torch
# 数据集
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
# w权重
w = torch.tensor([1.0])
w.requires_grad = True  # 需要计算梯度

# 前馈计算
def forward(x):
    return x * w  # w 是tensor

# 计算损失
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print("predict (before training)", 4, forward(4).item())
# 训练
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print('\tgrad:',x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data   # 获得梯度 取张量data,注意grad也是一个tensor

        w.grad.data.zero_()  # 将每轮求得的梯度清零

    print("progress:", epoch, l.item()) # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）

print("predict (after training)", 4, forward(4).item())
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

实现效果

参考文献

传送门反向传播