[强化学习总结5] 梯度策略方法

1. 这个方法其实是基于蒙特卡洛方法，采样trajectory轨迹来估计动作价值（轨迹的discounted return）。
2. 起初乍一看梯度策略算法（REINFORCE 算法）和dqn很像，网络都是输入为state，输出位action。但是输出其实是不一样的，策略函数输出的是概率，q网络输出的是action value。
   1. REINFORCE 算法的输出是经过softmax所以他的输出其实是概率，所以其实REINFORCE 算法是分类任务；
   2. 而dqn网络输出是不经过激活的，他是回归一个value，所以dqn是回归任务，看loss也可以看出来。
3. REINFORCE 算法是基于蒙特卡洛方法，先根据先前的策略采样得到一个trajectory（轨迹），然后根据这个数据进行优化策略。
   1. 下面会讲到 其实loss就是一个G（discounted return）作为权重的log loss，所以假设吧很多很多trajectory放在一起看到花，可以看到同一个state下面，不同的action的权重不一样，那么网络就会去学习好的G的action的参数，所以策略会越来越好。

1 loss对比

1.1 REINFORCE 算法loss

log_prob = torch.log(self.policy_net(state).gather(1, action))
G = self.gamma * G + reward
loss = -log_prob * G  # 每一步的损失函数

可以看到：

• loss 其实是一个log loss，G可以看做是加权，越大的return（G）策略越好，所以对网络参数优化的越多。
• log_prob 是state下面action的概率。所以要是这个action得到的G很高，那么他的权重就很高，那么就是好的，不好的话G就很低。

1.2 dqn算法loss

 

q_values = self.q_net(states).gather(1, actions)  # Q值
# 下个状态的最大Q值
max_next_q_values = self.target_q_net(next_states).max(1)[0].view(-1, 1)
q_targets = rewards + self.gamma * max_next_q_values * (1 - dones)  # TD误差目标
dqn_loss = torch.mean(F.mse_loss(q_values, q_targets))  # 均方误差损失函数

2 网络输出对比

2.1 REINFORCE 算法

 

class PolicyNet(torch.nn.Module):
    def __init__(self, state_dim, hidden_dim, action_dim):
        super(PolicyNet, self).__init__()
        self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
        self.fc2 = torch.nn.Linear(hidden_dim, action_dim)
 
    def forward(self, x):
        x = F.relu(self.fc1(x))
        return F.softmax(self.fc2(x), dim=1)

• 可以看到输出的是概率，所以说这个是基于策略（policy-based），因为策略的定义就是state下的action概率。基于价值（value-based）的是学习价值，也就是回归一个值出来。虽然最后都是取概率大的或者是值大的，但是区别就是这样。

2.2 dqn算法

 

class Qnet(torch.nn.Module):
    ''' 只有一层隐藏层的Q网络 '''
    def __init__(self, state_dim, hidden_dim, action_dim):
        super(Qnet, self).__init__()
        self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
        self.fc2 = torch.nn.Linear(hidden_dim, action_dim)
 
    def forward(self, x):
        x = F.relu(self.fc1(x))  # 隐藏层使用ReLU激活函数
        return self.fc2(x)

• 网络输出没有激活，输出的是值。