TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）

I. 前言

前面几篇文章中介绍的都是单向LSTM，这篇文章讲一下双向LSTM。

系列文章：

1. 深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
2. PyTorch搭建LSTM实现时间序列预测（负荷预测）
3. PyTorch中利用LSTMCell搭建多层LSTM实现时间序列预测
4. PyTorch搭建LSTM实现多变量时间序列预测（负荷预测）
5. PyTorch搭建双向LSTM实现时间序列预测（负荷预测）
6. PyTorch搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出
7. PyTorch搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测
8. PyTorch搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测
9. PyTorch搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
10. PyTorch搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
11. PyTorch中实现LSTM多步长时间序列预测的几种方法总结（负荷预测）
12. PyTorch-LSTM时间序列预测中如何预测真正的未来值
13. PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
14. PyTorch搭建ANN实现时间序列预测（风速预测）
15. PyTorch搭建CNN实现时间序列预测（风速预测）
16. PyTorch搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
17. PyTorch搭建Transformer实现多变量多步长时间序列预测（负荷预测）
18. PyTorch时间序列预测系列文章总结（代码使用方法）
19. TensorFlow搭建LSTM实现时间序列预测（负荷预测）
20. TensorFlow搭建LSTM实现多变量时间序列预测（负荷预测）
21. TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）
22. TensorFlow搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出
23. TensorFlow搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测
24. TensorFlow搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测
25. TensorFlow搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
26. TensorFlow搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
27. TensorFlow搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
28. TensorFlow搭建ANN实现时间序列预测（风速预测）
29. TensorFlow搭建CNN实现时间序列预测（风速预测）
30. TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
31. PyG搭建图神经网络实现多变量输入多变量输出时间序列预测
32. PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
33. PyG Temporal搭建STGCN实现多变量输入多变量输出时间序列预测
34. 时序预测中Attention机制是否真的有效？盘点LSTM/RNN中24种Attention机制+效果对比
35. 详解Transformer在时序预测中的Encoder和Decoder过程：以负荷预测为例

II. 原理

如果想利用TensorFlow来实现双向LSTM，则需要用到tf.keras.layers.Bidirectional，关于Bidirectional，官方API描述如下：

tf.keras.layers.Bidirectional(
    layer, merge_mode='concat', weights=None, backward_layer=None,
    **kwargs
)
1
2
3
4

其中：

1. layer：可以为LSTM或者GRU。
2. merge_mode：如PyTorch搭建双向LSTM实现时间序列预测（负荷预测）中描述，双向LSTM最终会得到两个方向上的输出，输出维度为(batch_size, seq_len, 2 * hidden_size)，我们可以对两个方向上的输出按照多种方式进行组合，但PyTorch需要手动拆分然后实现组合。在TensorFlow中，我们可以通过Bidirectional的merge_model参数定义组合方式，具体有(sum, mul, concat, ave, None)五种方式，默认为concat，也就是将两个输出拼接在一起。如果为None，则不进行组合，而是将两个方向上的输出以列表形式返回，这样可以让使用者自定义其他组合方式。
3. backward_layer：用于处理向后输入处理的实例。如果未提供，则作为参数传递的图层实例将用于自动生成后向图层。

III. 模型定义

双向LSTM定义如下：

class BiLSTM(keras.Model):
    def __init__(self, args):
        super(BiLSTM, self).__init__()
        self.lstm = Sequential()
        for i in range(args.num_layers):
            self.lstm.add(
                Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
                                          activation='tanh', return_sequences=True)))
        self.fc1 = layers.Dense(64, activation='relu')
        self.fc2 = layers.Dense(args.output_size)

    def call(self, data, training=None, mask=None):
        x = self.lstm(data)
        x = self.fc1(x)
        x = self.fc2(x)

        return x[:, -1:, :]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

双向LSTM定义语句：

Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
                          activation='tanh', return_sequences=True)))
1
2

这里我没有指定merge_mode参数，所以默认为concat，也就是(batch_size, seq_len, 2 * hidden_size)。

IV. 训练和预测

数据处理、训练以及预测同前面几篇文章。

这里对单变量单步长的预测进行对比，在其他条件保持一致的情况下，得到的实验结果如下所示：

可以看到，对于本文所使用的负荷数据，单向和双向模型的效果差异不大。

V. 源码及数据

后面将陆续公开~