【论文解析】笔触渲染生成 前沿工作梳理

最近的一些工作梳理

2023年 Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region

2022年Im2Oil: Stroke-Based Oil Painting Rendering with Linearly Controllable Fineness Via Adaptive Sampling

1 Stroke-based Neural Painting

1.1 主要贡献/动机

主要是提出了自适应绘图区域~

1.2 方法及其相关内容

先训练笔触渲染器，再训练painer画什么，再训练自适应器

1.3 代码部分解析

图像经过sample

• sample

  • 生成一个全零的画布
  • 迭代40次
    • 每次将target（目标图像）和当前画布canvas送入net_g（ResNet网络）得到画笔参数
    • 将画笔参数送到param2stroke_G网络中得到前景图foregrounds（论文公式中的$I_s$）和alphas(二进制的遮掩图$M_s$) $C_{t+1}=I_s\ast M_s+C_t\ast (1-M_s)$
    • 然后得到现在的$C_{t+1}$​ 迭代进行进行5次（感觉画5笔）
  • 如果global_step为10的整数倍
    • 计算原图和画布的mse损失，并保存图片
      • 原图三张target[:3]
      • 当前画布三张canvas[:3]
      • 前景图foreground[:3]

• 从缓冲区弹出

  • 和上面同样的内容

• 将得到的数据canvas和真实数据true_canvas（正态分布）送入鉴别器

  • D_fake和D_real

2 im2Oil

将该类问题不看做像素级别的近似，而是自适应采样问题，结果具有更高的保真度

2.1 主要贡献，动机

主要在于自适应的画笔位置采样,在不同纹理复杂度的区域改变笔画大小和密度

我们使用输入图像对总共 K 个像素进行采样作为 Anchor。接下来，我们在每个锚点中搜索并生成单个油笔划Oil Stroke，表示为 {$S_1,S_2,S_3,...,S_k$}。在渲染过程中，获得的笔画在画布上逐个放置。最终，所有的笔画都构成了最终结果油画

2.2 核心方法/结构

自适应锚采样,在不同纹理复杂度的区域改变笔画大小和密度

2.2.1 计算概率密度图

第一步 计算概率密度图$I_p$ Ip大的更可能被采用做锚点

一般来说，纹理复杂的区域(高频)往往伴随着显著的梯度变化，而纹理光滑的区域(低频)通常具有较小的梯度。

​ 方法可以根据输入图像的全局纹理复杂度和超参数最大采样概率自动确定定制数

锚点的分布应该尽可能接近概率密度图，所以采用了Voronoi算法 K均值算法

$P_{max}和P_{min}$​ 控制分布的最大最小密度

2.2.2 搜索画笔参数

• 确定画笔的方向，遵循边的切线，使用ETF向量场

• 画笔的颜色就是锚点的颜色

• 确定画笔的宽 高和参数

  • 将原图转换为HSV color space

2.2.3 绘制

笔画长度裁剪机制。具有复杂纹理的区域用密集锚点采样，用小笔画绘制，而纹理光滑的区域用稀疏锚点采样，用大笔画绘制。显然，大笔画更有可能导致错误，而小笔画通常更准确。鉴于此，我们根据笔画的面积大小对它们进行排序，并将它们从最大到最小（贪婪策略）绘制。

3 Paint transformer

与以前的方法不同，在本文中，作者将任务制定为集合预测问题，并提出了一种新颖的基于 Transformer 的框架

我们将神经绘画制定为渐进式笔画预测过程

在每一步，我们并行预测多个笔画，以前馈方式最小化当前画布和目标图像之间的差异

3.1 主要贡献 动机

主要贡献：

1 基于 Transformer 的框架，引入DETR，比较新颖的笔触预测框架

2 脱离直接的图片计算损失，定义了新的过程

3.2 核心组成结构

笔画预测器和笔画渲染器

笔画预测器

​ 给一个目标图像$I_t$ 和中间画布$I_c$ 生成一组参数来确定当前笔画集$S_r$

然后

​ 笔画渲染器根据$S_r$生产笔画图像加到$I_c$上得到$I_r$

整个训练过程中，只有笔画预测器可以训练

提出了一种新的自训练管道，它利用随机合成的笔画，训练过程中每次迭代中，我们首先随机采样前景笔画$S_f$ 和一个后景$S_b$​

然后将$S_f$ 送入笔画渲染器

4 Rethinking Style Transfer: From Pixels to Parameterized Brushstrokes

提出了一种通过优化参数化笔触而不是像素对图像进行风格化的方法，并进一步引入一个简单的可微渲染机制。

从笔触参数空间中找到高效且可微的映射到像素域中