【隐私计算】SIRNN: A Math Library for Secure RNN Inference

刚开始学隐私计算，读到SIRNN，感觉真的好难好难，门槛比deep learning高好多，先尽量啃一啃（捂脸.jpg）。

---

1 文章及代码

Paper: SIRNN: A Math Library for Secure RNN Inference
Code: https://github.com/mpc-msri/EzPC.

2 主要贡献

• 为数学函数（指数、sigmoid、tanh、平方根倒数）提出了全新的密码学友好的新近似。
• 为不均匀（混合）的bitwidth提供2PC协议，实现高效的数学函数。
• SIRNN首次为RNN和CNN提供了安全推理库，在延迟、通信等方面达到SOTA，并拥有高数值准确率。

3 概览

3.1 Scale和bitwidth

2PC在整数上运算比在浮点数上运算更高效，在定点运算数中，$\lfloor r{2}^s\rfloor \mathrm{m}\mathrm{o}\mathrm{d}{2}^l$，其中$l$就是bitwidth，$s$是scale。

3.2 对数学函数的近似

• 首先用lookup table (LUT)得到一个不错的初始化近似，然后用迭代算法提升这个近似。
• 更大的LUT近似结果更准确，但是通信开销线性增长。
• 对于指数和负数输入，分解输入x到更小的子串（digit decomposition）。
• 为了让迭代算法更高效，本文采用定点（fixed-point）算数及不均匀的混合bitwidth。

3.3 SIRNN协议

安全参数：$\lambda =128$
基于4种构造块：
（1）Extension（扩展）
$${\mathbb{Z}}_{2^m}\to {\mathbb{Z}}_{2^n}(m<n)$$
GC需要的通信开销（重构和重共享）为：$\lambda (4m+2n)$ bits，SIRNN需要的通信开销仅为：$\lambda m$，大约比GC快6x。
（2）Truncation（截断）
常用于乘法之后减小规模，对于$l$-bit截断了$s$-bit有四种截断操作：

• 逻辑右移（保留位宽）
• 算数右移（保留位宽）
• 截断且减小（输出截断值${\mathbb{Z}}_{2^{l-s}}$）
• 除以$2^s$

目前最好的算数右移通信大约是：$\lambda (l+s)$，本文提出的逻辑/算数右移协议大约是$\lambda l$，大多数数学函数都只需要截断且减小去减小scale和bitwidth，SIRNN只需要$\lambda (s+1)$通信。
（3）Multiplication（乘法）
$m$-bit整数和$n$-bit整数相乘得到$l=(m+n)$-bit输出，$l$的选择保证了没有溢出。
（4）Digit Decomposition（数位分解）
将$l$-bit的值分解为$c=l/d$个$d$-bits，可以用GC实现，通信量为$\lambda (6l-2c-2)$ bits。本文进一步优化，通信量为$\lambda (c-1)(d+2)$ bits，大约比GC低5x。

4 前提知识

4.1 ULP误差（units in last place）

ULP是真实数据和函数输出值之间的可表示数值的数量。

4.2 威胁模型

• 两方安全计算（2PC）
• 静态的半诚实攻击：遵循协议，但是会学习额外信息

4.3 符号表示

4.4 密码学基础

• 秘密共享（SS）
  2-out-of-2加性秘密共享：$x=⟨x{⟩}_0^l+⟨x{⟩}_1^l\mathrm{m}\mathrm{o}\mathrm{d}L$。
• 不经意传输（OT）
  1-out-of-k OT，用OT Extension (OTE)实现，并用了Correlated OT (COT)。

4.5 2PC基本函数

• 百万富翁/wrap
  F M i l l l = 1 { x < y } F_{Mill}^l=1\{xFMilll​=1{x<y}，CrypTFlow2中通信量低于$\lambda l+14l$ bits和$\log l$ rounds。
  F w r a p l = F M i l l l ( L − 1 − x , y ) : w = w r a p ( x , y , L ) = 1 { x + y ≥ L } F_{wrap}^l=F_{Mill}^l(L-1-x, y): w=wrap(x, y, L)=1\{x+y\geq L\} Fwrapl​=FMilll​(L−1−x,y):w=wrap(x,y,L)=1{x+y≥L}
• AND
  输入$⟨x{⟩}^B,⟨y{⟩}^B$，输出$⟨x\wedge y{⟩}^B$，用Beaver bit-triples实现，CrypTFlow2中通信量为$\lambda +20$。
• Boolean to Arithmetic (B2A)
  输入boolean share，输出相同值的算术share，采用COT协议实现，通信量为$\lambda +l$ bits。
• Multiplexer (MUX)
  $⟨x{⟩}^B$和$⟨y{⟩}^l$作为输入，输出$⟨z{⟩}^l$，如果$x=1$，则$z=y$，反之同理。本文提出的协议将通信量从$2(\lambda +2l)$（CrypTFlow2）降到$2(\lambda +l)$。
• Lookup Table (LUT)
  对于表$T$，$M$个入口，每个$n$-bits，输入$⟨x{⟩}^m$，$⟨z{⟩}^n$，满足$z=T[x]$。可以用1-out-of-m OT实现，通信量为$2\lambda +Mn$ bits。这是个查表的操作，输入和输出的位数是不同的。

5 构建块协议

5.1 零扩展和有符号扩展

对于$m$-bit的数$x\in {\mathbb{Z}}_M$，将其转换为$n$-bit的数（$n>m$），这个过程就称为扩展（extension）。零扩展和有符号扩展分别用于扩展无符号数和有符号数的位宽。
零扩展（Zero Extension）
$P_0$和$P_1$两方输入$⟨x{⟩}^m$，扩展输出$⟨y{⟩}^n$，要求满足$unit(x)=uint(y)$。对于$x^m\in {\mathbb{Z}}_M$，可以得到 【问：这个等式在后面广泛使用，没太理解怎么来的】【答：其实$-wM$就是实现的$\mathrm{m}\mathrm{o}\mathrm{d}M$计算过程，防止求和在${\mathbb{Z}}_{2^m}$环上溢出】：
$$x^m=⟨x{⟩}_0^m+⟨x{⟩}_1^m-wM$$
其中，$w=wrap(⟨x{⟩}_0^m,⟨x{⟩}_1^m,M)$，这是个boolean share，需要转换为算术share。这里考虑在$n-m$环上转换，原因就是下面的模约减步骤会使通信量大大降低。
$$F_{B2A}^{n-m}(⟨w{⟩}^B)=⟨w{⟩}^{n-m}\in {\mathbb{Z}}_{2^{n-m}}$$

$$w=⟨w{⟩}_0^{n-m}+⟨w{⟩}_1^{n-m}-wrap(⟨w{⟩}_0^{n-m},⟨w{⟩}_1^{n-m},{\mathbb{Z}}_{2^{n-m}})2^{n-m}$$

$$M_{\ast n}w=M_{\ast n}(⟨w{⟩}_0^{n-m}+⟨w{⟩}_1^{n-m}-wrap(⟨w{⟩}_0^{n-m},⟨w{⟩}_1^{n-m},{\mathbb{Z}}_{2^{n-m}})2^{n-m})$$

其中，$M_{\ast n}wrap(\cdot )2^{n-m}=Mwrap(\cdot )2^{n-m}\mathrm{m}\mathrm{o}\mathrm{d}N=wrap(\cdot )2^n\mathrm{m}\mathrm{o}\mathrm{d}N=0$（这一步称作“模约减”，modulo-reduce），所以上式子转换为：
$$M_{\ast n}w=M_{\ast n}(⟨w{⟩}_0^{n-m}+⟨w{⟩}_1^{n-m}）$$
于是：
$$y=\sum _{b=0}^1(⟨x{⟩}_b^m-M⟨w{⟩}_b^{n-m})\mathrm{m}\mathrm{o}\mathrm{d}N$$
这里是在$P_0$和$P_1$上分别计算，然后求和取模，得到扩展后的结果。其中，$x\mathrm{m}\mathrm{o}\mathrm{d}N=y$。
算法如下：

需要$\log (m+2)$ rounds和少于$\lambda (m+1)+13m+n$ bits的通信量。作为对比，用GC实现零扩展和有符号扩展需要$\lambda (4m+2n-4)$ bits的通信量，大约是SIRNN的6倍。

有符号扩展（Signed Extension）
有符号扩展可以基于以下等式，通过转换无符号扩展得到，在环$\mathbb{Z}$上：
$$int(x)=x^{\prime }-2^{m-1},x^{\prime }=x+2^{m-1}\mathrm{m}\mathrm{o}\mathrm{d}M$$
证明如下：

于是：
$$SExt(x,m,n)=ZExt(x,m,n)-2^{m-1}$$

相比零扩展，没有额外的通信开销。

5.2 截断

首先，规定$>{>}_L,>{>}_A$分别表示逻辑右移和算术右移，它们的输入和输出都是在${\mathbb{Z}}_L$环上。
$TR(x,s)$表示截断且减小（truncate & reduce），将$x\in {\mathbb{Z}}_L$截断且减小$s$-bits，最终得到的$x$在更小的${\mathbb{Z}}_{2^{l-s}}$环上。
逻辑右移
Toy example：$x=101001$逻辑右移3位，则$x^{\prime }=000101$（右侧截掉，左侧补0）。
对于$x\in {\mathbb{Z}}_L$，则$x=⟨x{⟩}_0^l+⟨x{⟩}_1^l\mathrm{m}\mathrm{o}\mathrm{d}L$，记$⟨x{⟩}_b^l=u_b||v_b$（$u_b$是高位，$v_b$是低位），其中 u b ∈ { 0 , 1 } l − s , v b ∈ { 0 , 1 } s u_b\in\{0, 1\}^{l-s}, v_b\in\{0, 1\}^{s} ub​∈{0,1}l−s,vb​∈{0,1}s。如下图：

根据前面提到的公式：
$$x^m=⟨x{⟩}_0^m+⟨x{⟩}_1^m-wM$$
可以得到：
$$x>{>}_{L}s=u_0+u_1-2^{l-s}wrap(⟨x{⟩}_0^l,⟨x{⟩}_1^l,L)+wrap(v_0,v_1,2^s)$$
上式中，$wrap(v_0,v_1,2^s)$这一项是考虑了进位。我们知道，加性秘密共享时，$v$部分可能会存在1位进位的情况，所以$wrap(v_0,v_1,2^s)$就是判断$v_0+v_1$是否大于$2^s$，如果是，则会进1，如果不是，则为0。
常规做法是计算两个$wrap(\cdot )$值即可，但是SIRNN提出了一种优化，避开直接计算位宽是$l$的那一项。文章中的Lemma 1即是这个引理：

通信开销低于$\lambda (l+3)+15+s+20$，并需要$\log l+3$ rounds。
原文证明如下：

算法如下：

算术右移
对于无符号数，直接采用逻辑右移，对于有符号数，则需要采用算术右移。从前面零扩展到有符号扩展可以知道：$int(x)=x^{\prime }-2^{l-1},x^{\prime }=x+2^{l-1}\mathrm{m}\mathrm{o}\mathrm{d}L$，于是：
$$x>{>}_{A}s=x>{>}_{L}s-2^{l-s-1}$$

截断且减小
Toy example：$x=101001$截断且减小3位，则$x^{\prime }=101$。
因为$2^{l-s}{\ast }_{l}w\mathrm{m}\mathrm{o}\mathrm{d}{2}^{l-s}=0$（模约减），所以：
$$⟨TR(x,s){⟩}^{l-s}=u_0+u_1+wrap(v_0,v_1,2^s)$$

除以power-of-2
$$z<0,z=\lceil int(x)/2^s\rceil \mathrm{m}\mathrm{o}\mathrm{d}L;z\ge 0,z=\lfloor int(x)/2^s\rfloor \mathrm{m}\mathrm{o}\mathrm{d}L$$
实际上$int(x)/2^s\mathrm{m}\mathrm{o}\mathrm{d}L$就是做$>{>}_A$，取整括号即是将值往0靠近。令 m x = 1 { x ≥ 2 l − 1 } m_x=1\{x\geq 2^{l-1}\} mx​=1{x≥2l−1}判断$x$的正负性， c = 1 { x m o d    2 s = 0 } c=1\{x\mod 2^s=0\} c=1{xmod2s=0}
$m_x=1$，则$z<0,\lceil z\rceil$；反之，$\lfloor z\rfloor$。所以有：
$$DivPow2(x,s)=(x>{>}_{A}s)+m_x\wedge c$$

5.3 混合位宽乘法

以前做乘法通常是用Beaver Triplet三元组实现，SIRNN中不能用了，因为加法和乘法的数bitwidth不一致。
无符号乘法
输入$⟨x{⟩}^m,⟨y{⟩}^n$，输出$⟨z{⟩}^l,z=x{\ast }_{l}y,l=n+m$。
对于$x,y$，在$\mathbb{Z}$上有：
$$\begin{gathered} uint(x)\cdot uint(y)=(x_0+x_1-2^m{w}_x)\cdot (y_0+y_1-2^n{w}_y) \\ =x_0{y}_0+x_0{y}_1+x_1{y}_0+x_1{y}_1-2^m{w}_{x}y-2^n{w}_{y}x+2^l{w}_x{w}_y \end{gathered}$$
观察上式，$x_0{y}_0,x_1{y}_1$都是可以本地计算的【本地计算为什么不管位宽是否一致？】，$2^l{w}_x{w}_y$可以在$\mathrm{m}\mathrm{o}\mathrm{d}L$时被消掉（模约减），$w_{x}y,x_{y}x$是boolean share和算术share的计算，本质上是MUX，可用直接用OT实现。最难的一项是交叉项$x_0{y}_1,x_1{y}_0$，SIRNN采用COT实现。
巧妙的一点在于：选择比特位短的一方作为receiver，比特位长的一方作为sender，这样在做OT的取数时，round数就会更少。
交叉项算法如下：

无符号乘法算法如下：

SIRNN利用1-out-of-2的COT来实现这个过程，将短的数按位拆解，每一位非0即1，然后做二选一的COT，每一位计算完成后，在本地累加起来。
通信开销大约是：$\lambda (3\mu +v)+\mu (\mu +2v)+16(m+n)$，其中$\mu =\min (m,n),\nu =\max (m,n)$。普通的扩展位数然后相乘的开销是：$3\lambda (\mu +v)+(m+n{)}^2+15(m+n)$，大约是SIRNN的1.5x。

有符号乘法
布尔分享转换为算术分享：
$$⟨x{⟩}^A=⟨x{⟩}_0^B+⟨x{⟩}_1^B-2⟨x{⟩}_0^B⟨x{⟩}_1^B$$
基于前面无符号数和有符号数的关系，可以得到：无符号数$x^{\prime }=x+2^{m-1}\mathrm{m}\mathrm{o}\mathrm{d}M,y^{\prime }=y+2^{n-1}\mathrm{m}\mathrm{o}\mathrm{d}N$。由秘密共享，$x^{\prime }=x_0^{\prime }+x_1^{\prime }\mathrm{m}\mathrm{o}\mathrm{d}M,y^{\prime }=y_0^{\prime }+y_1^{\prime }\mathrm{m}\mathrm{o}\mathrm{d}N$。有符号数$int(x)=x^{\prime }-2^{m-1},int(y)=y^{\prime }-2^{n-1}$。因此，在$\mathbb{Z}$环上：

$x^{\prime }{y}^{\prime }$是无符号数的乘法，可以用algorithm 3计算，$2^{m-1}{y}_b^{\prime },2^{n-1}{x}_b^{\prime }$也都可以在本地计算出来。难点是wrap项应该如何计算。
$$2^{m+n-1}{w}_{x^{\prime }}=2^{l-1}{w}_{x^{\prime }}=2^{l-1}(⟨w_{x^{\prime }}{⟩}_0^B+⟨w_{x^{\prime }}{⟩}_1^B-2⟨w_{x^{\prime }}{⟩}_0^B⟨w_{x^{\prime }}{⟩}_1^B)$$
其中，$2⟨w_{x^{\prime }}{⟩}_0^B⟨w_{x^{\prime }}{⟩}_1^B$与$2^{l-1}$相乘再$\mathrm{m}\mathrm{o}\mathrm{d}L$后会被消除掉，所以无需计算。因此，上式变为：
$$2^{m+n-1}{w}_{x^{\prime }}=2^{l-1}{w}_{x^{\prime }}=2^{l-1}(⟨w_{x^{\prime }}{⟩}_0^B+⟨w_{x^{\prime }}{⟩}_1^B)$$
有符号的乘法相比无符号的乘法，也没有额外的开销。

矩阵乘法和卷积
矩阵乘法和卷积是很常见的（实际上可以展开为普通乘法做elment-wise乘和加），两个矩阵$A\in {\mathbb{Z}}_M^{d1\times d2},A\in {\mathbb{Z}}_N^{d2\times d3}$，输出矩阵乘法结果$A\in {\mathbb{Z}}_L^{d1\times d3}$，其中$l=m+n$。做矩阵乘法需要$d_2$次乘以及$d_2-1$次加。
这个时候可能出现的问题是：加法导致溢出。一种解决方式是将element-wise乘后的结果扩展$e=\lceil \log d_2\rceil$-bits后，再做加法。但是，这样扩展开销很大，需要扩展$d_1{d}_2{d}_3$次。
于是本文这样做：考虑到前面算交叉项（CrossTerm）时，通信round数取决于较小的bitwidth，所以本文将bitwidth较大的一项拿去扩展$e$-bits，在不增加开销的情况下，扩大了环。
通信开销大致为$\lambda (3d_1{d}_2(m+2)+d_2{d}_3(n+2))+d_1{d}_2{d}_3((2m+4)(n+e)+m^2+5m)$ bits。
算法如下：

乘且截断
首先调用有符号乘法，然后截断。输入$⟨x{⟩}^m,⟨y{⟩}^n$，输出$⟨z^{\prime }{⟩}^{l-s}$。$z=int(x){\ast }_{l}int(y),z^{\prime }=TR(z,s)$。其中$l=m+n$。

5.4 数值分解和MSNZB (Most Significant Non-Zero Bit)

数值分解
将$l$-bit的数分解为$c$个长度为$d=l/c$的子串或数值，使得$x=z_{c-1}||...||z_0$。
算法如下：

MSNZB
返回最高非零比特的索引：比如$x=001010$返回的就是3。
算法如下：

5.5 MSB to Wrap Optimization

本文大量依赖于$w=wrap(⟨x{⟩}_0^l,⟨x{⟩}_1^l,L)$，一些情况下，我们能得到$m_x=MSB(x)$或$⟨m_x{⟩}^B$，于是$w=((1\oplus m_x)\wedge (m_0\oplus m_1)\oplus (m_0\wedge m_1))$，其中$m_b=MSB(⟨x{⟩}_B^l)$。当$m_x$是秘密分享时，使用$\left(\genfrac{}{}{0ex}{}{4}{1}\right)$-OT；当$m_x$是明文时，使用$\left(\genfrac{}{}{0ex}{}{2}{1}\right)$-OT。

6 构建数学库

6.1 指数

求$rExp(z)=e^{-z},z\in {\mathbb{R}}^{+}$的值，首先将输入$x$分成$k$段，然后每段在LUT (Look Up Table)进行查表，将得到的结果相乘。
算法如下：

6.2 Sigmoid和Tanh

$sigmoid(z)=\frac{1}{1+e^{-z}}$，可以表示如下：

其中，$h(z)=\frac{1}{1+rExp(z)}$的计算是先求$rExp$然后求倒数：

倒数则是采用Goldschmidt’s迭代近似算法实现，算法如下：

Tanh和sigmoid存在数学上的关系：$Tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}=2sigmoid(2z)-1$，所以可以用如上方式实现。

6.3 平方根倒数

计算$rsqrt(x)=\frac{1}{\sqrt{x}}$，为了防止分母为0，首先加上一个很小的$ϵ$有$rsqrt(x)=\frac{1}{\sqrt{x+ϵ}}$。
首先，进行初始化，然后用Goldschmidt法进行迭代，
算法如下：

通信开销和轮次汇总

参考资料：
SIRNN: A Math Library for Secure RNN Inference
2021-10-02-SIRNN