GNN笔记1-3——图信号处理

图和图移位算子

  • 图被定义为三元组集合: G=\{V,E,W \}

节点 VV=\{1,2,\cdots,n\} 表示 n 个不同 label 的集合;

E :有序对 (i,j)\in E 表示 j 可以影响 i

权重 Ww_{ij}\in W(i,j) 上的一个数字,表示 j 影响 i 的程度。

  • 有向图与无向图

在无向图中,(i,j) 等价于 (j,i),且 w_{ij}=w_{ji} ,在有向图中 (i,j) 是从 j 指向 i 的箭头,权重 w_{ij} 不一定等于 w_{ji}

  • 带权图与无权图

对于无权图若边之间存在连接,通常认为 (i,j) 的权重是单位 “1”,即 w_{ij}=1,而带权图上的权重可以根据需要定义为任意值。

  • 图的矩阵表示

邻接矩阵:A = [w_{ij}]_{n\times n} , for all (i,j)\in E,对于无向图,A=A^T

节点的度:节点 i 的度是其所有邻接点的权重之和,即 d_i=\sum_{j=1}^nw_{ij}

度矩阵:

D=diag(A1)=\left[ \begin{array}{ccc} d_1 & \ldots & \ldots&\ldots \\ \vdots & d_2 & \ldots&0 \\ \vdots & \vdots & \ddots&\vdots \\ \vdots & 0 & \ldots &d_n \end{array} \right]

  • 拉普拉斯矩阵

Laplace 矩阵定义为:L=D-A=diag(A1)-A

归一化的邻接矩阵:\overline{A}:=D^{-1/2}AD^{-1/2} ,即 (\overline{A})_{ij}=\frac{w_{ij}}{\sqrt{d_id_j}}

归一化的 Laplace 矩阵:L=D^{-1/2}(D-A)D^{-1/2}=I-\overline{A}

归一化的原因:1. Express weights relative to the nodes’ degrees ; 2. 算法和计算上的考量。

  • 图移位算子(Graph Shift Operators)

图移位算子 S 可以是图的任何一种矩阵表示,如 S=AS=LS=\overline{A}S=\overline{L} 等等。

图上的信号

图信号是我们在图上进行信号处理时的对象;

考虑一个有 n 个节点的图 G 和其上定义的图移位算子 S ,那么一个图信号就是一个**向量 x=[x_1,\cdots,x_n]^T **,其中分量 x_i 是和图节点 i 有关的量。为了强调图是信号固有的,可以把信号写成对的形式 (S,x)

图移位算子 S 与信号 x 的乘法表示信号在图上的扩散,扩散后信号 y=Sx ,分量 y_i=\sum_j w_{ij}x_j ,权重越大,扩散输出贡献越大;

信号扩散序列 x^{(k+1)}=Sx^{(k)},其中 x^{(0)}=x=S^0x,\quad x^{(1)}=Sx^{(0)}=S^1x,$$x^{(k)}=Sx^{(k-1)}=S^kx
[图片上传失败...(image-fd789-1618849866619)]

信号的扩散即信号在图上的传播,扩散一次该信息将被传播到其单跳邻居,k 次则传播到 k 跳邻居。

图卷积滤波器

图卷积滤波器是图信号线性处理的工具。给定图 G 和移位算子 S ,以及一系列系数 h_k ,则图上的卷积滤波器是 S 的多项式序列,它由 \{h_1,\cdots,h_{\infty}\} 确定:
H(S) =\sum_{k=0}^\infty h_kS^k
滤波器作用到图信号 x 上:
y=H(S)x=\sum_{k=0}^\infty h_kS^kx
h{*_S}x 是滤波器 h=\{h_k\}_{k=1}^\infty 与信号 x 的图卷积。

实际中 k 不会取到无穷,图卷积的输出 y=h{*_S}x=h_0S^0x+h_1S^1x+\cdots + =\sum_{k=0}^{K-1}h_kS^kx ,图卷积聚集了从局部到全局的信息,是扩散序列元素的线性组合。
[图片上传失败...(image-74e34-1618849866619)]

时序卷积是图卷积的特例

时序卷积输出:y_n=\sum_{k=0}^{K-1}h_kx_{n-k}

image.png

时序信号可表示为线图上的图信号 (S,x)
[图片上传失败...(image-71f446-1618849866619)]

其中 S 是线图的邻接矩阵:

image-20210416132337178.png

于是时间序列能够表示为作用在初始信号 x 上的 S 的多项式:
y=h{*_S}x=h_0S^0x+h_1S^1x+\cdots + =\sum_{k=0}^{K-1}h_kS^kx

卷积运算是输入信号移位的线性组合:


image-20210416132438388.png

如果设 S 为任意图移位算子,则可以恢复到图卷积,因此图卷积也可以说是时序卷积的推广:

image.png

其中 S^kx 的含义是信号 x 在图上经过 k 跳传播后的信号。

图傅里叶变换

图形傅里叶变换是分析图信息处理的工具。

这里分析的图是对称图(通常为无向图),即 S^H=S。设 \lambda_1\leq \lambda_2\leq\cdots \leq \lambda_nSn 个特征值,\{v_1,v_2,\cdots,v_n\} 为对应的 n 个单位正交特征向量组,Sv_i=\lambda_iv_i ,令 V=[v_1,v_2,\cdots,v_n]\Lambda=diag([\lambda_1,\cdots,\lambda_n]) ,于是:
S=V\Lambda V^H,\quad V^HV=I
图傅里叶变换 :给定图移位算子 S=V\Lambda V^H,图上信号 x 的傅里叶变换:
\tilde{x}=V^Hx
图上信号 x 的傅里叶变换实际上就是 xS 特征向量空间的投影运算,称 \tilde{x} 为信号 x 的频域表示。

图傅里叶逆变换:给定图移位算子 S=V\Lambda V^H,频域信号 \tilde{x} 的逆傅里叶变换:
\tilde{\tilde{x}}=V\tilde{x}
显然 \tilde{\tilde{x}}=V\tilde{x}=V(V^Hx)=Ix=x

图滤波器的频率响应(定理):图卷积滤波器 h=\{h_1,\cdots,h_{\infty}\},图信号 x 的滤波表示 y=\sum_{k=0}^\infty h_kS^kx ,则原信号 x 的傅里叶变换 \tilde{x}=V^Hx 和卷积输出信号 y 的傅里叶变换 \tilde{y}=V^Hy 之间的关系是:
\tilde{y}=\sum_{k=0}^\infty h_k\Lambda^k\tilde{x}

证明:S=V\Lambda V^H ,则 S^k=V\Lambda^k V^H ,因此滤波输出:
y=\sum_{k=0}^\infty h_kS^kx=\sum_{k=0}^\infty h_kV\Lambda^k V^Hx
两边用 V^H 作用:
\begin{aligned} \tilde{y}&=V^Hy=V^H\sum_{k=0}^\infty h_kV\Lambda^k V^Hx\\ &=\sum_{k=0}^\infty h_k\Lambda^k\tilde{x} \end{aligned}

在图频域,滤波器是对角矩阵 \Lambda 在系数 h_k 下的多项式,这样一来原时域信号 x 上的卷积运算在傅里叶变换下转换为了频域中的点积运算
\begin{aligned} \tilde{y}&=\sum_{k=0}^\infty h_k\Lambda^k\tilde{x}=\tilde{h}(\lambda)\tilde{x} \\ \end{aligned}

其中:

\tilde{y}_i=\sum_{k=0}^\infty h_k\lambda_i^k\tilde{x}_i=\tilde{h}(\lambda_i)\tilde{x}_i

\tilde{h}(\lambda)=\sum_{k=0}^\infty h_k\lambda^k 定义为图滤波器的频域响应,可以看到频域响应多项式的系数与图滤波器系数相同。需要特别指出的是,频域响应与图是无关的(频域响应不依赖于特定的图),因此在图滤波器中,图的作用仅仅是确定实例化响应的特征值,当给定一个图,响应在 \tilde{h}(\lambda) 上被实例化,而 \tilde{h}(\lambda) 只是个单变量解析函数,它由滤波系数决定。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,265评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,274评论 1 288
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,087评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,479评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,782评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,218评论 1 207
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,594评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,316评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,955评论 1 237
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,274评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,803评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,177评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,732评论 3 229
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,953评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,687评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,263评论 2 267
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,189评论 2 258

推荐阅读更多精彩内容