|
|
|
|
公众号矩阵

高级API、异构图:谷歌发布TF-GNN,在TensorFlow创建图神经网络

今天,TensorFlow 官方博客发布了 TensorFlow Graph Neural Networks(TensorFlow GNN)库 ,这个库使得用户在使用 TensorFlow 时能够轻松处理图结构数据。

作者:机器之心报道来源:机器之心Pro|2021-11-19 17:18

  

今天,TensorFlow 官方博客发布了 TensorFlow Graph Neural Networks(TensorFlow GNN)库 ,这个库使得用户在使用 TensorFlow 时能够轻松处理图结构数据。

此前,TensorFlow GNN 的早期版本已经在谷歌的各种应用中使用,包括垃圾邮件和异常检测、流量估计、YouTube 内容标记等。特别是,考虑到谷歌数据种类繁多,该库在设计时就考虑到了异构图。

高级API、异构图:谷歌发布TF-GNN,在TensorFlow创建图神经网络

项目地址:https://github.com/tensorflow/gnn

为何使用 GNN?

无论是在现实世界中,还是在我们设计的系统中,图无处不在。一组对象或是不同的人以及他们之间的联系,通常可以用图来描述。通常情况下,机器学习中的数据是结构化或关系型的,因此也可以用图来描述。虽然 GNN 的基础研究已经有几十年的历史,但近几年才取得一些进展,包括在交通预测、假新闻检测、疾病传播建模、物理模拟,以及理解为什么分子会有气味等。

高级API、异构图:谷歌发布TF-GNN,在TensorFlow创建图神经网络

图可以为不同类型的数据进行关系建模,包括网页(左)、社交关系(中)或分子(右)。

怎样定义图呢?简单来讲,图表示一组实体(节点或顶点)之间的关系(边)。我们可以描述每个节点、边或整个图,从而将信息存储在图的每一部分中。此外,我们可以赋予图边缘方向性来描述信息或信息流。

GNN 可以用来回答关于这些图的多个特征问题。GNN 可用于节点级任务,对图的节点进行分类,并预测图中的分区和相关性,类似于图像分类或分割。最后,我们可以在边缘级别使用 GNN 来发现实体之间的连接。

TensorFlow GNN

TF-GNN(TensorFlow GNN) 提供了在 TensorFlow 中实现 GNN 模型的构建块。除了建模 API 之外,该库还为处理图数据提供了可用工具,包括基于张量的图数据结构、数据处理 pipeline 和一些供用户快速入门的示例模型。

高级API、异构图:谷歌发布TF-GNN,在TensorFlow创建图神经网络

TF-GNN 工作流程组件

TF-GNN 库的初始版本包含许多实用程序和功能,供初学者和有经验的用户使用,包括:

  • 高级 keras 风格的 API 用于创建 GNN 模型,可以很容易地与其他类型的模型组合。GNN 通常与排序、深度检索结合使用或与其他类型的模型(图像、文本等)混合使用;
  • 定义良好的模式用来声明图拓扑结构,以及验证工具。该模式描述了其训练数据的大小,并用于指导其他工具;
  • GraphTensor 复合张量类型,可以用来保存图数据,也可以进行批处理,并具有可用的图操作例程;
  • GraphTensor 结构操作库:在节点和边缘上进行各种有效的 broadcast 和 pooling 操作,以及提供相关操作的工具;标准 baked 卷积库,机器学习工程师、研究人员可以对其轻松扩展;高级 API 可以帮助工程师快速构建 GNN 模型而不必担心细节;
  • 模型可以从图训练数据编码,以及用于将此数据解析为数据结构的库中提取各种特征。

示例

下面示例使用 TF-GNN Keras API 构建了一个模型,该模型可以根据观看内容和喜欢的类型向用户推荐电影。

完成这项任务使用 ConvGNNBuilder 方法来指定边的类型和节点配置,即对边使用 WeightedSumConvolution(定义如下):

  1. import tensorflow as tf 
  2.     import tensorflow_gnn as tfgnn 
  3.  
  4.     # Model hyper-parameters: 
  5.     h_dims = {'user'256'movie'64'genre'128
  6.  
  7.     # Model builder initialization: 
  8.     gnn = tfgnn.keras.ConvGNNBuilder( 
  9.       lambda edge_set_name: WeightedSumConvolution(), 
  10.       lambda node_set_name: tfgnn.keras.layers.NextStateFromConcat( 
  11.          tf.keras.layers.Dense(h_dims[node_set_name])) 
  12.     ) 
  13.  
  14.     # Two rounds of message passing to target node sets: 
  15.     model = tf.keras.models.Sequential([ 
  16.         gnn.Convolve({'genre'}),  # sends messages from movie to genre 
  17.         gnn.Convolve({'user'}),  # sends messages from movie and genre to users 
  18.         tfgnn.keras.layers.Readout(node_set_name="user"), 
  19.         tf.keras.layers.Dense(1
  20.     ]) 

有时我们希望 GNN 性能更强大,例如,在上个示例中,我们可能希望模型在给出推荐电影时可以同时给出权重。下面代码片段中定义了一个更高级的 GNN,它带有自定义图卷积,以及带有权重边。下面代码定义了 WeightedSumConvolution 类可以将边值池化为所有边的权重总和:

  1. class WeightedSumConvolution(tf.keras.layers.Layer): 
  2.   """Weighted sum of source nodes states.""" 
  3.  
  4.   def call(self, graph: tfgnn.GraphTensor, 
  5.            edge_set_name: tfgnn.EdgeSetName) -> tfgnn.Field: 
  6.     messages = tfgnn.broadcast_node_to_edges( 
  7.         graph, 
  8.         edge_set_name, 
  9.         tfgnn.SOURCE, 
  10.         feature_name=tfgnn.DEFAULT_STATE_NAME) 
  11.     weights = graph.edge_sets[edge_set_name]['weight'
  12.     weighted_messages = tf.expand_dims(weights, -1) * messages 
  13.     pooled_messages = tfgnn.pool_edges_to_node( 
  14.         graph, 
  15.         edge_set_name, 
  16.         tfgnn.TARGET, 
  17.         reduce_type='sum'
  18.         feature_value=weighted_messages) 
  19.     return pooled_messages 

请注意,即使卷积是在只考虑源节点和目标节点的情况下编写的,TF-GNN 仍可确保它适用并可以无缝处理异构图(具有各种类型的节点和边)。

安装

这是目前安装 tensorflow_gnn 的唯一方法。强烈建议使用虚拟环境。

Clone tensorflow_gnn:

  1. $> git clone https://github.com/tensorflow/gnn.git tensorflow_gnn 

安装 TensorFlow:

  1. $> pip install tensorflow 

安装 Bazel:Bazel 需要构建包的源代码。安装步骤请参考:https://docs.bazel.build/versions/main/install.html

安装 GraphViz:这个包使用 GraphViz 作为可视化工具,安装因操作系统而异,例如 Ubuntu:

  1. $> sudo apt-get install graphviz graphviz-dev 

安装 tensorflow_gnn:

  1. $> cd tensorflow_gnn && python3 -m pip install . 

【编辑推荐】

  1. 对话Gartner孙鑫:深度解读数据中台的技术与落地
  2. 阿里可观测性数据引擎的技术实践
  3. 两个小模型就能吊打大模型!北大校友、谷歌华人一作「模型集合」,CNN、Transformer都适用!
  4. 科学家利用VR技术“看到”COVID-19病毒蛋白“内部”以攻击其弱点
  5. 快手为游戏主播打造虚拟人“红尘” 自研技术拓宽创作者发挥空间
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

带你轻松入门 RabbitMQ

带你轻松入门 RabbitMQ

轻松入门RabbitMQ
共4章 | loong576

55人订阅学习

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

14人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

42人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微