大规模图预训练模型

简介：研究大规模图预训练技术，包括图建模、图计算、图推断以及在大规模图预训练中存在的计算效能优化问题，推进图深度模型技术的发展，并将研究成果同实际应用场景结合，促进图预训练技术在真实工业界场景中的应用。

研究背景

● 论文1

○ 顶会名称：ACM KDD

○ 论文题目：Streaming Graph Neural Networks with Generative Replay

○ 作者：Junshan Wang, Wenhao Zhu, Guojie Song, Liang Wang

○ 论文链接：https://dl.acm.org/doi/pdf/10.1145/3534678.3539336

● 论文2

○ 顶会名称：中国计算机学会通讯

○ 论文题目：图深度学习模型在互联网搜索推荐中的应用

○ 作者：王亮、温世阳、何雨、张迪

○ 论文链接：https://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=5960266404431872

● 论文3

○ 顶会名称：ICDE

○ 论文题目：AMCAD: Adaptive Mixed-Curvature Representationbased Advertisement Retrieval System

○ 作者：Zhirong Xu, Shiyang Wen, Junshan Wang, Guojun Liu, Liang Wang, Zhi Yang, Lei Ding, Yan Zhang, Di Zhang, Jian Xu and Bo Zheng

○ 论文链接：https://arxiv.org/abs/2203.14683

● 论文4

○ 顶会名称：WWW

○ 论文题目：Meta-Weight Graph Neural Network: Push the Limits Beyond Global Homophily

○ 作者：Xiaojun Ma, Guojie Song, Liang Wang

○ 论文链接：https://arxiv.org/abs/2203.10280

● 论文5

○ 顶会名称：WWW

○ 论文题目：DC-GNN: Decoupled Graph Neural Networks for Improving and Accelerating Large-Scale E-commerce Retrieval

○ 作者：Chenchen Feng, Yu He, Shiyang Wen, Guojun Liu, Liang Wang, Jian Xu and Bo Zheng

○ 论文链接：https://www2022.thewebconf.org/paperslist-redirect/

● 论文6

○ 顶会名称：CIKM

○ 论文题目：SMAD: Scalable Multi-view Ad Retrieval System for E-Commerce Sponsored Search

○ 作者：Shiyang Wen, Yiran Chen, Zhi Yang, Yan Zhang, Di Zhang, Liang Wang, Bo Zheng

○ 论文链接：https://dl.acm.org/doi/10.1145/3459637.3482183

● 论文7

○ 顶会名称：CIKM

○ 论文题目：Streaming Graph Neural Networks via Continual Learning

○ 作者：Junshan Wang, Guojie Song, Yi Wu, Liang Wang

○ 论文链接：https://dl.acm.org/doi/abs/10.1145/3340531.3411963

● 开源项目

○ 项目名称：曲率空间学习框架

○ 项目简介：欧氏空间由于其直观的几何特性及简单有效的公式而被应用于几乎所有的深度学习模型。然而，近年来的研究发现，复杂结构数据（如社交网络、电商数据等）的建模精度往往会受到“平坦”的欧氏空间的制约，“弯曲”的曲率空间（如双曲空间和球形空间）由于具备更强的表征能力成为一种更佳的选择。本项目提出的曲率空间学习框架（Curvature Learning Framework，以下简称 CurvLearn） 由阿里妈妈技术团队自研，旨在实现曲率空间下任意深度模型的训练与优化。基于 Tensorflow，CurvLearn 提供了丰富的流形实现，封装了完整的向量算子和高层 API，具备大规模分布式训练能力。目前该框架已在阿里广告关键业务场景落地，并取得了比欧氏空间更好的效果。

○ 链接：https://github.com/alibaba/Curvature-Learning-Framework/