Xiangguo Sun, Hong Cheng, Jia Li, Bo Liu, Jihong Guan. All in One: Multi-task Prompting for Graph Neural Networks. KDD 2023 (CORE A*, CCF A, Best Paper Award, Top10 Most Influential Papers in KDD23).
- 获“最佳研究论文奖”,为KDD会议自创立以来中国大陆和港澳地区范围内首次。并入选KDD23最具影响力论文。提出面向多任务的“通用图提示学习”这一重要科学概念,获得学术界的广泛采纳并促成学术界同行开展了很多后续的研究工作,为通用图智能算法开辟了一个全新的研究领域。为此,国际顶尖人工智能会议IJCAI 2024程序委员会特邀我们在他们的大会上对该论文内容进行二次报告。论文工作被“香港新闻网”、“香港中文大学新闻中心”、“机器之心”、知乎等媒体平台广泛报道。 例如,“香港新闻网”报道了SIGKDD 评审委员会对该工作的肯定:“这项工作为未来建立通用图 AI 模型奠定了基础,并可能对神经科学等应用产生深远的影响 ”。一些学术界同行在著名社交媒体平台知乎公开讨论此工作,给出了“大道至简!Easy and Efficient!”等评价;国外社交网站 X (Twitter)上也产生 了一些对该项工作的讨论,部分学术同行认为我进行的是一项“非常有趣”的工作。
- 国际数据库和数据挖掘领域的先驱之一、ACM和IEEE Fellow、伊利诺大学芝加哥分校Philip S. Yu(俞士纶)教授评价申请人提出的图神经网络多任务提示方法证明了预训练与微调范式优于(outperform)图深度学习,展现出了卓越的表现力表和泛化能力(superior expressive power and generalization ability)。
- 香港大学Chao Huang教授在多项工作中引用和评述申请人的工作。例如在[SIGIR 2024]的论文GraphGPT: Graph Instruction Tuning for Large Language Models认为申请人提出的图提示方法可以“提升(improve)”图领域多任务学习的表现;在[WWW2024]的论文GraphPro: Graph Pre-training and Prompt Learning for Recommendation认为申请人的图提示研究是“新兴的创新方法(Innovations… have emerged…)”。
- 中国科学技术大学张信明教授在多项工作中引用和评述申请人的工作,例如在[AAAI 2024]上的论文HGPrompt: Bridging Homogeneous and Heterogeneous Graphs for Few-Shot Prompt Learning评价申请人提出的图提示方法可以“更好(better)”地进行图领域任务迁移;在论文[ArXiv 24]上的论文Few-Shot Learning on Graphs: from Meta-learning to Pre-training and Prompting认为申请人的图提示工作可以超越节点任务,整合边和子图任务;在论文[ArXiv 23] Generalized Graph Prompt: Toward a Unification of Pre-Training and Downstream Tasks on Graphs的论文认为申请人的方法可以跨任务进行图学习。
- 欧洲科学院院士、ACM和IEEE Fellow、国家973项目首席科学家、清华大学朱文武教授的论文[ArXiv 23] Graph Meets LLMs: Towards Large Graph Models认为申请人提出的图提示学习框架解决了多种类型图任务中的“重大问题(significant challenge)”。
- 著名图学习专家、异质神经网络的开拓者、北京邮电大学石川教授在多项工作中引用和评述申请人的工作,例如:在[ArXiv 24]上的论文Data-centric Graph Learning: A Survey盛赞申请人的图提示方法为图推理领域做出了“重要贡献(a notable contribution)”,认为申请人的工作“弥补了(bridges)”多任务背景下图预训练与下游任务之间的鸿沟(It bridges the gap between graph pre-training and downstream tasks under the multi-task background);在[WWW 2024]上的论文GraphTranslator: Aligning Graph Model to Large Language Model for Open-ended Tasks评价申请人提出的图提示学习是一种“全新的范式(new paradigm)”,能够有效解决少样本对下游任务的限制。
- 复旦大学熊贇教授在论文[ArXiv 24] DDIPrompt: Drug-Drug Interaction Event Prediction based on Graph Prompt Learning中评价申请人提出的图提示方法是解决图任务迁移“新兴的、有前途的方案 (…emerged as a promising tool…)”、是一种“全面(comprehensive)”的图提示架构。在论文[ArXiv 24] Prompt Learning on Temporal Interaction Graphs中评价申请人的上述工作能够以“极低的开销(significantly lower cost)”“有效地(efficiently)”实现动态图的迁移问题,比传统方法具有“更强的灵活性(greater flexibility)”,是一种“有前途(promising)”、“全面(comprehensive)”的方案。
- 西北工业大学Feiping Nie教授与哈工大张正教授、新加坡国立大学Xinchao Wang教授等合著的论文[ICLR 2024] Self-Supervised Heterogeneous Graph Learning: a Homophily and Heterogeneity View认为申请人提出的图提示是“有前途的方法(promising approach)”。
- 北京航空航天大学王啸教授在论文[KDD 2024]Exploring Task Unification in Graph Representation Learning via Generative Approach中评价申请人提出的图提示框架“新颖(novel)”,能够“有效(effectively)”填补图领域的任务迁移鸿沟。
- 香港中文大学Jeffrey Xu Yu (于旭) 教授在论文[ArXiv 24] ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs中引用申请人提出的图提示方法,评价申请人的模型已经成为业内“著名的图迁移模型(well-known graph transfer models)”。
这项工作也促成了学术界同行开展了很多后续的研究工作,包括但不限于:
- 中山大学李军教授在能源领域顶尖期刊Applied Energy上发表的论文A physics-informed graph learning approach for citywide electric vehicle charging demand prediction and pricing评述申请人在提示学习方面的工作非常的“新颖(novel)”,并在城市能源收费领域有重要应用潜力。
- 欧洲科学院和澳大利亚科学院两院院士、ACM Fellow、悉尼大学Dacheng Tao教授在[ICLR] One for All: Towards Training One Graph Model for All Classification Tasks中认为申请人提出的“多任务图提示学习”具有“启发性(innovated)”,并被参考借鉴应用于多领域图学习任务中。
- 浙江大学汤斯亮教授在The Web Conference 2024上的论文GraphControl: Adding Conditional Control to Universal Graph Pre-trained Models for Graph Domain Transfer Learning评述申请人提出的图提示方法可以解决数据稀疏的限制,并将申请人提出的方法作为其自己工作的基础性模块,在实验评估中取得了更好的效果(“be integrated with our method to enhance downstream performance.”),在申请人方法的加持下,论文在少样本场景下的性能甚至能够和大样本训练媲美 (reaches comparable performance to full-shot)。
- 百度研究中心高级研究员Dawei Yin在多项工作中引用和评述申请人的工作,例如:在论文[ArXiv 23] Prompt Tuning for Multi-View Graph Contrastive Learning中直接采用了申请人提出的图多任务对齐方法(“…So we follow…”),认为申请人提出的方法能够“有效地(effectively)”进行多任务图知识迁移。在论文[ArXiv 23] Enhancing Graph Neural Networks with Structure-Based Prompt中评价申请人提出的图提示方法在少样本图任务中取得“令人瞩目的表现(remarkable performance)”。
- ACM和IEEE Fellow、圣母大学(University of Notre Dame) Nitesh V. Chawla教授在论文[WWW 2024] HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks中认为以申请人图提示学习为代表的工作是一种“全新的范式(new paradigm)”,并专门提到作者对图提示的理论分析,将其作为论文工作的核心动机(Prior research has proved that…This perspective further implies the feasibility and significance … emulates the impact of…)。
- 美国艺术与科学院院士、ACM杰出科学家、IEEE Fellow、杰青、香港科技大学(广州)副校长熊辉教授在论文[ArXiv24] Towards Urban General Intelligence: A Review and Outlook of Urban Foundation Models评价以申请人工作为代表的图提示学习可以作为城市计算基础模型的底层原理,是一种具有广泛应用潜力的新兴技术(the emergence of prompt tuning methods in a wide range of fields)
- 圣母大学(University of Notre Dame) Yanfang Ye教授在多篇论文中引用和评述申请人的工作,例如:在[ArXiv 24] Tackling Negative Transfer on Graphs中认为申请人提出的图提示学习能够帮助解决标签稀疏场景中的限制,“增强(enhance)”了图模型的迁移能力;在[ArXiv 24] Graph Inference Acceleration by Learning MLPs on Graphs without Supervision中认为申请人提出的图提示方法能够在多种任务间泛化(generalizable),并促使其开展了新的工作。
Xiangguo Sun, Hongzhi Yin, Bo Liu, Hongxu Chen, Jiuxin Cao, Yingxia Shao, Nguyen Quoc Viet Hung. Heterogeneous Hypergraph Embedding for Graph Classification, WSDM 2021. (CORE A*, CCF B, acceptance rate 18.6%, Top 10% Most Cited Papers in WSDM 21)
- 由于其在异质超图方面的创造性贡献,这项工作被国内计算机顶尖期刊《软件学报》的综述类研究大篇幅重点报道,获得了同行的积极评价(软件学报综述“图神经网络在复杂图挖掘上的研究进展”. 2022.33 (10): 3582-3618, 西北工业大学. 刘杰等);欧洲科学院院士、ACM 和 IEEE Fellow Christian S. Jensen 教授认为,我提出的异质超图小波基模型是业界最新 (state-of-the-art solutions),解决了很多(many)超图领域的问题;数据挖掘领域的奠基者、ACM 和 IEEE Fellow、伊利诺伊大学香槟分校 Jiawei Han/韩家炜教授,在[ICDM '22] THINK: Temporal Hypergraph Hyperbolic Network 论文中,借鉴使用了这里的复杂超图关系构建方法,在时空数据分析中取得了业界领先的性能。"Following [37], we created hyperedges based on the neighborhood of each node."。
Xiangguo Sun, Hong Cheng, Bo Liu, Jia Li, Hongyang Chen, Guandong Xu, Hongzhi Yin. Self-supervised Hypergraph Representation Learning for Sociological Analysis. IEEE Transactions on Knowledge and Data Engineering (TKDE). 2023. (CORE A*, CCF A, SCI Q1)
这篇论文只经历了一轮评审就获得录用,这在TKDE这类顶尖期刊中是很少见且难得的🙃。欧洲科学院院士、剑桥大学 Pietro Lio 教授,在其线上发表的 arXiv 论文Hypergraph Neural Networks through the Lens of Message Passing: A Common Perspective to Homophily and Architecture Design中对该篇论文的创造性贡献不吝溢美之词。直接采纳了我对社会等价性 (social equivalence) 和同质性 (social conformity) 两个重要社会学规律的量化方案。认为我提出的方法可以“更加准确 (more accurate)”地建模复杂交互关系。在论文补充材料中开辟专门的独立章节“Further consideration on the concepts of simulated social environment evolving and group entropy from Sun et al. (2023)”,对我的这篇论文进行更加详细的分析,认为引入群体熵(group entropy)的概念能够“显著地 (noteworthy)”表征演化建模,“ 有效地 (effectively)”补充自己的工作;伦敦大学(University of London) 的 Paul D. Yoo 教授在论文[ArXiv 24] Empirical and Experimental Perspectives on Big Data in Recommendation Systems: A Comprehensive Survey 中评价我提出的融合社会学规律的超图学习框架是“创建复杂精确推荐系统的关键 (…this approach is key to creating sophisticated and precise recommendation systems)”.
Xiangguo Sun, Hong Cheng, Hang Dong, Bo Qiao, Si Qin, Qingwei Lin. Counter-Empirical Attacking based on Adversarial Reinforcement Learning for Time-Relevant Scoring System. IEEE Transactions on Knowledge and Data Engineering (TKDE). 2024. (CORE A*, CCF A, SCI Q1)
- 这篇论文承载了我在微软亚洲研究院交流期间的美好回忆,比较具有纪念意义🙂. 首次提出“反经验攻击”这一用户评分系统设计的全新思想,通过在微软亚洲研究院 Azure 内部计算资源平台管理中的试用, 验证了设计思路的有效性.
Xiangguo Sun, Hongzhi Yin, Bo Liu, Qing Meng, Jiuxin Cao, Alexander Zhou, Hongxu Chen. Structure Learning via Meta-Hyperedge for Dynamic Rumor Detection. IEEE Transactions on Knowledge and Data Engineering (TKDE). 2023. (CORE A*, CCF A, SCI Q1)
- IEEE Fellow、中国科学院大学Liang Wang教授在论文 [ArXiv '23] Out-of-distribution Evidence-aware Fake News Detection via Dual Adversarial Debiasing 认为这一工作是对传统图方法异常性检测的“进一步改进(further proposed)”;澳门大学 Dingqi Yang 教授在顶级期刊ACM Computing Surveys发表的论文A Survey on Hypergraph Representation Learning中评述这一工作能够捕获上下文信息“提升(improve)”节点级别的图分析任务。
Xiangguo Sun, Hongzhi Yin, Bo Liu, Hongxu Chen, Wang Han, Qing Meng, Jiuxin Cao, Multi-level Hyperedge Distillation for Social Linking Prediction on Sparsely Observed Networks, The Web Conference 2021 (WWW2021) (CORE A*, CCF A, acceptance rate 20.6%)
- 这是我读博期间所在课题组历史上首次发表CCF A类论文,比较具有纪念意义🙂。加拿大皇家科学院和工程院两院院士、ACM 和 IEEE Fellow、前华为首席科学家、杜克大学裴健教授在论文[WWW '22] Robust Self-Supervised Structural Graph Neural Network for Social Network Prediction中认为以这项工作为代表的方法在社会网络关系预测方面显示出卓越的性能“Graph Neural Networks...have shown superior performance in... social network link prediction [39,...”; IEEE Fellow、香港科技大学计算机系主任周晓方(Xiaofang Zhou)教授在World Wide Web Journal上的论文Implicit relation-aware social recommendation with variational auto-encoder 中认为我提出的超图结构学习方法在社会关系预测中取得了卓越 (superiority)的性能。
Yicong Li, Xiangguo Sun, Hongxu Chen, Sixiao Zhang, Yu Yang, Guandong Xu. Attention Is Not the Only Choice: Counterfactual Reasoning for Path-Based Explainable Recommendation. IEEE Transactions on Knowledge and Data Engineering (TKDE). (co-first author, corresponding author, Yicong Li finished this work under my supervision. CORE A*, CCF A, SCI Q1)
- 这篇论文很年轻,暂时还没有更多的同行评议,但我相信用不了多久就会看到很多,欢迎各位同行对这篇论文工作提出宝贵意见!
Haihong Zhao, Aochuan Chen, Xiangguo Sun, Hong Cheng, Jia Li. All in One and One for All: A Simple yet Effective Method towards Cross-domain Graph Pretraining. SIGKDD 2024 (co-first author, corresponding author. CORE A*, CCF A, SCI Q1)
- 这篇论文很年轻,暂时还没有更多的同行评议,但我相信用不了多久就会看到很多,欢迎各位同行对这篇论文工作提出宝贵意见!
Xiangguo Sun, Bo Liu, Liya Ai, Danni Liu, Qing Meng, Jiuxin Cao. In Your Eyes: Modality Disentangling for Personality Analysis in Short Video. IEEE Transactions on Computational Social Systems. 2022. (SCI JCR Q1, the top journal in the social computing area)
- 社会计算领域顶尖期刊,录用率仅 10%左右。北京邮电大学吴斌教授在发表于 CIKM`23 的论文 PCENet: Psychological Clues Exploration Network for Multimodal Personality Assessment 中论述申请人基于多模态数据的人格分析框架能 够挖掘跨模态数据的一致性 (consistency)和独特性(uniqueness),跨越了多模态数据的不变空间 和特定空间,“ 提升 (improved)”了这一领域的研究水平。索尼 AI 高级技术官 Samy Badreddine 和韩国世宗大学助理教授 Donghyeon Park 在 Expert Systems with Applications 上的论文提到:申请人在多模态人格分析方面的工作将会帮助 他们已开发的产品系统 KitchenScale(一种餐饮推荐产品)实现更加“ 个 性 化 (personalized)”的服务。IEEE Fellow、北京师范大学 贾维嘉 (Weijia Jia) 教授,与悉尼科技大学 Shui Yu 教授 合著 的论文[Digital Communications and Networks] A survey on deep learning for textual emotion analysis in social networks 评价申请人在多模态心理分析的工作比单模态能够获得更丰 富的情绪表达(with greater description and vividness)。