[paper review] Heterogeneous Graph Attention Network

date

Aug 27, 2022

slug

paper-review-Heterogeneous-GAN

author

status

Public

Introduction

기존의 Graph Attention network를 Heterogeneous graph에 적용하기 위한 방법론입니다.

None stectral(spatial) GNN이기 때문에 transductive problem 뿐만 아니라, Inductive problem에도 적용할 수 있습니다.

본 논문의 Contribution은 다음과 같습니다.

attention mechanism을 Heterogeneous graph에 적용한 GNN 방법론입니다.

aggregation 과정에서 Node-level, Metapath(Semantic)-level의 Attention을 모두 고려하여 우수한 representation을 얻을 수 있습니다.

Proposed method

먼저 Node-level attention 는 Meta-path 별로 계산됩니다. 따라서 우선적으로 동일한 Metapath 에 속하는 Node type(배우, 영화, 작가)의 서로 다른 attribute set(eg. 배우 : {나이, 성별} , 영화 : {장르, 연도})을 Type-specific transformation matrix 를 통해 동일한 공간에 Mapping 합니다..

Node pair의 attention을 구하기 위해, 각 node i,j의 , 를 concat(notation → ||)하여 single layer mlp와 softmax function을 사용한 attention score를 계산합니다. —> bahdanau attention

계산된 node pair attention score를 활용하여 metapath 에서 Node 의 Embedding 를 얻습니다.

모든 Metapath 에서 각각 얻은 Node 의 Embedding 로 부터 metapath(semantic)-level attention 을 계산하기 위해, 다시 single layer mlp와 softmax function을 사용합니다.

node-level과 metapath(semantic)-level attention을 모두 고려한 Node 의 embedding 는 다음과 같습니다. 학습은 Cross-entropy loss를 사용하여 진행됩니다.

Experiment

본 논문에서 제안하는 Heterogeneous graph attention network(HAN)은 ACM, DBLP와 같은 citation network dataset과 IMDB dataset에서 Deepwalk, GCN, GAT와 비교하여 우수한 node classification score를 기록하였습니다.