๐Paper Review
[paper review] RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space
date
Sep 11, 2022
slug
paper-review-RotatE
author
status
Public
tags
DeepLearning
paper
summary
type
Post
thumbnail
category
๐Paper Review
updatedAt
Sep 6, 2024 03:58 PM
ย
RotatE๋ TransE, ComplEx ๋ฑ์ ๋จ์ ์ ๊ฐ์ ํ ์ง์๊ทธ๋ํ ์๋ฒ ๋ฉ ๋ฐฉ๋ฒ์ด๋ค. ์ด์ ๋
ผ๋ฌธ๋ค์ ํฌํจํ ์์์ ๋ค์๊ณผ ๊ฐ๋ค.
ComplEx์ ๋น์ทํ๊ฒ RotatE์์ head, relation, tail์ complex domain์์ ์ ์๋์ง๋ง ComplEx๊ฐ score function์ ์ค์๋ถ๋ถ๋ง ์ทจํ ๊ฒ๊ณผ ๋ฌ๋ฆฌ ์ ๊ณฑ์ ์์๋ฅผ ์ทจํด์ score function์ ์ ์ํ์๋ค. ์ด๋ ์ผ๋ฐ complex number์ ๊ทธ์ complex conjugate์์ ๋ด์ ์ ์ทจํ ๊ฒ๊ณผ ๊ฐ๋ค.
ย
RotatE์ ๊ฐ๋
์, relation์ complex plane์์์ rotation์ผ๋ก ๋ณด์ head์ rotation์ ์ทจํ ๊ฐ์ tail๊ณผ ๋น์ทํ๊ฒ ๋ง๋ค์ด์ฃผ๋ ๊ฐ๋
์ด๋ค. ์ด์ TransE๋ ์ค์ ๋๋ฉ์ธ์์ ์ฐ์ฐ์ด ์ํ๋์์ง๋ง, ์ด๋ ๊ฒ relation์ rotation์ผ๋ก ์ทจ๊ธํ๋ ๊ฒ์ TransE์ ๋นํด ํฐ ์ด์ ์ด ์กด์ฌํ๋ค.
ย
๋ฐ๋ก ์ง์ ๊ทธ๋ํ์ 4๊ฐ์ง ํจํด์ธ symmetry, anti-symmetry, inversion, composition์ ๋ชจ๋ ๋ชจ๋ธ๋งํ ์ ์๋ค๋ ๊ฒ์ด๋ค.
์ค๋์ ๋ฐํ๋ ๋
ผ๋ฌธ์ด์ง๋ง symmetry ์ ์ธ ๊ฐ๋ ฅํ ๋ชจ๋ธ๋ง ์ฑ๋ฅ์ ๊ฐ์ก๊ณ ๋ชจ๋ธ์ด ์ง๊ด์ ์ธ TransE๋ฅผ ์์๋ก ์ดํด๋ณด์. TransE๊ฐ symmetricํ ํจํด์ ์๋ฒ ๋ฉํ์ง ๋ชปํ๋ ๊น๋ญ์, score function์ ๊ณ์ฐํ๋ ์ฐ์ฐ์ด real domain์์ ์ทจํด์ง๊ธฐ ๋๋ฌธ์ธ๋ฐ, score function์ ๊ตฌ์กฐ ๋๋ฌธ์ ํ์ต์ด ์งํ๋ ์๋ก relation์ ํฌ๊ธฐ๊ฐ 0, ๊ทธ๋ฆฌ๊ณ head์ tail์ด ๊ฐ์์ง๋ ํ์์ด ๋ฐ์ํ๊ฒ ๋๋ค. symmetric relation์ ์์๋ฅผ ํ๋ ๋ค์ด๋ณด์๋ฉด ์น๊ตฌ ๊ด๊ณ๊ฐ ์๋๋ฐ, ๋์ ์ ๊ตฌ์ญ์ด ์น๊ตฌ๋ผ๊ณ ํ๋ฉด TransE์ ๋ชจ๋ธ๋ง์ ๊ฑฐ์น๋ฉด head ์ tail์ ์๋ฒ ๋ฉ์ด ๊ฐ์์ง์ผ๋ก์จ ํ๋์ ์๋ฒ ๋ฉ์ด โ๋'์ โ์ ๊ตฌ์ญโ์ ๋ชจ๋ ๊ฐ๋ฆฌํค๊ฒ ๋๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํ๋ค. ์ด๋ ์ง์๊ทธ๋ํ ์๋ฒ ๋ฉ ๊ฒฐ๊ณผ์ separation power๊ฐ ๋จ์ด์ง๋ ๋ฌธ์ ๋ฅผ ์ ๋ฐํ๋ค.
ย
ย
๊ทธ๋ฌ๋ RotatE์์๋ complex plane์์ ๋์นญ๋๋ ๋ ์ ์ผ๋ก ๋์ ์ ๊ตฌ์ญ์ ์ก์ ์ ์๊ธฐ ๋๋ฌธ์ symmetricํ ๊ด๊ณ๋ฅผ ๋ชจ๋ธ๋งํ ์ ์๋ค.
ย
์ถ๊ฐ์ ์ผ๋ก ์ด ๋
ผ๋ฌธ์์๋ self-adversarial negative sampling์ด๋ผ๋ ๋ค๊ฑฐํฐ๋ธ ์ํ๋ง ๋ฐฉ๋ฒ์ ์ ์ํ์๋ค. ๊ธฐ์กด์ ๋ค๊ฑฐํฐ๋ธ ์ํ๋ง ๋ฐฉ๋ฒ์์๋ ๋จ์ํ uniformํ๊ฒ ๋ค๊ฑฐํฐ๋ธ ์ํ๋ ๊ฒ์ negative pair๋ก ๋ณด๊ธฐ ๋๋ฌธ์, ์ด๋ ํ ์๋ฏธ์๋ ์ ๋ณด๋ฅผ score function์ ์ฃผ๊ธฐ ์ด๋ ค์ ๋ค๊ณ ํ๋ค.
์ด๋ฐ ๊ธฐ์กด์ score function์ ๋ํด ์ ์๋ ๊ฐ์ค์น ๋ถ๋ถ(1/k) ๋์ positive pair์ ๋ํ negative pair๋ค์ ํ๋ฅ ๋ถํฌ๋ฅผ ์ ์ํจ์ผ๋ก์จ ์์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ ํ์๋ค.
๊ทธ๋์ ์ข์ ์ฑ๋ฅ์ ์ป์๋ค๊ณ ํ๋ค~