[paper review] Matrix Factorization Techniques For Recommender Systems

date

Feb 1, 2024

slug

recommender-systems-1

author

status

Public

Introduction

협업필터링 기반 추천시스템에서

Latent factor model은 user의 item 상호관계 패턴(rating, 구매여부)에서 추출된 20~100개에 해당하는 Latent factor(차원, 축)를 이용하여 유저와 아이템을 같은 공간에 매핑하는 방법.

각각의 학습된 factor 중에는 코메디 vs 드라마 와 같이 분명한 특성 대비를 보여주는 factor가 존재할 수 도 있으며, 캐릭터의 깊이 혹은 기발함과 같이 분명하지 않은 특징을 표현하는 factor 또한 존재할 수 있음.

e.g.) 2개의 Factor(2차원)를 이용하여 user와 item을 동일한 공간에 표현.

Proposed method

Matrix factorization 모델은 유저와 아이템을 f차원의 잠재 공간(latent factor space)으로 매핑.

따라서 각각의 user, item vector는 다음과 같이 f차원으로 표현됨.

user vector :

item vector :

그 결과, user-item interaction(explicit, implicit feedback)은 내적으로 표현이 가능해짐.

SVD

가장 간단한 MF 방법은 SVD를 사용하여 user-item interaction matrix를 분해하는 것임.

알다시피, SVD는 완성된 MxN matrix를 같은 f차원을 공유하는 Mxf, Nxf Matrix로 분해할 수 있는 방법론임.

하지만 일반적으로, rating과 같은 user-item interaction matrix는 결측치가 매우 많은 sparse matrix임. 따라서 추천시스템에 SVD를 활용하는 것은 쉽지 않음.

따라서 imputation을 활용하여 이를 개선하기 위한 연구들이 존재했음.

하지만, user, item이 증가할수록 imputation을 위한 계산시간이 크게 증가할 수 있음.

데이터를 왜곡할 가능성 또한 증가함.

Matrix Completion(optimization approach)

따라서 일반적으로 Matrix Factorization은 존재하는 데이터만을 이용하여 error term을 최소화하는 user, item vector를 구함.

이러한 시스템은 , 를 얻기 위해 다음의 regularized squared error를 최소화.

오른쪽 regularization term은 알려지지 않은 평점에 대한 모델의 일반화를 위함.

이러한 경우, MF는 User, Item 간의 Sparse Interaction Matrix를 채워주는 Matrix completion이라고도 할 수 있음.

최적화는 SGD, ALS를 통해 가능함.

SGD

ALS

, 가 미지의 값이기 때문에 mse가 convex라는 보장이 없음.

따라서 두 변수를 번갈아 가며 고정하여 최적화 함. —> convex한 2차식으로 최적화 가능.

보통의 경우는 SGD가 더 쉽고 빠르지만 ALS가 효과적인 두가지의 상황이 존재.

병렬화가 가능할 경우

Implicit data에 집중된 시스템일 경우

Adding bias

user, item vector의 내적에 user, item의 특성을 반영하는 bias를 더해줄 수도 있음.

e.g.) 평점이 후한 유저, 박한 유저가 존재함.

—> add bias —>

Additional Input Sources

협업 필터링의 문제점인 cold-start에 대처하기 위해 implicit feedback을 추가로 반영할 수 있음.

단순화 하여 boolean implicit feedback을 반영하는 경우 다음과 같은 속성을 추가적으로 반영가능.

(는 user u가 implicit feedback을 보인 item set)

아이템과 관련되지 않은 속성과 성별, 나이, 우편번호 등과 같이 인구통계적인 유저의 속성(user attributes)도 반영 가능.

(는 유저 u의 속성 집합)

각각 추가적인 속성을 반영한 상호작용은 다음과 같이 계산 가능.

Adding Temporal dynamics

모든 아이템에도 유행이 존재하듯, 선호도와 성향은 시간에 따라 충분히 바뀔 수 있음.

Matrix Factorization은 데이터의 시간에 따른 동적인 변화 또한 반영이 가능. 아래의 식에서 t는 시간을 의미함.

는 시간에 따른 아이템, 유저, 평점의 편향

Adding confidence levels

각각 데이터의 신뢰도에 대한 가중치를 줄 수 있음.

<그림>을 통해 다양한 속성을 반영했을 때, RMSE가 가장 낮음을 알 수 있음.