추천 시스템: 코사인 유사도를 활용한 키워드 기반 추천 알고리즘

🧙 채용 매칭 플랫폼: 기업 사용자가 "멀티플레이어 전략 게임을 개발할 서버 개발자" 등의 프로젝트 개요를 입력하면 서비스에 올라와 있는 사용자들의 이력서와 비교해 가장 유사도가 높은 순서대로 추천한다.

1. 추천 시스템이란?
     1.1 데이터의 종류
     1.2 유사도
     1.3 유사도 측정 방식
     1.4 추천 시스템의 종류
     1.5 추천 시스템의 한계
2. 우리 서비스에 적용
     2.1 Step 1. 키워드 추출
     2.2 Step 2. 단어 벡터화
     2.3 Step 3. 벡터 간 코사인 유사도 계산
     2.4 전체 코드
     2.5 실행 결과
     2.6 개선점
3 참고 자료

추천 시스템이란?

사용자의 정보 데이터를 분석하여 개인의 취향에 맞는 아이템을 추천하는 알고리즘이다. 예를 들어, 사용자는 상품에 좋아요를 남기거나, 상품을 구매하고 리뷰를 남길 수 있다. 이러한 사용자의 피드백과 행동 데이터를 분석해서 사용자의 취향을 파악하고, 추천 시스템에 활용한다.

 

데이터의 종류

• Explicit 데이터
  • 사용자가 직접적으로 선호도를 표현한 데이터를 말한다.
  • 예) 평점, 좋아요, 구독
  • 실무에서는 얻기 어렵다.
  • 하지만 우리 서비스에서는 프로젝트 개요를 직접적으로 입력하기 때문에, explicit 데이터를 얻기 쉽다!
• Implicit 데이터
  • 사용자가 간접적으로 선호도를 표현한 데이터를 말한다.
  • 예) 검색 기록, 클릭 기록, 구매 내역

 

유사도

추천 시스템에서 유사도는 중요한 개념이다. 데이터의 형태가 텍스트, 이미지, 영상 등 어떤 형태이더라도 벡터 형태로 표현하여 아이템 벡터 간의 유사도를 측정한다. 예를 들어, 옷 데이터셋에서 카테고리, 사이즈, 색 등이 벡터의 여러 속성 중 하나가 될 수 있다.

유사도 측정 방식

• 자카드 유사도
  • 집합 간 교집합 크기를 이용하여 유사도를 측정한다.
  • 0~1 사이의 범위를 가진다.
  • 합집합과 교집합의 크기가 비슷할수록 값이 1에 가까워진다.
  • (두 아이템 교집합)/(두 아이템 합집합)
• 코사인 유사도
  • 두 아이템의 벡터 공간 모델(vector space model)에서 두 벡터 간의 유사성을 측정하는 데 사용되는 방법이다.
  • A⋅B는 벡터 A와 B의 내적(dot product)
  • ∥A∥와 ∥B∥는 각각 벡터 A와 B의 크기(norm)
  • -1에서 1 사이의 범위를 가진다.

  

  
  
  • 두 벡터가 비슷할수록 값이 1에 가까워진다. 값이 -1에 가까울수록 두 벡터는 반대 방향을 가지며, 0은 벡터 간의 관련성이 없음을 나타낸다.
    

  • 

• 유클리디안 거리
  • 두 아이템의 벡터 사이의 거리를 이용해서 유사도를 측정한다.
  • 두 벡터 간의 방향은 무시한다.
• 피어슨 상관계수
  • 두 아이템이 서로 상관관계가 있는지 측정한다.

 

추천 시스템의 종류

추천 시스템의 종류는 크게 컨텐츠 기반 필터링, 협업 필터링, 하이브리드 추천 시스템이 있다. 더 심화된 알고리즘으로는 딥러닝을 활용한 추천 시스템이 있다.

컨텐츠 기반 필터링

사용자가 선택하거나 구매한 아이템과 유사한 아이템을 추천하는 방법이다. 아이템 간의 유사도를 측정한다.

협업 필터링

비슷한 취향을 가진 다른 사용자가 좋아한 아이템을 사용자에게 추천하는 방법이다. 사용자 간의 유사도를 측정한다.

 

추천 시스템의 한계

콜드 스타트 문제

만약 협업 필터링을 사용한다면, 기존 데이터가 반드시 필요하기에 신규 사용자에게는 어떠한 아이템도 추천할 수 없다.

계산 효율성 저하

협업 필터링은 계산량이 많은 알고리즘이기 때문에 사용자 수가 많은 경우에 계산이 장기간 소요된다.

롱테일 문제

사용자는 소수의 인기 있는 콘텐츠에만 관심을 보이기 마련인데, 이 때문에 소수의 인기 콘텐츠가 전체 추천 콘텐츠의 많은 비율을 차지하게 된다.

→ 이는 알고리즘이 간단하기 때문에 일어나는 문제점이다.

하이브리드 추천 시스템

2개 이상의 다양한 종류의 추천 시스템 알고리즘을 조합하는 방법이다.

 

우리 서비스에 적용

업무 한 줄 소개를 기반으로 추천하므로, 아이템 간 유사도를 측정하는 컨텐츠 기반 필터링 방식에 더 가깝다고 볼 수 있다. 또한, 키워드 벡터 간 유사도를 측정하기 위해 코사인 유사도를 이용할 것이다.

 

그렇다면 본격적으로 추천 알고리즘 개발을 시작하겠다.

🧙 기업 사용자가 "멀티플레이어 전략 게임을 개발할 서버 개발자" 등의 업무 한 줄 소개를 입력하면, 서비스에 올라와 있는 사용자들의 이력서와 비교해 가장 유사도가 높은 순서대로 추천하려고 한다. 검색한 업무 한 줄 소개와 구직자의 이력서 각각에서 키워드를 추출해서 두 키워드 벡터 간 유사도(코사인 유사도)를 측정할 것이다.

 

 

Step 1. 키워드 추출

KoNLPy(코엔엘파이)는 한국어 정보처리를 위한 파이썬 패키지이다.

사용하려면 KoNLPy 라이브러리를 설치한 다음, KoNLPy에서 제공하는 한나눔(Hannanum) 형태소 분석기 객체를 생성한다.

이력서 텍스트를 hannanum.nouns() 함수에 전달하여 명사만 추출한다.

!pip install konlpy # KoNLPy 라이브러리 설치

from konlpy.tag import Hannanum
 
hannanum = Hannanum() # Hannanum 객체 생성
resumes = [
    "프로젝트 관리 및 개발 경험이 풍부한 개발자",
    "빠른 학습 능력과 프로젝트 관리 스킬을 갖춘 경영학 전공자",
    "웹 개발과 프로젝트 일정 관리에 능숙한 소프트웨어 엔지니어"
]

for resume in resumes:
	# 이력서 텍스트에서 명사만 추출
  resume_keywords = hannanum.nouns(resume)
  print(resume_keywords)

결과는 다음과 같다. ‘및’, ‘이’, ‘와/과’ 등 조사와 접속사를 생략하고 잘 추출된 것을 확인할 수 있다.

['프로젝트', '관리', '개발', '경험', '풍부', '개발자']
['학습', '능력', '프로젝트', '관리', '스킬', '경영학', '전공자']
['웹', '개발', '프로젝트', '일정', '관리', '능숙', '소프트웨어', '엔지니어']

 

Step 2. 단어 벡터화

!pip install scikit-learn

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer()
vectors = vectorizer.fit_transform([project_keywords, resume_keywords])

이 코드는 scikit-learn 라이브러리를 사용하여 TF-IDF (Term Frequency-Inverse Document Frequency) 벡터를 생성한다. TF-IDF는 특정 단어가 문서 내에서 얼마나 중요한지를 나타내는 지표로, 단어의 빈도와 역문서 빈도를 고려한다.

 

TfidfVectorizer는 텍스트 데이터를 TF-IDF 벡터로 변환한다.

fit_transform() 함수는 각 텍스트의 단어들을 기반으로 TF-IDF 가중치를 계산하고, 최종적으로 텍스트를 TF-IDF 벡터로 변환한다. 결과로 나오는 vectors는 희소 행렬(Sparse Matrix) 형태로, 각 행은 각 문서에 대한 TF-IDF 벡터를 나타낸다. 희소 행렬은 대부분의 값이 0인 행렬을 메모리를 절약하여 표현하는 방식이다.

 

Step 3. 벡터 간 코사인 유사도 계산

from sklearn.metrics.pairwise import cosine_similarity

# 코사인 유사도 계산
similarity_matrix = cosine_similarity(vectors)
similarity = similarity_matrix[0, 1]

cosine_similarity() 함수는 TF-IDF 벡터로 표현된 텍스트들 간의 코사인 유사도를 계산한다.

similarity_matrix[0, 1]은 첫 번째 벡터와 두 번째 벡터 간의 코사인 유사도를 가져온다. 이 값은 0과 1 사이의 실수이며, 값이 1에 가까울수록 유사하고 0에 가까울수록 서로 관계가 없다.

 

전체 코드

!pip install scikit-learn
!pip install konlpy

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
from konlpy.tag import Hannanum
 
hannanum = Hannanum()

def extract_keywords(text):
    # 텍스트에서 키워드 추출
    keywords = hannanum.nouns(text)
    print(keywords)
    return " ".join(keywords)  # 단어 리스트를 다시 문자열로 변환하여 반환

def calculate_similarity(project_keywords, resume_keywords):
    # 단어 벡터화
    vectorizer = TfidfVectorizer()
    vectors = vectorizer.fit_transform([project_keywords, resume_keywords])

    # 코사인 유사도 계산
    similarity_matrix = cosine_similarity(vectors)
    similarity = similarity_matrix[0, 1]

    return similarity

def recommend_resumes(project_overview, resumes): # 이력서 추천 구현
    # 업무 한 줄 소개로부터 키워드 추출
    project_keywords = extract_keywords(project_overview)

    # 이력서별로 유사도 계산
    similarity_scores = []
    for resume in resumes:
        # 이력서로부터 키워드 추출
        resume_keywords = extract_keywords(resume)
        # 업무 한 줄 소개와 이력서 사이의 유사도 계산
        similarity = calculate_similarity(project_keywords, resume_keywords)
        similarity_scores.append((resume, similarity))

    # 유사도가 높은 순으로 이력서 정렬
    sorted_resumes = sorted(similarity_scores, key=lambda x: x[1], reverse=True)

    return sorted_resumes

# 기업 사용자가 검색하는 업무 한 줄 소개
project_overview = "기업 프로젝트 관리 및 개발"
print("사용자 검색어: " + project_overview)

# 시니어 사용자의 이력서 키워드
resumes = [
    "기업 프로젝트 관리 및 개발 경험이 풍부한 개발자",
    "빠른 학습 능력과 프로젝트 관리 스킬을 갖춘 경영학 전공자",
    "웹 개발과 프로젝트 일정 관리에 능숙한 소프트웨어 엔지니어"
]

# 업무 한 줄 소개를 바탕으로 이력서 추천
recommended_resumes = recommend_resumes(project_overview, resumes)

# 결과 출력
for resume, similarity in recommended_resumes:
    print(f"유사도: {similarity:.2f}, 이력서: {resume}")

 

실행 결과

사용자 검색어: 기업 프로젝트 관리 및 개발
유사도: 0.63, 이력서: 기업 프로젝트 관리 및 개발 경험이 풍부한 개발자
유사도: 0.41, 이력서: 웹 개발과 프로젝트 일정 관리에 능숙한 소프트웨어 엔지니어
유사도: 0.24, 이력서: 빠른 학습 능력과 프로젝트 관리 스킬을 갖춘 경영학 전공자

 

개선점

사용자 검색어: 전략 멀티플레이어 게임을 개발하는 서버 개발자

유사도: 0.41, 이력서: 전략 멀티플레이어 게임 서버를 설계하고 구현한 경험이 있는 엔지니어
유사도: 0.38, 이력서: 전략 게임 프로젝트에서의 풍부한 서버 측 개발 경험을 가진 소프트웨어 엔지니

기업 사용자의 검색어가 ‘전략 멀티플레이어 게임을 개발하는 서버 개발자’라고 가정하고 여러 예시를 넣어 테스트했는데, 인간이 보기에 비슷한 텍스트에 대해 유사도를 낮게 계산하고 있음을 확인할 수 있었다.

예를 들어, ‘전략 멀티플레이어 게임을 개발하는 서버 개발자’와 ‘전략 멀티플레이어 게임 서버를 설계하고 구현한 경험이 있는 엔지니어’는 인간이 보기에 유사하다. 그러나, 결과에서 확인할 수 있듯이 0.41 정도의 유사도만을 얻을 수 있었다.

문제는 다음과 같다.

['전략', '멀티플레', '게임', '개발', '서버', '개발자']
['전략', '멀티플레', '게임', '서버', '설계', '구현', '경험', '엔지니어']

1. ‘구현’, ‘경험’ 등 직무와 직접적으로 연관이 없는 일반적인 단어가 포함된다.
2. ‘개발자’, ‘엔지니어’ 등 유의어를 처리하지 못한다.

먼저 1번의 문제를 해결하겠다. 직무와 직접적으로 관련이 없는 일반적인 단어를 stop words로 만들어 키워드 벡터화에서 배제하였다.

# 직무와 직접적으로 관련 없는 stop words
korean_stopwords = ['경험', '능력', '경력', '기술', '능숙', '풍부', '향상', '다양', '다양한', '완료', '관련', '특화', '보유', '담당', '성공', '성공적', '프로젝트', '분야', '활용', '스킬']

# 단어 벡터화
vectorizer = TfidfVectorizer(stop_words=korean_stopwords)

 

결과

유사도가 높아진 것을 확인할 수 있다.

사용자 검색어: 전략 멀티플레이어 게임을 개발하는 서버 개발자
유사도: 0.50, 이력서: 전략 게임 프로젝트에서의 풍부한 서버 측 개발 경험을 가진 소프트웨어 엔지니어
유사도: 0.45, 이력서: 전략 멀티플레이어 게임 서버를 설계하고 구현한 경험이 있는 엔지니어
유사도: 0.38, 이력서: 다양한 게임 프로젝트에서 서버 개발과 프로젝트 관리를 담당한 엔지니어
유사도: 0.32, 이력서: 게임 서버 관련 프로젝트에서 팀을 리드하고 프로젝트를 성공적으로 완료한 경험이 있음
유사도: 0.23, 이력서: 전략적인 마인드로 프로젝트를 주도한 경험이 풍부한 서버 개발자
유사도: 0.20, 이력서: 서버 아키텍처에 대한 깊은 이해를 기반으로 한 전략적 개발 경험이 풍부
유사도: 0.20, 이력서: 전략적인 게임의 다양한 기능을 개발하고 유지보수한 경력을 보유한 엔지니어
유사도: 0.18, 이력서: 서버 성능 최적화와 안정성 강화를 통해 게임 플레이 경험을 향상시킨 경험 있음
유사도: 0.18, 이력서: 멀티플레이어 시스템에 특화된 서버 아키텍처를 설계하고 구현한 경험이 있는 엔지니어
유사도: 0.14, 이력서: 뛰어난 팀워크와 소통 능력으로 게임 프로젝트를 성공적으로 이끈 경험 있음

 

심화 테스트

예시를 더 다양화해서 사용자의 검색어와 관련 없는 텍스트까지 추가해보았다.

검색어에 따른 결과가 잘 나오는 것을 확인할 수 있다.

사용자 검색어: 전략 멀티플레이어 게임을 개발하는 서버 개발자
유사도: 0.54, 이력서: 전략적인 멀티플레이어 게임을 개발하는 서버 개발 전문가
유사도: 0.45, 이력서: 서버 개발 분야에서 다양한 게임 프로젝트를 성공적으로 이끈 엔지니어
유사도: 0.30, 이력서: 게임 서버 보안 강화를 위한 다양한 프로토콜 개발에 참여한 엔지니어
유사도: 0.18, 이력서: 모바일 게임 서버 아키텍처를 구축하고 최적화한 경험이 있는 엔지니어
유사도: 0.14, 이력서: 글로벌 비즈니스 전략 수립과 실행에 경험이 있는 비즈니스 전략 기획자
유사도: 0.12, 이력서: 기업 프로젝트 관리 및 개발 경험이 풍부한 프로젝트 매니저
유사도: 0.10, 이력서: 웹 개발과 프로젝트 일정 관리에 능숙한 소프트웨어 엔지니어
유사도: 0.08, 이력서: 최신 웹 기술을 활용한 프론트엔드 개발에 특화된 프론트엔드 엔지니어
유사도: 0.00, 이력서: 빠른 학습 능력과 프로젝트 관리 스킬을 갖춘 경영학 전공자
유사도: 0.00, 이력서: AI 및 머신러닝 기술을 활용한 데이터 과학자
유사도: 0.00, 이력서: 사용자 경험(UX) 디자인에 능숙한 UI/UX 디자이너
유사도: 0.00, 이력서: IT 보안 및 취약점 분석에 전문화된 보안 엔지니어
유사도: 0.00, 이력서: 대규모 분산 시스템의 아키텍처 설계와 관리에 능숙한 시스템 아키텍트

다만 한 가지 문제가 있다.

유사도: 0.14, 이력서: 글로벌 비즈니스 전략 수립과 실행에 경험이 있는 비즈니스 전략 기획자
유사도: 0.12, 이력서: 기업 프로젝트 관리 및 개발 경험이 풍부한 프로젝트 매니저
유사도: 0.10, 이력서: 웹 개발과 프로젝트 일정 관리에 능숙한 소프트웨어 엔지니어
유사도: 0.08, 이력서: 최신 웹 기술을 활용한 프론트엔드 개발에 특화된 프론트엔드 엔지니어

위의 결과에서 기획자나 프로젝트 매니저가 엔지니어보다 더 높은 유사도를 가지는 것을 확인할 수 있는데, 이렇게 직무가 달라도 키워드가 비슷하면 유사도가 높다 평가한다.

따라서, 사용자가 검색할 때 정해진 직무 분야 중 먼저 선택한 후 검색하도록 하려고 한다.

 

개선 후 전체 코드

!pip install scikit-learn
!pip install konlpy

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
from konlpy.tag import Hannanum

hannanum = Hannanum()

def extract_keywords(text):
    # 텍스트에서 키워드 추출
    keywords = hannanum.nouns(text)
    return " ".join(keywords)  # 단어 리스트를 다시 문자열로 변환하여 반환

def calculate_similarity(project_keywords, resume_keywords):
    # 직무와 직접적으로 관련 없는 stop words
    general_stopwords = ['경험', '능력', '경력', '기술', '업무', '작업', '능숙', '풍부',
                         '향상', '다양', '다양한', '완료', '관련', '특화', '역량', '보유',
                         '담당', '성공', '성공적', '프로젝트', '분야', '활용', '스킬', 
                         '목표', '도전', '기록', '노력', '수행', '참여', '참가', '달성', 
                         '적용', '배움', '기여', '협력', '활동', '향상', '성장', '발전']

    # 단어 벡터화
    vectorizer = TfidfVectorizer(stop_words=general_stopwords)
    vectors = vectorizer.fit_transform([project_keywords, resume_keywords])

    # 코사인 유사도 계산
    similarity_matrix = cosine_similarity(vectors)
    similarity = similarity_matrix[0, 1]

    return similarity

def recommend_resumes(project_overview, resumes): # 이력서 추천 구현
    # 업무 한 줄 소개로부터 키워드 추출
    project_keywords = extract_keywords(project_overview)

    # 이력서별로 유사도 계산
    similarity_scores = []
    for resume in resumes:
        # 이력서로부터 키워드 추출
        resume_keywords = extract_keywords(resume)
        # 업무 한 줄 소개와 이력서 사이의 유사도 계산
        similarity = calculate_similarity(project_keywords, resume_keywords)
        similarity_scores.append((resume, similarity))

    # 유사도가 높은 순으로 이력서 정렬
    sorted_resumes = sorted(similarity_scores, key=lambda x: x[1], reverse=True)

    return sorted_resumes

# 기업 사용자가 검색하는 업무 한 줄 소개
project_overview = "전략 멀티플레이어 게임을 개발하는 서버 개발자"
print("사용자 검색어: " + project_overview)

# 시니어 사용자의 이력서 키워드
resumes = [
    "전략적인 멀티플레이어 게임을 개발하는 서버 개발 전문가",
    "서버 개발 분야에서 다양한 게임 프로젝트를 성공적으로 이끈 엔지니어",
    "모바일 게임 서버 아키텍처를 구축하고 최적화한 경험이 있는 엔지니어",
    "게임 서버 보안 강화를 위한 다양한 프로토콜 개발에 참여한 엔지니어",
    "기업 프로젝트 관리 및 개발 경험이 풍부한 프로젝트 매니저",
    "빠른 학습 능력과 프로젝트 관리 스킬을 갖춘 경영학 전공자",
    "웹 개발과 프로젝트 일정 관리에 능숙한 소프트웨어 엔지니어",
    "AI 및 머신러닝 기술을 활용한 데이터 과학자",
    "사용자 경험(UX) 디자인에 능숙한 UI/UX 디자이너",
    "IT 보안 및 취약점 분석에 전문화된 보안 엔지니어",
    "글로벌 비즈니스 전략 수립과 실행에 경험이 있는 비즈니스 전략 기획자",
    "대규모 분산 시스템의 아키텍처 설계와 관리에 능숙한 시스템 아키텍트",
    "최신 웹 기술을 활용한 프론트엔드 개발에 특화된 프론트엔드 엔지니어"
]

# 업무 한 줄 소개를 바탕으로 이력서 추천
recommended_resumes = recommend_resumes(project_overview, resumes)

# 결과 출력
for resume, similarity in recommended_resumes:
    print(f"유사도: {similarity:.2f}, 이력서: {resume}")

 

참고 자료

추천시스템, 그것이 알고싶다 | Product Analytics Playground (playinpap.github.io)

내적과 코사인유사도 (dot product & cosine similarity) (tistory.com)

KoNLPy: 파이썬 한국어 NLP — KoNLPy 0.6.0 documentation

KoNLPy 간단 사용법 : 네이버 블로그 (naver.com)