FastText 기반 카테고리 분류 모델 만들고 배포하기

📌 머신러닝 워크 플로우

위의 워크 플로우를 바탕으로 

데이터 수집 → 데이터 점검 및 탐색 →  텍스트 전처리 및 토큰화 → 데이터셋 구성(학습용, 검증용) → 지도 학습을 통한 분류기 생성(모델링 및 훈련, 평가) → 카테고리 분류 머신러닝 모델 API화 순서로 진행하였다.

 

📌 개발 환경 요약

Google Colab, PyCharm, AWS EC2, Docker

 

📌 1. 데이터 점검 및 탐색

구글 코랩 환경설정 및 사용법

https://theorydb.github.io/dev/2019/08/23/dev-ml-colab/

 

수집한 데이터 점검 및 탐색 예시

### 자연어 처리를 위한 NLTK와 KoNLPY 설치

import nltk

# import all the resources for Natural Language Processing with Python
nltk.download("book")

pip install konlpy

## 판다스 프로파일링(Pandas-Profiling)

pip install -U pandas-profiling

### 1. 실습 파일 불러오기

import pandas as pd
import pandas_profiling
data = pd.read_csv('surfit_csv_files/Android.csv', encoding='utf-8')

# 5개의 행만 출력
data[:5]

### 2. 리포트 생성하기

pr = data.profile_report() # 프로파일링 결과 리포트를 pr에 저장

pr.to_file('./android_report.html') # android_report.html 파일로 저장

pr

 

📌 2. 텍스트 전처리 및 토큰화

데이터의 노이즈 제거와 정규화 과정의 명확한 순서가 있기보다 번갈아 적용하며 기준치까지 맞춰가도록 하는 것이다.

텍스트를 수치화하기 전 텍스트일 때만 할 수 있는 최대한의 전처리를 끝내놓아야 한다.

 

2-1. 형태소 토큰화 후 csv 파일에 저장

> 개발 환경

Google Colab, Python

 

> 적용 대상 : title

description의 경우 블로그 작성자가 직접 요약하지 않았다면 블로그 글의 시작 부분을 일부 보여주므로 의미없는 데이터가 다수 존재하여 title 데이터만을 대상으로 한정했다.

 

개발 글의 경우 대부분 개발 관련 전문 용어(한국어, 영어)로 구성되고, 사용하는 형태소 분석기(KoNLPY의 PyKomoran)는 이를 한국어의 경우 고유명사(NNP), 영어의 경우 외국어(SL)로 토큰화하므로 title 데이터의 형태소 중 이 2가지를 저장하도록 하였다.

 

> 사용 주요 라이브러리 : KoNLPY의 PyKomoran 형태소 분석기

Q. 텍스트 전처리 및 토큰화를 위해 어떤 형태소 분석기를 사용할 것인가?

KoNLPY vs. SOYNLP 중 고민을 하였고, 최종적으로 KoNLPY를 사용하였다. 

 

그 이유는 SOYNLP의 개선점은 기존의 KoNLPY 형태소 분석기는 신조어나 형태소 분석기에 등록되지 않은 단어의 경우 제대로 구분하지 못한다는 점인데, 개발 관련 글에서는 신조어의 등장 빈도가 극소수이고, KoNLPY 형태소 분석기는 사용자 사전을 추가하여 Customized KoNLPY 구현이 가능해 등록되어 있지 않은 개발 전문 용어에 대한 사용자 사전을 추가해 사용할 수 있기 때문이다.

 

Q. 그렇다면 KoNLPY의 어떤 형태소 분석기를 사용할 것인가?

총 Okt, Mecab, Komoran, Hannanum, Kkma 5가지의 형태소 분석기를 테스트해보았고, 최종적으로 PyKomoran(Java로 개발된 형태소 분석기인 Komoran을 Python에서도 사용가능하도록 개발한 것)을 사용하였다.

 

형태소 분석기 선택시 고려한 상황은 다음과 같다.

1) 블로그 글이기 때문에 띄어쓰기가 잘 되어 있음

2) 개발환경은 Python

3) 개발 관련 전문 용어(ex. 객체 지향 프로그래밍)를 하나의 고유명사로 인식해야 함

 

Komoran의 다음과 같은 장점들을 바탕으로 현재 개발 상황에 가장 적합하다고 판단해 선택하게 되었다.

1) 여러 어절을 하나의 품사로 분석 가능함으로써 형태소 분석기의 적용 분야에 따라 공백이 포함된 고유명사(영화 제목, 음식점명, 노래 제목, 전문 용어 등)를 더 정확하게 분석할 수 있다. → 가장 중요한 특징!

2) 개발자가 지속적으로 업데이트

3) Komoran만 유일하게 자소가 분리된 문장이나 오탈자에 대해서도 괜찮은 분석 품질을 보여준다.

4) 한계점 다른 형태소 분석기에 비해 로딩시간이 길다. 하지만 분석속도는 빠르다.

5) 띄어쓰기 없는 문장 분석에 취약한편이지만, 프로젝트에서 사용할 데이터는 블로그 제목 데이터이므로 띄어쓰기가 잘 되어 있어 괜찮다.

 

Q. Komoran의 STABLE vs. EXP 모델 중 어떤 것을 사용할 것인가?

EXP 모델은 STABLE 모델 학습에 사용한 데이터에 추가로 Wikipedia 의 문서 제목들을 학습한 모델이다.

EXP 모델의 경우 뉴스 분류, SNS 데이터 분석 등과 같이 신조어 및 고유명사 등이 중요한 자질로 사용되는 필요한 분야에서 사용할 수 있다. 

 

아래와 같이 테스트 해 본 결과 EXP 모델의 분석 결과가 더 알맞아 EXP 모델을 사용하였다.

원본 데이터:  창시자 앨런 케이가 말하는, 객체 지향 프로그래밍의 본질

# STABLE 모델 사용 결과
명사 추출:  ['창시자', '앨런', '케이', '말', '객체', '지향', '프로그래밍', '본질']

# EXP 모델 사용 결과
명사 추출:  ['창시자', '앨런 케이', '말', '객체 지향 프로그래밍', '본질']

 

참고)

https://velog.io/@metterian/한국어-형태소-분석기POS-분석-3편.-형태소-분석기-비교

 

 

2-2. 형태소 토큰화 성능 향상 시키기

[1] 사용자 사전 사용하기 (PyKomoran 형태소 분석기의 기능임)

문장 내에 사용자 사전에 포함된 단어가 출현하면 사용자 사전에 정의된 품사를 우선적으로 갖게된다.

 

예시)

# 사용자 사전 추가 전
원본 데이터:  엘라스틱 서치는 거대한 코끼리 같은 존재다.
EXP 결과
외국어 추출:  ['엘라', '스틱', '서치']

# 사용자 사전 추가 후 (엘라스틱 서치 : 고유명사)
원본 데이터:  엘라스틱 서치는 거대한 코끼리 같은 존재다.
EXP 결과
외국어 추출:  ['엘라스틱 서치']

 

참고)

https://komorandocs.readthedocs.io/ko/latest/manual/manual.html

 

[2] SL 품사 태깅된 영어 단어 리스트를 대상으로 NLTK 적용해 불용어 제거

불용어 제거 전의 상황은 to, from과 같이 의미없은 영단어가 형태소 토큰화 결과로 같이 저장되었다. 의미없는 데이터가 포함된 상태로 모델 학습을 시킨다면 성능에 영향을 끼칠 것이라 생각해 이러한 의미없은 영단어를 제거하였다.

 

nltk 라이브러리의 불용어(stopword) 리스트에 기본으로 단어들이 등록되어 있어 이를 사용하였다.

 

사용 예시)

import nltk
nltk.download('stopwords')

from nltk.corpus import stopwords

text = "RxJava to Coroutine, 네트워크 처리에 코루틴을 적용했더니?!" #원본 데이터

en_words = komoran.get_morphes_by_tags(
                        data, tag_list=["SL"]
                    ) # 외국어 형태소만 추출

stop_words = set(stopwords.words("english")) #영어 불용어 리스트

result = []
for w in en_words:
    if w not in stop_words: #불용어 리스트에 존재하지 않는 영단어만 result에 저장
        result.append(w)

print(en_words)
print(result)

# 출력 결과
['RxJava', 'to', 'Coroutine'] #불용어 제거 전
['RxJava', 'Coroutine'] #불용어 제거 후

 

[3] 영단어에 대해 소문자로 변환, 길이가 짧은(1~2문자) 단어 제거

영어권 언어에서 대, 소문자를 통합하는 것은 단어의 개수를 줄일 수 있는 정규화 방법 중 하나이다.

 

참고)

https://wikidocs.net/21693

 

📌 3. FastText 텍스트 분류기 모델 학습

Q. FastText 텍스트 분류기를 사용한 이유?

리서치를 통해 찾아낸 [당근마켓]글쓰기 화면에서 카테고리 자동 추천하는 모델 만들기 글에서 FastText를 처음 접하였고, 공식문서를 찾아보니 데이터만 있으면 빠르게 지도 학습으로 카테고리 분류 모델을 만들어낼 수 있어 사용하였다.

 

단계1 - 데이터 준비

__label__{category}\\t{텍스트 전처리 거친 데이터}

위와 같은 형식의 데이터를 가진 txt 파일을 준비한다. 

FastText에서 제공하는 카테고리 분류 모델 학습을 위한 필수 데이터 형식이다.

 

단계2 - 데이터 분리

train_test_split 방식을 사용했다. 학습용 데이터(train)와 테스트용 데이터(test)를 8:2 로 분리하였다.

해당 방식을 사용하기 위해 기존의 카테고리별로 순서대로 저장되어 있는 txt 파일을 shuffle 하였다.

 

단계3 - 모델 지도 학습

https://fasttext.cc/docs/en/supervised-tutorial.html → 공식문서에 나와있는 순서대로 진행하였다.

train_supervised()의 인자로 learning rate, wordNgrams는 주지 않는게 테스트 데이터로 측정한 결과 성능이 더 높았고, epoch=25로 설정하였다.

 

단계4 - 모델 정확도 측정

앞서 분리한 테스트용 데이터로 모델의 정확도를 측정하였다.

 

10271개의 데이터로 학습시킨 결과 정확도가 92.3%가 되었다.

 

📌 4. Django와 Docker & AWS EC2를 사용해 생성한 머신러닝 모델 배포 및 API화

카테고리 분류가 서비스의 핵심 기능이었고, 백엔드 서버와의 통신 테스트도 수행해야 했기에 빠르게 모델을 배포하고 API화 해야 해서 나에게 익숙한 Django REST Framework, Docker, AWS EC2를 사용하였다.

 

github에서 구현 코드 확인하기 💻

 

처음에 프리티어에서 공짜로 제공해주는 AWS EC2의 Ubuntu 18.04 t2.small을 사용하였는데, CPU 용량 때문에 pip install로 필요한 파이썬 모듈을 다운로드할 때 fasttext 라이브러리가 다운로드가 완료되지 않고 계속 멈추었다. 내 로컬 컴퓨터에서는 정상적으로 실행되는 것으로 보아 t2.small의 Ubuntu 서버 사용 가능 자원을 초과하기 때문이라는 것을 찾아냈다. (AWS의 EC2 CPU 모니터링에서도 CPU 사용량이 100이었다. 멈출 수 밖에 없었다.)

 

최대한 무료 버전을 사용하고 싶었지만, CPU 용량 문제임을 알게 되어 t2.small 대신 AWS EC2의 t2.micro 서버를 사용하여 한번에 해결하였다. 

 

머신러닝 모델 배포에는 아래의 참고 내용과 같이 다양한 방법이 있다. 추후에 새로운 배포 방식을 적용해 개선해보고 싶다.

 

참고)

머신러닝 모델을 배포하는 5가지 방법에 대한 좋은 글👍 - EC2 인스턴스, AWS Lambda function, EKS(Kubernetes), AWS ECS, Sagemaker

https://medium.com/hackernoon/auto-generating-tags-for-content-using-amazon-sagemaker-blazingtext-with-fasttext-335c38429de0 - Amazon SageMaker & Fasttext 배포 관련

https://brunch.co.kr/@chris-song/91#comment - AWS Lambda & API Gateway

 

📌 [추가] 크롤링한 데이터를 MySQL 대신 csv 파일에 저장하기

기존에는 MySQL에 저장되도록 하였는데, 데이터 분석 시 csv 파일이 더 유용하게 쓰이기 때문에 csv 파일에 저장하는 기능을 추가하였다.

크롤링한 데이터는 [(url, title, description, category), ...] 형태인 외부는 list, 내부는 tuple로 구성되어 있다.

위와 같은 데이터 형태를 사용해 csv 파일에 바로 저장되도록 구성하였다.

 

예시 코드)

def save_to_csv(
    file_name, column, data
):  # file_name: string, columns: list, data: [(), (), ..] list(tuple)
    with open(file_name, mode="w", newline="", encoding="utf-8") as out:
        csv_out = csv.writer(out)
        csv_out.writerow(column)
        for row in data:
            csv_out.writerow(row)

참고)

https://stackoverflow.com/questions/15578331/save-list-of-ordered-tuples-as-csv/15578485

 

 

 

🎈 참고

[번역] 머신러닝을 활용한 제품 카테고리 분류하기

데이블 - [개발] 콘텐츠 카테고리 분류기 개발 내용과 데모를 제공합니다

머신러닝 모델 API화 - 상품 카테고리 분류기

[당근마켓]글쓰기 화면에서 카테고리 자동 추천하는 모델 만들기 → title만 가지고도 성능이 좋아 title로만 분류 모델 학습시킨 사례, 카테고리 추천 모델로 FastText 사용

위키북스 - 딥 러닝을 이용한 자연어 처리 입문 → 가장 도움이 많이 된 책