크롤링한 데이터를 MySQL Docker 컨테이너에 저장하기

2022.01.31 - [Project/📚DEVOOK] - Selenium을 사용한 동적 페이지 크롤러 구현

앞서 수집한 데이터를 바탕으로 전처리 및 벡터화 작업을 진행해야 하기 때문에 크롤링한 데이터들을 데이터베이스에 저장하였다. 

여러 컴퓨터 환경 및 AWS EC2 서버에서 편리하게 사용하기 위해 Docker Compose로 MySQL 컨테이너를 구성하였다.

 

✔️모델링

 

 

 

 

 

간단하게 url, title, description, category 필드를 가지는 테이블 1개로 구성하였다. 

 

 

✔️docker-compose.yml 파일 구성

# docker-compose-dev.yml

version: "3"

services:
  db:
    image: mysql
    container_name: devook-db
    ports:
      - "3306:3306"
    volumes:
      - ./db/conf.d:/etc/mysql/conf.d
    command:
      --default-authentication-plugin=mysql_native_password
    restart: always
    environment:
      MYSQL_DATABASE: devook_db
      MYSQL_ROOT_PASSWORD: cool
      TZ: "Asia/Seoul"

MySQL 도커 이미지가 시작될 때, environment 옵션으로 MySQL 인스턴스의 구성에 대한 1개 이상의 환경 변수를 설정할 수 있다.

MYSQL_ROOT_PASSWORD : 필수 설정으로, root superuser 계정에 대한 비밀번호를 설정하는 것이다. 이때 root superuser는 자동으로 생성된다. 

MYSQL_DATABASE : 선택 사항으로, 이미지가 시작될 때 명시된 이름의 데이터베이스가 생성된다. MYSQL_USER, MYSQL_PASSWORD 설정을 추가한다면, 해당 데이터베이스에 대해 superuser 접근 권한을 부여받는다. (GRANT ALL과 동일)

 

mysql docker image - Environment Variables

 

💡이모지 저장을 위한 MySQL 설정 추가

블로그 글의 특성상 이모지가 빈번히 사용되므로 이를 MySQL에 저장하기 위해서는 추가 설정이 필요하다.

 

#️⃣ MySQL 설정 추가하는 방법

기본 MySQL 설정은 /etc/mysql/my.cnf 파일에 작성되어 있고, 아래와 같다.

/etc/mysql/my.cnf

작성되어 있는 내용을 보면, Custom config는 /etc/mysql/conf.d/ 디렉토리 내부에 작성해야 한다고 나와있다.

!includedir : 명시된 디렉토리 내부의 모든 .cnf 파일들을 포함한다는 것이다.

 

따라서 로컬에서 추가로 커스텀 설정이 포함된 .cnf 파일을 구성하여 해당 파일을 docker 컨테이너 내부의 /etc/mysql/conf.d/에 전달하면 되는 것이다. 

위에서 작성한 docker-compose.yml의 volumes 옵션을 통해 전달이 가능하다.

 

MySQL 컨테이너가 시작될 때 기존의 /etc/mysql/my.cnf와 /etc/mysql/conf.d/~~.cnf의 설정이 종합적으로 반영된다.

 

#️⃣ MySQL 설정 추가

MySQL의 UTF-8은 3byte로 표현되는 범위내의 Char만 입력할 수 있지만 이모지처럼 4byte로 표현되는 문자를 저장하기 위해서는 MySQL 서버와 DBMS의 인코딩을 utf8mb4로 설정해야 한다.

# /conf.d/my.cnf
[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
character-set-client-handshake = FALSE
character-set-server           = utf8mb4
collation-server               = utf8mb4_unicode_ci

위와 같이 []에 작성된 그룹별로 옵션을 설정할 수 있다.

[client] : 모든 연결된 clients에게 반영됨 (mysql cli 포함)

[mysql] : mysql command line client에 반영됨

[mysqld] : mysql server에 반영됨

 

stackoverflow - MySQL configuration file sections

MySQL 8 - Option files

 

✔️MySQL 연결 및 데이터 저장 

💡docker 관련 명령어

$ docker-compose -f docker-compose-dev.yml up -d
$ docker-compose -f docker-compose-dev.yml down 

# 컨테이너 접속
$ docker exec -it devook-db /bin/bash
# MySQL 접속 
$ mysql -u root -p cool

 

mysqlclient 라이브러리의 MySQLdb 모듈을 사용하였다. 

import MySQLdb

def connect_db(user, passwd, host, db):
    return MySQLdb.connect(
        user=user,
        passwd=passwd,
        host=host,
        db=db
    )


def disconnect_db(conn):
    conn.commit()
    conn.close()


def insert_into_database(items, user, passwd, host, db):
    conn = connect_db(user=user, passwd=passwd, host=host, db=db)
    cursor = conn.cursor()
    cursor.execute("DROP TABLE IF EXISTS post")  # 해당 테이블이 이미 존재할 경우 삭제
    cursor.execute(
        "CREATE TABLE post "
        "(id            int AUTO_INCREMENT PRIMARY KEY, "
        "url            char, "
        "title          char, "
        "description    text, "
        "category       char)"
    )  # 새로운 테이블 생성

    sql = "INSERT INTO post(url, title, description, category) VALUES(%s, %s, %s, %s)"
    for item in items:
        values = (item[0], item[1], item[2], item[3])
        cursor.execute(sql, values)

    disconnect_db(conn=conn)