💻Development
-
크롤링한 데이터를 MySQL Docker 컨테이너에 저장하기Project/DEVOOK 2022. 1. 31. 23:52
2022.01.31 - [Project/📚DEVOOK] - Selenium을 사용한 동적 페이지 크롤러 구현 앞서 수집한 데이터를 바탕으로 전처리 및 벡터화 작업을 진행해야 하기 때문에 크롤링한 데이터들을 데이터베이스에 저장하였다. 여러 컴퓨터 환경 및 AWS EC2 서버에서 편리하게 사용하기 위해 Docker Compose로 MySQL 컨테이너를 구성하였다. ✔️모델링 간단하게 url, title, description, category 필드를 가지는 테이블 1개로 구성하였다. ✔️docker-compose.yml 파일 구성 # docker-compose-dev.yml version: "3" services: db: image: mysql container_name: devook-db ports: - ..
-
Selenium을 사용한 동적 페이지 크롤러 구현Project/DEVOOK 2022. 1. 31. 21:05
카테고리 분류기를 학습시키기 위한 데이터를 수집하기 위해 Surfit의 개발 카테고리별 글들의 URL, Title, Description을 크롤링하는 크롤러를 구현하였다. 크롤링한 데이터는 MySQL 데이터베이스에 저장되도록 하였다. ✔️ Selenium을 사용한 이유 Surfit 페이지를 보면 왼쪽 사진처럼 블로그 글이 구성되어 있고, 크롤링할 부분은 파란줄로 표시되어 있는 title과 description 부분이다. Chrome 개발자 도구를 사용해 HTML 구성을 보면, 전체적으로 로 감싸져 있고, 내부에 존재한다. 하나의 글은 혹은 로 감싸져 있고, 크롤링할 title과 description은 왼쪽의 파란줄로 표시되어 있는 , 부분이다. 위의 구성을 보고 처음에는 requests와 Beautifu..
-
Java 활용 포켓몬 게임Programming/Java 2022. 1. 30. 22:27
*Tistory에 내용을 통합하기 위해 velog에 작성했던 내용을 첨부하였음 https://velog.io/@fordevelop/Java-%ED%99%9C%EC%9A%A9-%ED%8F%AC%EC%BC%93%EB%AA%AC-%EA%B2%8C%EC%9E%84 Java 활용 포켓몬 게임 자바의 내용인 상속과 인터페이스, 추상 클래스, 자바 컬렉션의 ArrayList, 싱글톤 패턴, GUI를 하나의 프로그램에 담아 다시 한번 개념을 정리하고 적용하기 위해 포켓몬 게임을 구현하였다. velog.io
-
Docker Nginx, Certbot & Let's Encrypt를 사용해 SSL 인증서 발급Back-end/Docker 2022. 1. 30. 22:27
*Tistory에 내용을 통합하기 위해 velog에 작성했던 내용을 첨부하였음 https://velog.io/@fordevelop/Docker-Nginx-Certbot-Lets-Encrypt%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%B4-SSL-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EB%B0%9C%EA%B8%89 [SSL] Docker Nginx, Certbot & Let's Encrypt를 사용해 SSL 인증서 발급 Ubuntu 환경에서 Docker Nginx & Certbot와 Let's Encrypt를 사용해 SSL 인증서 발급하기 velog.io