How to build stock news crawler 카카오톡 챗봇 자동 뉴스 크롤러 주식 추천 (1) - environment setting

Django를 사용, 카카오톡 오픈 챗봇을 통한 뉴스기반 추천종목을 구현해보려고 합니다.

I'm planning to build kakaotalk app open chat device that recommends stocks based on Django frame work.

 

이것을 하기 위해서 먼저 선행되어야 하는 것이 뉴스크롤링, 카카오톡 오픈챗, django 환경 세팅입니다.

In order to achieve that, the followings must be done in prior; news crawling module, setup kakao talk open chap api and set up django framwork environment.

 

환경은  Pycharm python 3.6.2 버전을 사용했으며, 나머지 library의 requirement는 github에서 확인할 수 있습니다.

I've used venv Pycharm python 3.6.2 version and rest of the library requirements can be verified under my github source under requirements text.

 

Pycharm 2020.03

Python 3.6.2

 

---

0. 참조 reference

beomi.github.io/2017/02/27/HowToMakeWebCrawler-With-Selenium/

나만의 웹 크롤러 만들기(3): Selenium으로 무적 크롤러 만들기 - Beomi's Tech blog

---

1. Selenium library / beautiful soup / 환경 설치

1.1)

파이참 환경설정에서 다음과 같이 venv로 환경을 구성해줍니다.

Setup venv environment as bellow.

pycharm venv

 

pip install selenium
pip install bs4
pip install lxml
// or use "python -m pip" for "pip"

설치는 위와 같은 명령어를 터미널에 입력한 후 설치를 해줍니다.

또한, bs4 라이브러리는 lxml을 사용하면 속도가 빠르기 때문에 마찬가지로 설치해줍니다.

To install, use following commands in the terminal, using lxml for bs4 is faster so we will install that aswell.

 

 

1.2)

a) 크롬드라이버 사용

크롬 드라이버를 통해 selenium을 사용하기 때문에 로컬 위치에 크롬 드라이버가 존재해야 합니다.

(selenuium은 웹 디버깅을 위한 library로 출발했음)

to use chrome driver, downloaded driver must exist in your root folder.

 

https://sites.google.com/a/chromium.org/chromedriver/downloads

Downloads - ChromeDriver - WebDriver for Chrome

위의 위치에서 크롬 드라이버를 받아 프로젝트 root 위치에 위치시켜줍니다.

크롬 주소창에 chrome://version/ 을 입력하여 사용중인 버전을 확인하여 받아줍니다.

to check your chrome version, you need to type the url in your search line in your chrome

 

후에 django를 연동시켜줄 것이기 때문에 'static' 폴더를 추가하여 해당 폴더에 드라이버를 넣어줍니다.

to integrate with django, locate the driver under static folder.

 

폴더 구조

folder structure

kakao_stock
├── External
│   ├── ViewTree
│   │   ├── Tree.py
│   │   └── __init__.py
│   └── __init__.py
├── static
│   └── chromedriver.exe
└── 카카오.txt

 

b) PhantomJs

헤드리스 browser로 화면을 띄우지 않기 때문에 사용하기 편리합니다.

0. 의 참조 항목을 참조해주세요.

 

 

---