파이썬 크롤러) 파이썬3에서 Selenium 설치하기 (+웹페이지 상에 정보가 다 긁어지지 않을때)

어찌어찌 해서 초보적인 실력으로 웹페이지의 일부 정보를 긁어올 수 있게 되었다.

하지만, 어째 긁어 들어오는 정보가 시원찮다. 

정작 내가 원하는 컨텐츠들은 다 긁어지지 않고, 상위 단 제목? 같은 -쓸데없는- 내용만 들어오는 것이 아닌가ㅠ

수소문 끝에 Selenium이라는 프레임 워크를 사용하면 이러한 문제를 해결할 수 있다는 것을 알게 되었다.

#1. Selenium 설치하는 법!

 1) https://pypi.org/project/selenium/#files 에서 Selenium을 다운로드 및 압축 해제 한다.

    selenium-3.141.0.tar.gz

    

 2) 터미널을 통해 해당 파일이 있는 경로로 가서 명령어를 친다.

     sudo python3 setup.py install

     

     ※ 명령어 중 sudo를 빼먹고 치면 [Errno 13] Permission denied error가 나온다. 주의 ! (굳이 알게 되었음 ;)

       error: [Errno 13] Permission denied: '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/easy-install.pth'

 3) 이후에 하기와 같이 완료 메시지가 나온다.

Installed /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/urllib3-1.24.1-py3.7.egg

Finished processing dependencies for selenium==3.141.0

 4) Python3를 실행시키고 selenium을 import해본다.

    

Python 3.7.1 (v3.7.1:260ec2c36a, Oct 20 2018, 03:13:28) 

[Clang 6.0 (clang-600.0.57)] on darwin

Type "help", "copyright", "credits" or "license" for more information.

>>> from selenium import webdriver

>>> webdriver

<module 'selenium.webdriver' from '/Users/JJI/Downloads/selenium-3.141.0/selenium/webdriver/__init__.py'>

#2. Pip를 써서 설치하는게 제일 편한 것 같은데

     이건 나중에 확인해 봐야겠다 ...