분류 전체보기196 파이썬 크롤러) 리스트에서 홀수번째 혹은 짝수번째 요소만 추출하기 #1. 리스트에서 요소를 추출하는 방법 일반적으로 리스트에서 요소를 추출하려면 인덱스 번호를 활용한다. 예를 들어 a_list=['one','two','three','four','five']라는 리스트가 있을 때 a_list[0]과 같이 리스트 명을 쓰고 [ ] 괄호 안에 인덱스 번호를 적어 print(a_list[0])을 실행하면 해당 인덱스 번호에 해당하는 'one'이라는 원소가 출력이 된다. 참고로 파이썬에서 리스트의 인덱스 번호는 0부터 시작한다. 슬라이싱이라는 기법으로 몇번째부터 몇번째까지의 원소를 출력할 수도 있다. a_list[0:2]와 같이 인덱스 번호 대신 "0 콜론 2"를 [ ] 괄호 안에 입력할 경우, 0번째부터 2번째 전까지의 원소들을 출력해 준다. 즉 'one', 'two'가 출력.. 2019. 1. 6. 파이썬 크롤러) 크롤링(스크랩핑) 중간에 pause, 쉬는 시간을 두려면? (time.sleep 사용) 신나게 크롤링 하다 보면...쉬지 않고 크롤링하는 데이터 양이 많다 보면...특정 사이트에서 IP 차단 당하는 경우가 있다. 한동안 해당 사이트에 접속이 불가능해진다. (서버에 부하가 걸릴 수 있기 때문에 이런 활동을 차단하도록 웹서비스를 설계) 이런 상황을 막기 위해 할 수 있는 여러가지 방법 중, 웹서버에 부하가 걸리지 않도록또한, 나의 크롤러가 차단당하지 않도록중간에 쉬는 시간을 좀 두면 차단을 막을 수 있다고 한다. (나도 이제 해봐야 됨.. 어제는 한번 차단 당했음..) 몇초를 얼마나 해야 되는지 감이 오지 않아 여러번 해봐야겠지만, 여튼 !! import timetime.sleep(5) 위에 꺼는 5초 쉬는거..5초를 쉬어야 할지 10초를 쉬어야 할지는 해봐야 알겠다. 2019. 1. 4. 파이썬 크롤러) 파이썬, 리스트 안의 리스트를 풀어서 하나의 리스트로 만들기 (이중 리스트 일자화) 리스트 안의 리스트를 풀어서 중첩되지 않은 하나의 리스트로 만들 때 간단한 방법: biglist=sum(biglist, []) 예를 들어, biglist=[1, 2, [3, 4,]] 의 형식일 때, [1, 2, 3, 4]로 만들고 싶다면 위의 명령어를 쓰면 된다. 2019. 1. 4. MySQL) workbench에서 테이블 수정하기 (Column 속성 변경, 삭제) comcom이라는 테이블을 생성한 후, 테이블 column을 수정하려고 했는데 까먹었다 (...) 이번엔 까먹지 않도록 정리를 해 놔야지 !! 1. 미리 만들어 놓은 테이블이 보인다. 왼쪽 하단에서 테이블 이름을 찾아 마우스 포인터를 위에 올리면 테이블 이름 옆에 설정 도구(연장 모양 아이콘)가 뜬다. 클릭 ! 2. 연장 모양 아이콘을 누르면 아래와 같이 테이블을 다시 설정할 수 있는 화면이 뜬다. Column을 추가해도 되고 각 Column의 속성을 변경할 수 있음. 변경 작업을 마쳤으면 오른쪽 하단에 Apply 클릭 3. Column을 삭제하고 싶다면 해당 Column위에서 오른쪽 마우스 클릭해서 Delete Selected를 클릭하면 바로 반영됨 ※ 테이블을 맨 처음에 만들었을 땐 Database .. 2018. 12. 31. 파이썬 크롤러) MAC에서 MySQL과 python3 연동하기 (모듈 import 및 서버에 연결하기) 일단 MySQL 설치가 되었다면 모듈을 import해야 한다. >>> import mysql.connector 그리고나서 하기 명령어를 통해 서버 정보를 입력하여 연결할 수 있음. >>> conn = mysql.connector.connect(host='localhost(혹은 외부서버일 경우 ip주소)',... port=3306(혹은 본인이 설정한 포트),... database='DB명',... user='서버 사용자명', ... password='서버 로그인 비밀번호') 그럼 연결 끝 !! 2018. 12. 31. 이전 1 ··· 34 35 36 37 38 39 40 다음
