본문 바로가기

Python notes118

데이터전처리) Pandas로 각종 데이터 전처리 1탄 (+엑셀 불러오기/저장, 일부 행/열만 추출, 일부 행/열만 삭제, 데이터 수정/추가, 결측치 확인/삭제) 경기지역과 전남지역의 미세먼지를 비교하기 위한 데이터를 가공하면서 정리한 데이터전처리 방법들을 아래에 요약해 본다. 데이터 전처리는 파이썬의 pandas 패키지를 활용해서 진행하였다. 기본 파이썬 환경에서는 pandas 패키지가 제공되지 않고, 명령프롬프트 혹은 터미널에 pip install pandas 명령어를 실행함으로써 패키지를 설치해야 한다. #1. 데이터 불러오기/저장하기: 불러오기) read_excel('경기ndf.xlsx') 저장하기) 데이터프레임객체.to_excel('파일명.xlsx') pandas의 read_excel 함수를 사용하기 위해서는 먼저 함수를 불러와야 한다. 코드는 from pandas import read_excel이다. 엑셀 파일로 전처리를 하는 경우 엑셀 관련 패키지도 .. 2021. 11. 23.
VSCode) html 기본코드 띄우기, 코딩 창 아래 위로 분할 하기, 터미널 창 내부에 띄우기 #0. 한동안 파이썬으로 데이터 분석만 하다가 최근에 Vue를 공부하기 시작했다. 서너달 전 속성으로 웹 프로그래밍을 배우고, 웹페이지를 만들어 본 후, 오랜만에 비쥬얼 스튜디오 코드(VS Code)를 켰다. 파이썬은 대부분 쥬피터 랩 환경에서 코딩했기 때문이다. 여튼, 오랜만에 자바스크립트와 html, CSS를 왔다갔다 하면서 코딩하려니 손에 안 익고, 기능이 잘 생각이 안 나서 애를 먹었다. 해서 몇가지 자주 사용할 만한 기본 기능들을 메모해 놓으려고 한다. #1. HTML 기본코드 띄우기: html:5 .html 파일을 작성할 때마다 메타 데이터, head, body, title 등 기본 태그를 일일이 입력하는 것은 시간을 많이 잡아먹는다. 다행히 비쥬얼 스튜디오 코드에는 기본 코드를 가지고 올 수.. 2021. 11. 21.
웹프로그래밍) 파이썬으로 홈페이지 만들어 본 후기 파이썬으로 웹사이트를 만든 후기 나는 이제 막 파이썬 코드가 손에 익기 시작한 왕초보 개발자이다. 파이썬을 정식으로 배우기 시작한지 이제 막 6개월이 지났다. 새로운 지식을 배우고 한발 성장한 기념으로, 의미 있는 결과물을 만들어 보고 싶었다. 그래서 파이썬으로 웹사이트를 만들어보기로 했다. 그리고 3주의 개발 기간과 2주의 수정 과정을 거쳐, 마침내 인터넷 세상에 나의 첫 웹사이트를 게시하였다. 그 결과물은 아래와 같다. 이 웹사이트는 사용자가 키워드를 입력하면, 키워드와 관련된 단어들을 인터넷 상에서 수집해서, 워드클라우드로 만들어 주는 웹사이트이다. 지금은 제대로 웹사이트가 동작하지 않고 있다. http에서 https로 변환하는 과정에서 뭔가 문제가 생긴 것 같은데 아직 수정을 못했기 때문이다. 기.. 2021. 11. 16.
웹프로그래밍) Postman, URL 파라미터에 한글 인코딩 적용하기, form-data에 파일 입력하기 #0. Hello, Postman! 파이썬 Flask로 웹 프로그래밍을 시작하면서 접하게 된 Postman이다. Flask로 DB와 통신하는 서버단을 개발하고, "Flask run"을 통해 개발 서버를 띄워서 작성한 파이썬 코드가 잘 동작하는지 확인하기 위해 Postman이라는 API 개발 툴을 사용했다. 내가 Postman으로 했던 테스트는 다음과 같다. 일반적으로 아래와 같은 통신 방식으로 각 기능을 구현한다고 들어서 그렇게 파이썬 코드를 작성하고 테스트 해보았다. MySQL 서버에 있는 내용을 Query 입력을 통해 필터링하여 불러오는 Get 방식 MySQL 서버에 새로운 행을 추가로 입력하는 Post 방식 MySQL 서버에 있는 내용의 일부를 수정하여 반영하는 Put 방식 MySQL 서버에 있는 .. 2021. 9. 18.
웹프로그래밍) Live Server Go live 브라우저가 안 뜨는 이유 (+실시간 html 코딩, VisualStudio code의 확장팩 Live Server 사용하기) 파이썬으로 웹프로그래밍하기의 시작 파이썬으로 웹프로그래밍을 하기 위해서 요새 html, css, javascript를 공부하고 있다. 파이썬의 여러 패키지들을 통해 데이터를 수집하고, 분석해서 얻은 결과를 웹페이지에 띄우면, 많은 이들과 결과를 공유하 수 있기 때문이다. 웹페이지에 contents를 보기 좋게 구현하기 위해 html, css를 활용하고, 웹페이지에서 사용자와의 상호작용을 위해 javascript로 기능을 코딩한다. 그러면, 파이썬은 어디에 있을까? 먼저는, 데이터 수집 및 분석하는 파일을 파이썬 코드로 만들 수 있다. 이것은 기존에 계속 연습하고 공부했던 것이라 비교적 친숙하다. 다음은 server단에서 사용할 파이썬의 web application framework인 Django 혹은 F.. 2021. 9. 18.