BEAT A SHOTGUN

[Python] 동시성 프로래밍으로 데이터를 더 빠르게 정렬해 Excel 로 뽑아내보자 (Feat. FastAPI, aiohttp) 에 이어 두번째 시간입니다. 이번 시간에는, 검색을 했을 때 바로 excel 파일로 뽑아내는 것이 아닌 버튼을 눌렀을 때 파일을 만들도록 해보겠읍니다. 그리고, naver api 가 아닌 selenium 을 활용해 진짜 데이터를 긁어보겠읍니다. 크롤링할 사이트는 비밀임. 왜냐면 robots.txt 가 안 나타남 ;; 왜지 ㅎㅎ;; 있을텐데 ㅎ;;;; 하지만 우리에게 중요한 건 단순한 크롤링이나 스크래핑이 아니라 "⚡동시성 프로그래밍으로 속도를 높인⚡ 크롤링" 이 중요한 것이기 때문에 토달면 안 됨. 일단 진행싀켜. 왜 bs4(BeautifulSoup) 을 사용하지 않나요? ..

웹 크롤링을 할 건데, Python 의 동시성 프로그래밍을 이용해 크롤링 속도를 높여볼 거다. 동시성 프로그래밍을 사용해 성능을 높여볼 수 있는 다양하고 멋진 서비스들이 많지만, 내 실력에 속도를 제일 확연히 느끼며 측정해볼 수 있으며, 무엇보다 내가 유일하게 만들 수 있는 간단한 프로그램이 크롤링이니까... 게다가 이번에 속도가 nodejs 급으로 빠르다는 Fastapi 를 배웠기 때문에(인프런 파이썬 동시성 프로그래밍) 한 번 사용해보려고 한다. Django에 비해 매우 쉽게 배울 수 있는 편이라고 한다. 나도 어제 이거 하루만에 만들었다. 크롤링이??? 크롤러가 하루면 오래걸린거아니냐? 라고 하는 사람들은 내 실력을 모르는 거다. 나는 정말 댕청이기 때문에 하루만에 만든 건 정말 빨리 만든거다. 사..

준비물 : react 프로젝트 , docker 우리는 npm 을 이용해 react 프로젝트를 하나 만들었다. docker 는 설치해주면 되고. 일단 docker 를 이용해 배포를 준비하려고 하는데, 먼저 로컬에서 한 번 도커를 돌려 연습해보자 아무리 해도 배포가 안 돼서 연습하는 거 아님. 아무튼 아님. 시작 👊 일단 npm 을 이용한 React 프로젝트가 준비되어 있어야한다. yarn 정도는 npm install 을 yarn install 정도로 바꾸면 되기 때문에 괜찮지만 vue 를 이용한다면 vue 에 맞는 명령어를 알아서 잘 끼워맞춰야한다. 일단 시작 프로젝트 최상단 에 Dockerfile 을 만들고, .dockerignore 를 만든다. .dockerignore 에는 .gitignore 와 같이..

MicroSoft Clarity 다양한 분석을 해주는 MS Clarity 한 번 내 블로그에 등록해보자. 준비물 내 블로그 인터넷 MS 가입은 이제 하면 된다. 구글아이디로도 된다. 시작 MS Clarity 에 들어가 가입한다. 내 주소를 등록 추적코드를 받아 바로 내 블로그 html head 에 붙여넣으면 끝난다.) 하지만 그러면 재미가 없으니 몇 가지 설정을 더 해보자. 프로젝트 설정을 해주자. 사이트 범주 선택. 블로그면 블로그를 선택하자. 구글 분석과 연동해보자. 구글 분석 코드도 내 블로그에 있겠지? 그럼 그 분석과 함께 내 Clarity 대시보드에 표현될 거다. ) 이정도면 우리가 만져야할 설정은 다 만진 것 같다. 나머지는 팀으로 할 때 팀원추가, 분석에 방해되는 ip 차단, 나머지 우리가 ..

zip 과 * 짜집기 zip zip 은 인자를 짜집기해준다. ex1 list1 = ['cat', 'dog', 'bear'] list2 = ['meow', 'mung', 'k_ang'] print(list(zip(list1, list2))) 실행하면 [('cat', 'meow'), ('dog', 'mung'), ('bear', 'k_ang')] 순서대로 하나 하나 꺼내 짜집기 해준다. ex2 list = [[0, 3, 1, 2], [1, 1, 3, 4], [0, 3, 1, 3], [3, 0, 3, 1]] ziplist = list(zip..

Shortcut Ctrl + F9 : Run All (전체 실행) Ctrl + Enter : Run the current cell (현재 셀 실행) Alt + Enter : Run the current cell and add a cell below it (현제 셀 실행 후 아래에 셀 추가) 사실 전체 실행 단축키 때문에 찾다가 없어서 내가 찾아 적음😉