BEAT A SHOTGUN

[Python] 동시성 프로래밍으로 데이터를 더 빠르게 정렬해 Excel 로 뽑아내보자 (Feat. FastAPI, aiohttp) 에 이어 두번째 시간입니다. 이번 시간에는, 검색을 했을 때 바로 excel 파일로 뽑아내는 것이 아닌 버튼을 눌렀을 때 파일을 만들도록 해보겠읍니다. 그리고, naver api 가 아닌 selenium 을 활용해 진짜 데이터를 긁어보겠읍니다. 크롤링할 사이트는 비밀임. 왜냐면 robots.txt 가 안 나타남 ;; 왜지 ㅎㅎ;; 있을텐데 ㅎ;;;; 하지만 우리에게 중요한 건 단순한 크롤링이나 스크래핑이 아니라 "⚡동시성 프로그래밍으로 속도를 높인⚡ 크롤링" 이 중요한 것이기 때문에 토달면 안 됨. 일단 진행싀켜. 왜 bs4(BeautifulSoup) 을 사용하지 않나요? ..

코루틴이 기다리지 않습니다. 당황스럽게도 메서드가 실행되지 않았다. 상황은 이렇다. ERROR ❌ 과거의 나와 당신은 분명 def run(self): return asyncio.run(self.firstfunc()) 이런 함수를 만들어놓고 async def coroutinemethod(): print("wait a moment") async def firstfunc(self): self.coroutinemethod() print("first funct) 이지랄해놓았을거다 Solution ✅ 과거의 나와 당신은 분명 '아늬 함수를 호출했는데 왜? 뭘 안 기다린다는겨' 라고 했을 거지만, 코루틴 함수는 호출하면 함수를 실행하는 게 아니라 코루틴 객체를 생성한다. firstfunc 메서드를 def firstf..

웹 크롤링을 할 건데, Python 의 동시성 프로그래밍을 이용해 크롤링 속도를 높여볼 거다. 동시성 프로그래밍을 사용해 성능을 높여볼 수 있는 다양하고 멋진 서비스들이 많지만, 내 실력에 속도를 제일 확연히 느끼며 측정해볼 수 있으며, 무엇보다 내가 유일하게 만들 수 있는 간단한 프로그램이 크롤링이니까... 게다가 이번에 속도가 nodejs 급으로 빠르다는 Fastapi 를 배웠기 때문에(인프런 파이썬 동시성 프로그래밍) 한 번 사용해보려고 한다. Django에 비해 매우 쉽게 배울 수 있는 편이라고 한다. 나도 어제 이거 하루만에 만들었다. 크롤링이??? 크롤러가 하루면 오래걸린거아니냐? 라고 하는 사람들은 내 실력을 모르는 거다. 나는 정말 댕청이기 때문에 하루만에 만든 건 정말 빨리 만든거다. 사..

❌ ERROR ModuleNotFoundError: No module named 'openpyxl' 하지만 나는 설치하기 싫다 openpyxl. 아늬 pandas 가 엑셀이랑 다 할 수 있게 해주는 거 아니냐구요. write 는 openpyxl 을 사용한다네요 그럼 설치해줘야죠 그렇죠...😞 SOLUTION ✅ pip install openpyxl 끝

zip 과 * 짜집기 zip zip 은 인자를 짜집기해준다. ex1 list1 = ['cat', 'dog', 'bear'] list2 = ['meow', 'mung', 'k_ang'] print(list(zip(list1, list2))) 실행하면 [('cat', 'meow'), ('dog', 'mung'), ('bear', 'k_ang')] 순서대로 하나 하나 꺼내 짜집기 해준다. ex2 list = [[0, 3, 1, 2], [1, 1, 3, 4], [0, 3, 1, 3], [3, 0, 3, 1]] ziplist = list(zip..

셀레니움 업데이트로 문법이 바뀌었다. 일주일 전에 문제가 생겼다. ❌ TROUBLE selenium AttributeError 'Webdriver' object has no attribute 'find_element_by_id' find_elements_by_tag_name 등 찾아보니 find by 문법이 바뀌었다. 이미지의 맨 아래와 같은 문법 find\_element\_by\_tag\_name() 으로 사용하면 AttributeError 'WebDriver' object has no attribute 'find\_element\_by\_tag\_name'이라는 에러가 나온다. 왜냐면 selenium이 업데이트 되면서 find_element_b..