Just Fighting

2022.02.08 - [Web/백엔드] - 웹 크롤링하기 2 (Selenium) 위의 게시글에서 사용한 selenium을 사용한 크롤링을 통해 데이터를 수집할 수 있었다. 이번엔 csv파일로 변환하는 작업을 해보았다. 먼저 라이브러리부터 import해준다. 그리고 크롬드라이브의 위치를 지정해준다. from selenium import webdriver from selenium.webdriver.common.by import By import pandas as pd browser = webdriver.Chrome('c:/chromedriver/chromedriver.exe') # chromedriver 다운받고, 다운 받은 경로 써주어야함 그리고 컬럼별로 list를 만들어준 뒤, 크롤링을 통해 가져온 데..

데이터프레임.isnull().sum() # 결측치가 있는 행 삭제 데이터프레임.dropna() # 결측치가 있는 열 삭제 데이터프레임.dropna(axis=1) # 결측치가 아닌 값이 N개 미만인 행 삭제 데이터프레임.dropna(thresh=N) 데이터프레임.fillna(값)

BeautifulSoup을 이용한 웹 크롤링을 했을 때, 잘 되지 않는 부분을 해결하기 위해 Selenium을 사용해 크롤링을 해보았다. BeautifulSoup을 이용한 크롤링 링크 ▼ 2022.01.12 - [Web/백엔드] - 웹 크롤링하기 from selenium import webdriver search_url = "크롤링할 사이트 url" browser = webdriver.Chrome('크롬드라이버 위치') # chromedriver 다운받고, 다운 받은 경로 써주어야함 browser.get(search_url) browser.implicitly_wait(2) ''' 크롤링 코드 ''' browser.close() 이 코드가 틀이되는 코드라고 할 수 있다. 크롬드라이버를 다운받고, 크롤링할 ..

데이터를 위아래로 연결하고 싶을 때 사용한다. 즉, 데이터들의 컬럼이 같고, 행을 추가하는 방식이다. import pandas as pd pd.concat([데이터1, 데이터2, 데이터3]) 데이터를 특정 컬럼을 기준으로 옆으로 합치고 싶을 때 사용한다. pd.merge(데이터1, 데이터2, on='컬럼', how='방법') pd.merge(데이터1, 데이터2, on=['컬럼1', '컬럼2', '컬럼3'], how='방법') # 데이터의 컬럼명이 다를 경우 사용 pd.merge(데이터1, 데이터2, left_on='컬럼1', right_on='컬럼1*', how='방법') 추후에,,