분류 전체보기18 [파이썬] 셀레니움(selenium)으로 자동 검색하기 ※ selenium4.6.0 버전을 기준으로 코드를 작성함을 알려드립니다. ■ selenium 홈페이지에서 'webdriver'를 검색하는 과정을 자동화 하는 과정입니다. 1. selenium 패키지의 webdriver를 이용하여 크롬 브라우저를 열고, 셀레니움 페이지로 이동합니다. from selenium import webdriver import time # 크롬 웹드라이버로 브라우저를 실행합니다. driver = webdriver.Chrome() # 원하는 사이트로 이동합니다. driver.get("http://selenium.dev") # 페이지가 다 열리는 시간을 고려하여 기다립니다. time.sleep(2) 2. 검색버튼을 클릭하기 위하여 개발자 도구를 이용하여 검색 버튼에 해당하는 태그를 찾.. 2022. 11. 15. [파이썬]os모듈을 이용하여 디렉토리 관리하기 os모듈에서는 디렉토리 관리를 위하여 아래와 같은 함수를 제공합니다. 조회 getcwd() : 현재 디렉토리 경로 리턴 listdir() : 현재 디렉토리의 파일 및 폴더 목록 리턴 path.exists(디렉토리/파일 경로) : 해당 디렉토리 경로 또는 파일이 존재하는지 여부 리턴(True/False) 이동 chdir(디렉토리 경로) : 디렉토리 이동 생성 mkdir(디렉토리 경로) : 경로 마지막에 폴더 하나 생성 makedirs(디렉토리 경로) : 디렉토리 경로 그대로 생성 삭제 (비어있는 폴더만 삭제 가능) rmdir(디렉토리 경로) : 경로 마지막 폴더 하나 삭제 removedirs(디렉토리 경로) : 경로에 해당하는 폴더 가능한 모두 삭제 실습 코드를 통하여 함수 사용법을 알아보겠습니다. ■ 먼.. 2022. 11. 14. 목록에서 제목,링크 스크래핑하기 서울 열린데이터광장의 공공데이터 메뉴의 목록에서 제목과 링크를 추출하여 파일에 쓰는 과정을 알아보겠습니다. 1. requests 라이브러리를 이용하여 웹페이지를 요청합니다. 2. 응답받은 결과를 이용하여 BeautifulSoup 객체를 생성합니다. 3. 제목과 링크를 추출합니다. 3.1 개발자 도구를 이용하여 제목에 해당하는 태그를 찾습니다. 태그명 'a', class명 'goView'를 이용하면 제목에 해당하는 데이터 목록을 찾을 수 있겠네요. 3.2 제목에 해당하는 데이터 목록을 찾습니다. 3.3 위에서 찾은 태그에서 제목만 추출해봅니다. 3.4 위 태그에서 링크를 추출합니다. ① 먼저 세부 페이지로 들어가는 링크가 어떻게 구성되는지 확인해보겠습니다. data-rel 태그의 요소값을 이용하며 링크를 .. 2022. 10. 25. BeautifulSoup으로 데이터 추출하기 파이썬의 BeautifulSoup은 HTML이나 XML과 같은 문서의 구조에서 정보를 쉽게 추출하기 위해 사용되는 라이브러리입니다. BeautifulSoup을 사용하는 방법은 다음과 같습니다. ■ 외부 라이브러리이므로 사용하기 전에 먼저 설치해야 합니다. pip install bs4 ■ 라이브러리를 임포트합니다. from bs4 import BeautifulSoup ■ BeautifulSoup 객체를 생성합니다. bs4객체명 = BeautifulSoup(htm구문, 'html.parser') 지난 requests 포스팅에서 requests 라이브러리를 이용하여 웹페이지를 요청하는 방법을 알아보았습니다. 웹페이지를 요청하여, 응답받은 페이지의 HTML구문 분석을 위하여 BeautifulSoup 객체를 생성.. 2022. 10. 24. 이전 1 2 3 4 5 다음
