5. 웹 크롤링

import requests

# GET 요청
response = requests.get('https://example.com')
print(response.status_code)  # 200
print(response.text)         # HTML 내용

response = requests.get('https://example.com')

print(response.status_code)    # HTTP 상태 코드 (200, 404, 500 등)
print(response.headers)        # 응답 헤더
print(response.text)          # 응답 내용 (문자열)
print(response.content)       # 응답 내용 (바이트)
print(response.json())        # JSON 응답을 딕셔너리로 변환

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get('https://example.com', headers=headers)

from bs4 import BeautifulSoup
import requests

# 웹페이지 가져오기
response = requests.get('https://example.com')
html = response.text

# BeautifulSoup 객체 생성
soup = BeautifulSoup(html, 'html.parser')

# 요소 찾기
title = soup.find('title')
print(title.text)  # 페이지 제목

# 첫 번째 요소 찾기
soup.find('div')                    # 첫 번째 div 태그
soup.find('div', class_='content')  # class가 'content'인 첫 번째 div
soup.find('div', id='main')         # id가 'main'인 첫 번째 div

# 모든 요소 찾기
soup.find_all('a')                  # 모든 a 태그
soup.find_all('div', class_='item') # class가 'item'인 모든 div

# CSS 선택자로 요소 찾기
soup.select('div.content')          # class가 'content'인 div
soup.select('#main')                # id가 'main'인 요소
soup.select('ul li a')              # ul 안의 li 안의 a 태그
soup.select('div > p')              # div의 직접 자식 p 태그

# 텍스트 추출
element = soup.find('h1')
print(element.text)        # 태그 안의 텍스트
print(element.get_text())  # 같은 결과

# 속성 추출
link = soup.find('a')
print(link['href'])        # href 속성 값
print(link.get('href'))    # 같은 결과 (속성이 없으면 None 반환)

import requests
from bs4 import BeautifulSoup

# 웹페이지 가져오기
url = 'https://www.melon.com/chart/'
header = {'User-Agent': 'Chrome'}
response = requests.get(url=url, headers=header)

if (response.status_code == 200):
    soup = BeautifulSoup(response.text, 'html.parser')
    print(soup.select('.title')[1].text)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from webdriver_manager.chrome import ChromeDriverManager

# Chrome 브라우저 실행
driver = webdriver.Chrome(ChromeDriverManager().install())

# 웹페이지 접속
driver.get('https://example.com')

# 요소 찾기
element = driver.find_element(By.ID, 'username')
element.send_keys('test@example.com')

# 브라우저 종료
driver.quit()

# ID로 찾기
driver.find_element(By.ID, 'username')

# 클래스로 찾기
driver.find_element(By.CLASS_NAME, 'content')

# CSS 선택자로 찾기
driver.find_element(By.CSS_SELECTOR, 'div.content')

# XPath로 찾기
driver.find_element(By.XPATH, '//div[@class="content"]')

# 모든 요소 찾기
driver.find_elements(By.TAG_NAME, 'a')

# 텍스트 입력
element.send_keys('Hello World')

# 클릭
element.click()

# 텍스트 가져오기
text = element.text

# 속성 가져오기
href = element.get_attribute('href')

# 체크박스/라디오 버튼 선택
element.click()  # 선택/해제

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 명시적 대기 (최대 10초)
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.ID, 'dynamic-content')))

# 조건별 대기
wait.until(EC.element_to_be_clickable((By.ID, 'button')))
wait.until(EC.text_to_be_present_in_element((By.ID, 'status'), '완료'))

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 브라우저 실행
driver = webdriver.Chrome()

try:
    # 네이버 접속
    driver.get('https://www.naver.com')

    # 검색창에 텍스트 입력
    search_box = driver.find_element(By.ID, 'query')
    search_box.send_keys('파이썬 크롤링')

    # 검색 버튼 클릭
    search_button = driver.find_element(By.CSS_SELECTOR, '.btn_search')
    search_button.click()

    # 검색 결과 대기
    wait = WebDriverWait(driver, 5)
    results = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, '.lst_view > .bx')))

    # 검색 결과 출력
    for result in results[0:4]:  # 상위 5개만
        title = result.find_element(By.CSS_SELECTOR, '.title_area').text
        print(title)

finally:
    driver.quit()