Python ile Web Scraping Nasıl Yapılır?

tarafından Mustafa Tarihinde Ara 26, 2024 0

Web scraping, internet üzerindeki verileri otomatik olarak çekme işlemidir. Python, sunduğu kütüphaneler sayesinde bu işlemi kolayca yapmamızı sağlar. Bu yazıda, Python kullanarak web scraping yapmanın temel adımlarını inceleyeceğiz.


## Web Scraping Nedir?

Web scraping, web sitelerindeki verileri programatik olarak çekme ve bu verileri analiz etme sürecidir. Bu yöntem, veri analizi, fiyat takibi, içerik toplama gibi birçok alanda kullanılır.

## Python ile Web Scraping İçin Gerekli Kütüphaneler

Python'da web scraping yapmak için genellikle aşağıdaki kütüphaneler kullanılır:

- **Requests**: Web sayfalarına HTTP istekleri göndermek için kullanılır.
- **Beautiful Soup**: HTML ve XML belgelerini ayrıştırmak ve istenilen verileri çekmek için kullanılır.
- **Selenium**: JavaScript ile dinamik olarak yüklenen içerikleri çekmek için kullanılır.

## Web Scraping Adımları

### 1. Hedef Web Sitesini Analiz Etme

İlk adım olarak, veri çekmek istediğiniz web sitesinin yapısını inceleyin. Hangi verileri çekeceğinizi ve bu verilerin HTML içerisindeki konumlarını belirleyin.

### 2. HTTP İsteği Gönderme

`Requests` kütüphanesini kullanarak hedef web sitesine bir HTTP isteği gönderin ve sayfanın içeriğini alın:

```python
import requests

url = 'https://www.ornekwebsite.com'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
html_content = response.content

3. HTML İçeriğini Ayrıştırma

Beautiful Soup kütüphanesi ile alınan HTML içeriğini ayrıştırın:

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')

4. İstenilen Verileri Çekme

Ayrıştırılan HTML üzerinden hedef verileri seçin:

# Örneğin, tüm başlıkları çekmek için
titles = soup.find_all('h2')
for title in titles:
    print(title.get_text())

5. Verileri Depolama

Çektiğiniz verileri bir dosyaya veya veri tabanına kaydedin. Örneğin, bir CSV dosyasına yazabilirsiniz:

import csv

with open('veriler.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Başlık'])
    for title in titles:
        writer.writerow([title.get_text()])

Dikkat Edilmesi Gerekenler

• Yasal Konular: Web scraping yaparken, hedef web sitesinin kullanım şartlarını ihlal etmediğinizden emin olun.

• Robot.txt Dosyası: Web sitesinin robots.txt dosyasını kontrol ederek hangi sayfaların taranmasına izin verildiğini öğrenin.

• İstek Sıklığı: Sunucuya aşırı yük bindirmemek için isteklerinizi makul bir hızda yapın ve gerekirse bekleme süreleri ekleyin.

Sonuç

Python ile web scraping yapmak, doğru araçlar ve yöntemlere kullanıldığında oldukça etkilidir. Ancak, yasal ve etik kurallara dikkat etmek önem taşır. Bu rehber, temel adımları anlamanız için bir başlangıç noktasıdır.

Python Python ile web scraping yapmak