Посібник зі скрейпінгу веб-сторінок у Python з ротацією проксі-серверів

Отримання IP-блоків та швидкості liНеправильні дії під час парсингу можуть швидко знищити ваші проекти. Списки безкоштовних проксі-серверів виходять з ладу протягом кількох годин, а код ручної ротації перетворюється на безлад. Створення веб-скрейпера на Python щоб залишатися непоміченим, потрібні проксі-сервери, що змінюють свої дії, як справжні користувачі. 

Побутові проксі-сервери вирішують цю проблему, автоматично перемикаючи IP-адреси, обходячи антибот-системи без додаткового коду. 

Ми покажемо вам, як налаштувати ротацію проксі-сервера за допомогою Decodo, перетворюючи ваш парсер на невпинну машину для збору даних.

Розуміння механіки ротації проксі-серверів

Ротація IP-адрес означає автоматичне перемикання вихідної IP-адреси для кожного запиту або через встановлені інтервали. Цей метод розподіляє навантаження парсингу між кількома адресами, запобігаючи тому, щоб будь-яка окрема IP-адреса спрацьовувала з обмеженнями швидкості.

Різні стратегії ротації задовольняють різні потреби:

Закріплені сесії тимчасово зберігають одну IP-адресу активною для багатоетапних процесів, таких як вхід в облікові записи або виконання транзакцій. 

Decodo підтримує закріплені сеанси тривалістю від однієї до 30 хвилин, що забезпечує гнучкість для складних робочих процесів.

Концепція проксі-пулу забезпечує доступ до мільйонів житлові IP-адреси з реальних пристроїв по всьому світу. Decodo підтримує пул із 115 мільйонів IP-адрес, що охоплює 195 країн, з детальним таргетуванням аж до рівня міста та поштового індексу.

Decodo спрощує все за допомогою керованого проксі-пули що містить 115 мільйонів житлових IP-адрес, що автоматично обслуговуються у 195 локаціях. 

Сервіс забезпечує автоматичну ротацію, вбудовану в кінцеву точку проксі, моніторинг стану, який видаляє непрацюючі IP-адреси, та географічне таргетування за країною, містом або ЗІП код точність рівня.

особливість	Ручне обертання	Decodo Рішення
Розмір IP-пулу	Обмежений, нестабільний	115 млн.+ житлових IP-адрес
технічне обслуговування	Потрібні оновлення вручну	Автоматичний моніторинг стану здоров'я
Коефіцієнт успіху	Змінна, часто низька	показник успіху 99.86%
Гео-націлювання	Недоступний	Країна, місто, поштовий індекс, Національний страховий номер країни
Час налаштування	Години конфігурації	Хвилини з API

Підпишіться на Decodo рахунок і перейдіть до панелі керування проксі-сервером. Скопіюйте своє ім’я користувача, пароль, кінцеву точку та порт з розділу облікових даних.

pip install requests beautifulsoup4 lxml

import requests

from bs4 import BeautifulSoup

import random

# Decodo rotating residential proxy configuration

DECODO_HOST = 'gate.decodo.com'

DECODO_PORT = 7000

DECODO_USERNAME = 'your_username'

DECODO_PASSWORD = 'your_password'

# Create session ID for sticky sessions

session_id = random.randint(1000, 9999)

# Format proxy URL with session management

proxy_url = f'http://{DECODO_USERNAME}-session-{session_id}:{DECODO_PASSWORD}@{DECODO_HOST}:{DECODO_PORT}'

proxies = {

    'http': proxy_url,

    'https': proxy_url

}

def scrape_with_rotating_proxy(url):

    """Scrape URL using Decodo rotating residential proxy"""

    headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'

    }

    try:

        response = requests.get(url, proxies=proxies, headers=headers, timeout=30)

        response.raise_for_status()

        soup = BeautifulSoup(response.content, 'lxml')

        return soup

    except requests.exceptions.RequestException as e:

        print(f"Error scraping {url}: {e}")

        return None

# Scrape multiple URLs with automatic rotation

urls_to_scrape = [

    'https://example.com/page1',

    'https://example.com/page2',

    'https://example.com/page3'

]

for url in urls_to_scrape:

    data = scrape_with_rotating_proxy(url)

    # Process extracted data

Decodo автоматично обробляє ротацію IP-адрес з кожним новим ідентифікатором сеансу, що усуває ручну логіку.

Географічний таргетинг спрямовує запити через певні країни або міста:

# Route through US residential IPs only

proxy_url = f'http://{DECODO_USERNAME}-country-us:{DECODO_PASSWORD}@{DECODO_HOST}:{DECODO_PORT}'

# City-level targeting

proxy_url = f'http://{DECODO_USERNAME}-city-newyork:{DECODO_PASSWORD}@{DECODO_HOST}:{DECODO_PORT}'

Керування сесіями для закріплених сесій підтримує ту саму IP-адресу для кількох запитів:

# Use same proxy for 10 to 20 requests before generating new session

session_id = random.randint(1000, 9999)

proxy_url = f'http://{DECODO_USERNAME}-session-{session_id}:{DECODO_PASSWORD}@{DECODO_HOST}:{DECODO_PORT}'

Ротація на рівні запитів генерує максимальну різноманітність IP-адрес:

def get_fresh_proxy():

    session_id = random.randint(1000, 99999)

    return f'http://{DECODO_USERNAME}-session-{session_id}:{DECODO_PASSWORD}@{DECODO_HOST}:{DECODO_PORT}'

import time

from requests.adapters import HTTPAdapter

from urllib3.util.retry import Retry

def create_session_with_retries():

    """Create requests session with automatic retries"""

    session = requests.Session()

    retry_strategy = Retry(

        total=3,

        backoff_factor=1,

        status_forcelist=[429, 500, 502, 503, 504]

    )

    adapter = HTTPAdapter(max_retries=retry_strategy)

    session.mount("http://", adapter)

    session.mount("https://", adapter)

    return session

def robust_scrape(url, max_retries=3):

    """Scrape with automatic proxy rotation and error handling"""

    session = create_session_with_retries()

    for attempt in range(max_retries):

        session_id = random.randint(1000, 99999)

        proxy_url = f'http://{DECODO_USERNAME}-session-{session_id}:{DECODO_PASSWORD}@{DECODO_HOST}:{DECODO_PORT}'

        proxies = {'http': proxy_url, 'https': proxy_url}

        try:

            response = session.get(url, proxies=proxies, timeout=30)

            if response.status_code == 200:

                return BeautifulSoup(response.content, 'lxml')

            else:

                print(f"Status {response.status_code} on attempt {attempt + 1}")

                time.sleep(2 ** attempt)

        except Exception as e:

            print(f"Attempt {attempt + 1} failed: {e}")

            time.sleep(2 ** attempt)

    return None

Оптимізація та найкращі практики

Оптимізація продуктивності Методи включають одночасне парсингування з потоковою передачею даних для пришвидшення, пул з'єднань для повторного використання TCP-з'єднань, кешування успішних проксі-сесій та поважне обмеження швидкості.

Веб-скрапінг за допомогою Python Використання BeautifulSoup та ротаційних проксі-серверів створює готові до роботи скрепери, які обходять блокування, обробляють CAPTCHA та отримують доступ до географічно обмеженого контенту. 

Команда Decodo Проксі-сервіс надає резидентські IP-адреси, які виглядають як справжні користувачі, забезпечуючи високий рівень успіху для масштабних проектів збору даних.

Як зробити ваш скрепер куленепробивним

Тепер у вас є веб-скрепер для роботи, який обробляє 115 мільйонів IP-адрес у 195 локаціях. Ваш код автоматично ротує адреси, обходить CAPTCHA та підтримує рівень успішності 99.86% без ручного втручання. 

Команда стратегія ротації проксі-серверів Ви створили, усуваючи блокування та забезпечуючи цілодобовий збір даних. Почніть з безкоштовної пробної версії, щоб протестувати свою систему, а потім масштабуйте її до тисяч запитів на годину. 

Який вебсайт ви спочатку обробите за допомогою свого нового неблокованого скрапера?