Python爬虫入门：从基础到Scrapy框架实战

原创于 2026-07-16 13:25:24 发布 · 525 阅读 ·

本内容遵循CC 4.0 BY-SA版权协议

代码可运行

1. Python爬虫入门：从零开始掌握数据抓取

作为一名长期从事数据采集工作的开发者，我经常被问到如何快速入门Python爬虫。爬虫技术本质上就是模拟浏览器行为，自动从互联网上获取所需数据的过程。与手动复制粘贴相比，爬虫能高效完成重复性工作，是数据分析、市场研究等领域的基础技能。

Python之所以成为爬虫开发的首选语言，主要得益于其丰富的库生态系统和简洁的语法。即使你没有任何编程基础，只要掌握几个核心库的使用方法，就能在短时间内写出功能完善的爬虫程序。本教程将从最基础的HTTP请求开始，逐步深入到反爬应对策略，最后介绍Scrapy框架的高级用法。

提示：在学习爬虫前，请务必了解并遵守robots.txt协议，尊重网站的爬取规则。过度频繁的请求可能对服务器造成负担，建议在开发阶段设置合理的请求间隔。

2. 基础爬虫开发：HTTP请求与响应处理

2.1 环境准备与工具安装

首先需要安装Python环境（推荐3.7+版本）和必要的库。使用pip可以一键安装requests、beautifulsoup4等核心库：

pip install requests beautifulsoup4 lxml

对于开发工具，VS Code或PyCharm都是不错的选择。我个人更推荐VS Code，因为它轻量且插件丰富。安装Python扩展后，可以直接在编辑器内运行和调试代码。

2.2 发起HTTP请求的三种方式

Python中有多种发送HTTP请求的方法，下面是最常用的三种：

1. Requests库（推荐）

import requests

response = requests.get('https://www.example.com')
print(response.status_code)  # 状态码
print(response.text)  # 响应内容

Requests库是对urllib的封装，API设计更加人性化。它自动处理了很多底层细节，比如连接池、keep-alive等，是大多数场景下的首选方案。

2. urllib标准库

from urllib.request import urlopen

response = urlopen('https://www.example.com')
print(response.read().decode('utf-8'))

urllib是Python内置库，无需额外安装。虽然用法稍显繁琐，但在某些限制第三方库的环境中很有用。

3. httplib2（高级用法）

import httplib2

http = httplib2.Http()
response, content = http.request('https://www.example.com', 'GET')
print(response)
print(content)

httplib2支持HTTP/1.1和缓存等高级特性，适合需要精细控制请求的场景。

2.3 处理响应内容

获取到响应后，通常需要解析HTML或JSON数据：

# 解析JSON
import json
data = json.loads(response.text)

# 解析HTML
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')
title = soup.find('h1').text

BeautifulSoup支持多种解析器，lxml速度快且容错性好，是处理复杂HTML的首选。对于简单的提取任务，也可以直接使用正则表达式。

3. 实战进阶：处理登录与反爬机制

3.1 模拟登录网站

许多网站需要登录后才能访问内容。以下是处理登录的两种主要方法：

表单登录（POST请求）

login_data = {
    'username': 'your_username',
    'password': 'your_password'
}

session = requests.Session()
session.post('https://www.example.com/login', data=login_data)
# 后续请求会自动携带cookie
response = session.get('https://www.example.com/protected')

Cookie直接登录

cookies = {
    'session_id': 'xxxxxx',
    'token': 'yyyyyy'
}

response = requests.get(
    'https://www.example.com/protected',
    cookies=cookies
)

注意：处理登录时要注意验证码问题。简单的数字验证码可以使用OCR库识别，复杂的可能需要人工干预或第三方打码平台。

3.2 应对反爬虫策略

1. 使用代理IP

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}

requests.get('https://www.example.com', proxies=proxies)

2. 设置请求头

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Referer': 'https://www.google.com/'
}

requests.get('https://www.example.com', headers=headers)

3. 控制请求频率

import time
import random

for page in range(1, 10):
    time.sleep(random.uniform(1, 3))  # 随机延迟1-3秒
    requests.get(f'https://www.example.com/page/{page}')

4. 处理动态内容（Selenium）

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
dynamic_content = driver.find_element_by_id('content').text
driver.quit()

4. 爬虫工程化：Scrapy框架深度应用

4.1 Scrapy核心组件

Scrapy是一个专业的爬虫框架，包含以下核心组件：

Spider：定义爬取逻辑
Item：定义数据结构
Pipeline：处理抓取的数据
Middleware：处理请求和响应
Scheduler：管理请求队列

安装Scrapy：

pip install scrapy

创建项目：

scrapy startproject myproject
cd myproject
scrapy genspider example example.com

4.2 编写第一个Spider

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com']

    def parse(self, response):
        yield {
            'title': response.css('h1::text').get(),
            'url': response.url
        }

运行爬虫：

scrapy crawl example -o output.json

4.3 高级功能实现

1. 分页处理

def parse(self, response):
    for item in response.css('.item'):
        yield {...}
    
    next_page = response.css('a.next::attr(href)').get()
    if next_page:
        yield response.follow(next_page, self.parse)

2. 图片下载

# settings.py
ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1
}
IMAGES_STORE = './images'

# spider.py
yield {
    'image_urls': [img_url],
    'image_name': 'example.jpg'
}

3. 分布式爬取（Scrapy-Redis）

# settings.py
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://localhost:6379'

5. 爬虫最佳实践与伦理考量

5.1 性能优化技巧

并发控制

# settings.py
CONCURRENT_REQUESTS = 16  # 默认16
DOWNLOAD_DELAY = 0.5  # 请求间隔

缓存重复请求

HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 86400  # 缓存1天

断点续爬

scrapy crawl example -s JOBDIR=crawls/example-1

5.2 合法合规爬取

遵守robots.txt

# settings.py
ROBOTSTXT_OBEY = True

设置合理的爬取速率

AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 5
AUTOTHROTTLE_MAX_DELAY = 60

识别并尊重版权信息

meta = {
    'dont_redirect': True,
    'handle_httpstatus_list': [403, 404]
}

在实际项目中，我通常会先小规模测试爬取，确认没有问题后再扩大规模。对于重要数据，建议实现增量爬取，只抓取更新的内容。同时，良好的异常处理机制能让爬虫更加健壮：

try:
    response = requests.get(url, timeout=10)
    response.raise_for_status()
except requests.exceptions.RequestException as e:
    logger.error(f"Request failed: {e}")
    return None

爬虫开发是一个需要不断学习和适应的过程。随着网站反爬技术的升级，我们需要持续更新应对策略。但无论如何，请记住：技术应当用于正当目的，尊重数据所有权和网站运营者的权益，这样才能在数据采集领域走得更远。

标签