Python爬取图片

最新推荐文章于 2026-05-30 13:49:02 发布

原创

最新推荐文章于 2026-05-30 13:49:02 发布 · 8.2k 阅读

收录于

当前文章被以下社区和专栏收录：

本文介绍了如何使用Python进行图片爬取，并通过添加多线程和Queue来提升下载速度。对比了`urllib.urlretrieve`与`urllib.URLopener`在读取图片速度上的差异，发现在`run`方法中直接用`URLopener`能提高效率。同时，文章还讨论了Python线程的生命周期，强调了设置线程为Daemon以确保脚本在Queue为空时能正确退出的重要性。

参考了别人的代码。给代码添加了多线程和Queue的结合应用。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

'''
Created on 2013-3-21

@author: naughty
'''
# author: wklken

from sgmllib import SGMLParser
import os
import urllib
import urllib2
import urlparse
from Queue import Queue
from threading import Thread

save_path = '/home/zoer'
passUrls = set()

qimg = Queue()
class URLLister(SGMLParser):
    def reset(self):
        SGMLParser.reset(self)
        self.urls = []
        self.imgs = []
    def start_a(self, attrs):
        href = [ v for k, v in attrs if k == "href" and v.startswith("http")]
        if href:
            self.urls.extend(href)
    def start_img(self, attrs):
        src = [ v for k, v in attrs if k == "src" and v.startswith("http") ]
        if src:
            self.imgs.extend(src)

def get_url_of_page(url, if_img=False):
    '''
    获取一个页面上的所有链接。
    if_img:如果为true，则获取的是页面上的所有图片的链接
    '''
    urls =