Day95 scrapy详解

文章目录

• Day95 scrapy详解
• • scrapy的概念和流程
  • • • • 学习目标：
    • 1. scrapy的概念
    • 2. scrapy框架的作用
    • 3. scrapy的工作流程
    • • 3.1 回顾之前的爬虫流程
      • 3.2 上面的流程可以改写为
      • 3.3 scrapy的流程
      • • 其流程可以描述如下：
        • 注意：
      • 3.4 scrapy的三个内置对象
      • 3.5 scrapy中每个模块的具体作用
      • • 注意：
  • 小结
  • scrapy的入门使用
  • • • • 学习目标：
    • 1 安装scrapy
      
    • 2 scrapy项目开发流程
    • 3. 创建项目
    • 4. 创建爬虫
    • 5. 完善爬虫
    • • 5.1 在/myspider/myspider/spiders/itcast.py中修改内容如下:
      • • 注意：
      • 5.2 定位元素以及提取数据、属性值的方法
      • 5.3 response响应对象的常用属性
    • 6 保存数据
    • • 6.1 在pipelines.py文件中定义对数据的操作
      • 6.2 在settings.py配置启用管道
    • 7. 运行scrapy
  • 小结
  • scrapy数据建模与请求
  • • • • 学习目标：
    • 1. 数据建模
    • • 1.1 为什么建模
      • 1.2 如何建模
      • 1.3 如何使用模板类
      • 1.4 开发流程总结
    • 2. 翻页请求的思路
    • 3. 构造Request对象，并发送请求
    • • 3.1 实现方法
      • 3.2 网易招聘爬虫
      • • 思路分析：
        • 注意：
      • 3.3 代码实现
      • 3.4 scrapy.Request的更多参数
      • • 参数解释
    • 4. meta参数的使用
    • • • 特别注意
  • 小结
  • • 参考代码
  • scrapy模拟登陆
  • • • • 学习目标：
    • 1. 回顾之前的模拟登陆的方法
    • • 1.1 requests模块是如何实现模拟登陆的？
      • 1.2 selenium是如何模拟登陆的？
      • 1.3 scrapy的模拟登陆
    • 2. scrapy携带cookies直接获取需要登陆后的页面
    • • • 应用场景
      • 2.1 实现：重构scrapy的starte_rquests方法
      • 2.2 携带cookies登陆github
      • • 注意：
    • 3. scrapy.Request发送post请求
    • • 3.1 发送post请求
      • • 3.1.1 思路分析
        • 3.1.2 代码实现如下：
        • 小技巧
  • 小结
  • scrapy管道的使用
  • • • • 学习目标：
    • 1. pipeline中常用的方法：
    • 2. 管道文件的修改
    • 3. 开启管道
    • 4. pipeline使用注意点
  • 小结
  • scrapy中间件的使用
  • • • • 学习目标：
    • 1. scrapy中间件的分类和作用
    • • • 1.1 scrapy中间件的分类
        • 1.2 scrapy中间的作用：预处理request和response对象
    • 2. 下载中间件的使用方法：
    • 3. 定义实现随机User-Agent的下载中间件
    • • 3.1 在middlewares.py中完善代码
      • 3.2 在settings中设置开启自定义的下载中间件，设置方法同管道
      • 3.3 在settings中添加UA的列表
      • 运行爬虫观察现象
    • 4. 代理ip的使用
    • • 4.1 思路分析
      • 4.2 具体实现
      • 4.3 检测代理ip是否可用
      • • 在settings.py中开启该中间件
    • 5. 在中间件中使用selenium
    • • 5.1 完成爬虫代码
      • 5.2 在middlewares.py中使用selenium
      • • 配置文件中设置开启该中间件后，运行爬虫可以在日志信息中看到selenium相关内容
  • 小结
  • scrapy_redis概念作用和流程
  • • • • 学习目标
    • 1. 分布式是什么
    • 2. scrapy_redis的概念
    • 3. scrapy_redis的作用
    • 4. scrapy_redis的工作流程
    • • 4.1 回顾scrapy的流程
      • • 思考：那么，在这个基础上，如果需要实现分布式，即多台服务器同时完成一个爬虫，需要怎么做呢？
      • 4.2 scrapy_redis的流程
  • 小结
  • scrapy_redis原理分析并实现断点续爬以及分布式爬虫
  • • • • 学习目标
    • 1. 下载github的demo代码
    • 2. 观察dmoz文件
    • 3. 运行dmoz爬虫，观察现象
    • 4. scrapy_redis的原理分析
    • • 4.1 Scrapy_redis之RedisPipeline
      • 4.2 Scrapy_redis之RFPDupeFilter
      • 4.3 Scrapy_redis之Scheduler
      • 4.4 由此可以总结出request对象入队的条件
      • 4.5 实现单机断点续爬
    • 5. 实现分布式爬虫
    • • 5.1 分析demo中代码
      • 5.2 动手实现分布式爬虫
      • • 注意：启动方式发生改变
  • 小结
  • scrapy_splash组件的使用
  • • • • 学习目标
    • 1. 什么是scrapy_splash？
    • 2. scrapy_splash的作用
    • 3. scrapy_splash的环境安装
    • • 3.1 使用splash的docker镜像
      • • 3.1.1 安装并启动docker服务
        • 3.1.2 获取splash的镜像
        • 3.1.3 验证是否安装成功
        • 3.1.4 解决获取镜像超时:修改docker的镜像源
        • 3.1.5 关闭splash服务
      • 3.2 在python虚拟环境中安装scrapy-splash包
    • 4. 在scrapy中使用splash
    • • 4.1 创建项目创建爬虫
      • 4.2 完善settings.py配置文件
      • 4.3 不使用splash
      • 4.4 使用splash
      • 4.5 分别运行俩个爬虫，并观察现象
      • • 4.5.1 分别运行俩个爬虫
        • 4.5.2 观察获取的俩个html文件
      • 4.6 结论
    • 5. 了解更多
  • 小结
  • scrapy的日志信息与配置
  • • • • 学习目标：
    • 1. 了解scrapy的日志信息
    • 2. scrapy的常用配置
    • 3. scrapy_redis配置
    • 4. scrapy_splash配置
    • 5. scrapy_redis和scrapy_splash配合使用的配置
    • • 5.1 原理
      • 5.2 重写dupefilter去重类，并在settings.py中使用
      • • 5.2.1 重写去重类
        • 5.2.2 scrapy_redis和scrapy_splash配合使用的配置
        • 注意：
    • 6. 了解scrapy的其他配置
  • 小结
  • scrapyd部署scrapy项目
  • • • • 学习目标
    • 1. scrapyd的介绍
    • 2. scrapyd的安装
    • 3. 启动scrapyd服务
    • 4. scrapy项目部署
    • • 4.1 配置需要部署的项目
      • 4.2 部署项目到scrapyd
      • 4.3 管理scrapy项目
      • • 注意；curl是命令行工具，如果没有则需要额外安装
      • 4.4 使用requests模块控制scrapy项目
    • 5. 了解scrapyd的其他webapi
    • 小结
  • 13.Gerapy
  • • • • 学习目标
    • 1.Gerapy介绍:
    • 2.Gerapy的安装
    • 3.Gerapy配置启动
    • 4.通过Gerapy配置管理scrapy项目
    • 补充:
    • • • 小结
  • 13.Gerapy
  • • • • 学习目标
    • 1.Gerapy介绍:
    • 2.Gerapy的安装
    • 3.Gerapy配置启动
    • 4.通过Gerapy配置管理scrapy项目
    • 补充:
  • scrapy的crawlspider爬虫
  • • • • 学习目标：
    • 1 crawlspider是什么
    • • • 思路：
    • 2 创建crawlspider爬虫并观察爬虫内的默认内容
    • • • 2.1 创建crawlspider爬虫：
        • 2.2 spider中默认生成的内容如下：
        • 2.3 观察跟普通的scrapy.spider的区别
        • 重点在rules中：
    • 3. crawlspider网易招聘爬虫
    • • • 思路分析：
        • 注意：连接提取器LinkExtractor中的allow对应的正则表达式匹配的是href属性的值
    • 4 crawlspider使用的注意点：
    • 5 了解crawlspider其他知识点
    • 总结