Python爬取拼多多商品数据保姆级教程（附源码及效果图）

土拨鼠爱coding

2025-11-02 20:36:40

关注

VIPPython爬取拼多多商品数据保姆级教程（附源码及效果图）

本文介绍了使用Python爬取拼多多商品数据的完整教程。通过DrissionPage库模拟浏览器操作，利用正则表达式提取嵌入在HTML中的商品数据（关键步骤是从window.rawData变量获取），解析后转换为结构化数据并导出Excel。教程包含八大步骤：环境配置、浏览器初始化、网络监听、搜索模拟、数据提取（核心是正则匹配JSON）、数据验证、字段解析和Excel导出，最后提供了封装好的函数可直接调用。该方法特别适合课程作业或毕业设计获取电商数据，能爬取商品名称、价格、销量等关键信息，处理了价格单位转换等

开通可读全文 ·2k 人阅读

最低0.47元/天解锁文章

前言

考虑到大家期末课程作业或毕业设计等需要数据作为支撑，或者需要提交代码编程作业。本系列分别用三篇文章：京东、淘宝、拼多多数据爬取来讲述数据爬取过程，即便是python入门级小白也能掌握。本篇文章为拼多多爬取教程。（ps：拼多多爬取的坑在于拼多多把数据藏在html文件里面，得用正则匹配和处理数据）

一、安装&导入依赖库

（1）安装库

%pip install DrissionPage pandas openpyxl

（2）导入依赖

# 爬虫库，使用谷歌模拟器
from DrissionPage import ChromiumPage
import re  # 正则表达式库
import json  # JSON解析库
import pandas as pd  # 办公操作库
from datetime import datetime  # 时间库

说明：

DrissionPage：用于浏览器自动化操作
re：用于正则表达式匹配，提取嵌入在页面中的数据
json：用于解析JSON格式的数据
pandas：用于数据处理和导出Excel
datetime：用于生成带时间戳的文件名

二、初始化浏览器并访问拼多多

创建浏览器实例并访问拼多多搜索页

driver = ChromiumPage()
driver.get('https://mobile.pinduoduo.com/relative_goods.html?__rp_name=search_view&source=index&options=3&shade_words=%E7%BA%B8%E5%B7%BE%E6%8A%BD%E7%BA%B8&ssr_histories=%5B%22%E9%AB%98%E6%A1%A3%E6%AD%A3%E5%93%81%E8%BD%BB%E8%96%84%E7%BE%BD%E7%BB%92%E6%9C%8D%22%5D&refer_page_name=index&refer_page_id=10002_1761990623118_tf6j8y73ut&refer_page_sn=10002')

关键点：

实例化浏览器对象：创建 ChromiumPage 对象
直接访问拼多多移动版搜索页：拼多多的移动版页面结构更简单，数据更容易获取

为什么访问移动版？

移动版页面结构更清晰
数据加载方式更直接
反爬机制相对较弱

三、启动网络请求监听

启动监听器

# 启动监听
driver.listen.start('search_result.html')

监听原理：

拼多多在搜索时会请求 search_result.html 页面
这个页面包含完整的商品数据
通过监听这个请求，我们可以获取原始HTML内容

与淘宝监听的区别：

淘宝：监听JSON接口（mtop.relationrecommend）
拼多多：监听HTML页面（search_result.html），但数据嵌入在页面的JavaScript变量中

四、模拟用户搜索操作

4.1 输入搜索关键词

driver.ele('css:form input[type="search"]').input('键盘')

使用CSS选择器定位搜索框：form input[type="search"]
输入搜索关键词"键盘"
可以替换成任何你想搜索的商品

4.2 点击搜索按钮

driver.ele('css:.RuSDrtii').click()

使用CSS选择器定位搜索按钮（class名为 RuSDrtii）
点击按钮触发搜索

4.3 等待页面加载

driver.wait(3)

等待3秒，确保搜索结果页面完全加载。

五、提取页面中的数据（核心技术）

5.1 初始化数据存储变量

最低0.47元/天解锁文章

标签

#python #开发语言

VIP 爬虫剑谱第十页（关于拼多多商品信息的爬取＜修改版＞）关于此前发布了一篇关于爬取拼多多商品信息的博客：爬虫剑谱第七页（输入关键词爬取拼多多商品信息并进行保存）_独一无二的李狗蛋儿的博客-CSDN博客出现了问题，运行结束后无法返回数据，up主在这里重新进行了修正，但让然无法进入商品详情页，只能爬取首页的商品图片等信息，如果有解决方法的朋友可以私信或进行评论。修正后代码：需要用到selenium库 from selenium import webdriver from lxml import etree import time #实例化一个浏览器对象（ 开通可读全文·2.5k 阅读·0 点赞·7 收藏阅读全文