爬取京东商品信息

一、主要步骤

1、搜索关键字

2、分析页码并翻页

3、提取相关商品信息

4、存入到 MySQL 数据库

二、使用的包

import re

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from pyquery import PyQuery as pq

import pymysql

import time

三、步骤

1、声明需要使用的浏览器,使用 WebDriverWait 函数,设置等待元素时间;
image.png

2、查找输入框元素,输入相关商品信息,点击搜索,跳转到查询商品结果页面,在查询页面中获取总页数;超时后,重新调用该函数;
image.png

3、翻页有两种选择:1、点击页码,跳转条对应页码的页面;2、在输入框中输入页码数,点击确定,页面跳转;在这选择第二种方法,定位页码框,清空输入框中的信息,输入页码,点击确定,页面跳转;
image.png

4、获取页面相关信息,使用 pyquery 获取对应的信息;
image.png

5、连接数据库,并将数据插入到数据库中
image.png

回帖
请输入回帖内容 ...