selenium爬取300条京东懒加载的商品信息

1.页面分析

首先给出要爬取数据的url： 京东 进入页面后，显示在界面上的图片已经加载完成，但是没有显示在屏幕上的内容，是没有加载的，只有当我们拖动界面，才会对相应资源进行请求和加载，我们如果用requests模块直接去请求获取页面源码数据，获取的源码肯定不完整。 这时就可以用selenium模拟浏览器的操作，通过拖动界面模拟人浏览，使浏览器资源加载完成后，再去获取页面源码，此时获取的内容就相对完整了。 本次爬取内容是300条商品信息，书籍名称、价格、图片下载链接，获取后将其保存到mysql数据库中。

2.滑动滚动条获取完整页面源码

先选取滑动滚动条的参照标签，执行JS代码，滑动滚动条到此标签位置，这里为了图片能够完全加载，将整个页面分为6部分，拖动六次后再获取页面源码。 代码如下：

def get_page_text(url): driver.get(url) sleep(random.random()*3) for i in range(10, 61, 10): sleep(1) target = driver.find_element_by_xpath(f'//*[@id="J_goodsList"]/ul/li[{i}]') driver.execute_script("arguments[0].scrollIntoView();", target) sleep(random.random()) page_text = driver.page_source return page_text

3.解析源码获取标签内容

现在已经得到了加载完成后的页面数据，此时根据浏览器自带的工具，定位到图片列表具体的位置，大致如下。 将获取的li标签保存到列表中，再在li标签中定位书籍名称、价格、图片地址。

书籍名称：

书籍价格：

图片地址：

代码如下：

# 数据解析获取标签信息 def parse_page(page_text): tree = etree.HTML(page_text) li_list = tree.xpath('//*[@id="J_goodsList"]/ul/li') book_name_list = [] # 书籍名称 book_price_list = [] # 书籍价格 book_imageUrl_list = [] # 书籍图片 count = 0 for li in li_list: book_name_list.append(''.join(li.xpath('.//div[@class="p-name"]/a/em//text()'))) book_price_list .append(li.xpath('.//div[@class="p-price"]/strong/i/text()')[0]) # 由于网速的不稳定,可能有的图片没有加载完成,获取的数据可能为空 image_url = li.xpath('.//div[@class="p-img"]/a/img/@src') if len(image_url) == 0: # 若图片未加载出来,图片的url的值为img标签的data-lazy-img标签值 image_url = li.xpath('.//div[@class="p-img"]/a/img/@data-lazy-img') book_imageUrl_list.append('http:' + image_url[0]) return connectDB(book_name_list, book_price_list, book_imageUrl_list) 

4.保存信息至数据库

代码如下：

# 连接数据库并保存 def connectDB(book_name_list, book_price_list, book_imageUrl_list): conn = pymysql.Connect(host = '127.0.0.1', port = 3306, user = 'root', password='password', db='books_jd', charset='utf8') # 创建游标对象 cursor = conn.cursor() for i in range(len(book_name_list)): sql = 'INSERT INTO books(name, price, image_url) VALUES ("{0}","{1}","{2}")'.format(book_name_list[i], book_price_list[i], book_imageUrl_list[i]) try: cursor.execute(sql) conn.commit() # 事务提交 except Exception as e: print(e) conn.rollback() # 事务回滚 conn.close() cursor.close() 

主函数代码：

if __name__ == '__main__': j = [1, 57, 117, 176, 236] for i in range(1,10,2): url = 'https://search.jd.com/Search?keyword=python&wq=python&page={0}&s={1}&click=0'.format(i,j[(i-1)//2]) page_text = get_page_text(url) parse_page(page_text) sleep(random.random()*4) print('第{}页已爬取成功！'.format((i+1)//2)) # 退出并清除浏览器缓存 driver.quit() 

5.运行结果