爬取百度指数行业排行榜

写在前面: 我是「虐猫人薛定谔i」,一个不满足于现状,有梦想,有追求的00后
\quad
本博客主要记录和分享自己毕生所学的知识,欢迎关注,第一时间获取更新。
\quad
不忘初心,方得始终。自己的梦想,终有一天会实现!
\quad

❤❤❤❤❤❤❤❤❤❤

思路分析

今天,我们要爬取的目标是百度指数的行业排行榜

在这里插入图片描述
目标已明确,下面进行网页分析。依旧是老套路,先来看一下网页的源码。

在这里插入图片描述
仔细浏览后,我们发现在该页面中,并没有找到我们需要的数据。那么数据在什么地方呢?不急,我们先来抓包分析一下。

在这里插入图片描述
请求的URL如下:

http://insight.baidu.com/base/search/rank/list?pageSize=5&source=0&toFixed=1&filterType=1&dateType=20200323~20200329&dimensionid=2&rateType=1000&filterNodes=&callback=_jsonpnp15vox7fc

这个URL看起来有很多参数,不过其中有一些对我们来说是没有用的,比如,那个callback就可以去掉。URL中的dimensionid参数是请求的数据类型,比如说,当dimensionid=2时,返回的是汽车的排名数据。

data = {
    'car': '2',
    'phone': '12',
    'makeup': '37',
    'star': '78',
    'tourist': '84',
    'university': '53',
    'estate': '88',
    'milkPowder': '68',
}

有了这个URL后,我们就可以发送请求获取数据了。
在这里插入图片描述

代码

# !/usr/bin/env python
# —*— coding: utf-8 —*—
# @Time:    2020/3/31 9:42
# @Author:  Martin
# @File:    industryrank.py
# @Software:PyCharm
import requests
import json
import os

"""
爬取百度指数行业排行榜
"""

# 请求的URL
url = 'http://insight.baidu.com/base/search/rank/list?pageSize=20&toFixed=1&filterType=1&dimensionid=%s&rateType=1000&source=0'

# 伪装请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}

data = {
    'car': '2',
    'phone': '12',
    'makeup': '37',
    'star': '78',
    'tourist': '84',
    'university': '53',
    'estate': '88',
    'milkPowder': '68',
}

for item in data:
    page_url = url % data[item]
    r = requests.get(page_url)
    r.encoding = 'utf-8'
    rank_data = json.loads(r.text)['data']['results']
    result = {
        'name': item,
        'result': rank_data['current'],
        'current_Date': rank_data['currDate']
    }
    print(result)
    # 保存文件
    if not os.path.exists('./result/'):
        os.makedirs('./result/')
    with open('./result/'+result['name']+'_'+result['current_Date']+'.json', 'w', encoding='utf-8') as f:
        json.dump(result, f, indent=4, ensure_ascii=False)
    print(item + " is OK!")

结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

个人认为,本次爬取比较困难的地方就是URL的分析,只要这个地方处理好了,后面的基本上都是一些常规操作,比较简单。

在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 黑客帝国 设计师:白松林 返回首页