表弟准备买房，让我帮他分析分析哪个小区最合适，我直接用python下载了本地所有房源信息做成了可视化图

表弟刚毕业工资2500，节衣缩食一年准备买200W左右的房，让我帮他参谋一下房子买哪里好，买房过程简直太励志了！

通过他辛苦工作一年终于攒下五千块，最后在家里支援了199.5W后，成功全款拿下房子…

这谁顶得住啊😳

算了我们还是回到文章吧 ~

📢准备工作

软件

python 3.8 解释器
pycharm 专业版2021.2

不会安装的可以看我零基础系列都有讲

使用的模块及安装

requests >>> pip install requests 数据请求 (用python代码 模拟浏览器对于服务器发送请求)
parsel >>> pip install parsel 数据解析 (提取我们想要数据内容)  parsel 对于你们以后学习scrapy(核心组件之一)有帮助
csv 内置模块 不需要安装 获取到的数据内容保存到csv表格数据

win+r 输入cmd，输入安装命令 pip install 加上模块名

爬虫通用流程思路

1.明确需求(抓取内容: 视频数据/音频数据/图片) 2.发送请求: 对应分析得到url 3.获取数据: response.text[文本数据 网页源代码] response.json()[json字典数据] response.content(二进制数据) 4.解析数据(提取我们想要数据内容) 解析方式: css xpath re 5.保存数据(保存csv表格) 视频/图片/音频/文字…文件 本地 数据库

数据来源分析

爬虫: 对于网页上面的数据内容进行采集程序

1. 确定爬取的内容是什么东西?
    二手房源的基本数据
2. 通过开发者工具进行抓包分析, 分析这些数据内容是可以哪里获取
    通过开发者工具, 分析可得 >>> 我们想要的房源数据内容(房源详情页url) 就是来自于 网页源代码
    如果你要爬取多个房源数据, 只需要在列表页面 获取所有的房源详情页url

代码实现步骤:

发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

1. 发送请求, 是对于房源列表页发送请求 https://cs.***.com/ershoufang/
2. 获取数据, 获取网页源代码 response.text
3. 解析数据, 提取我们想要的内容, 房源详情页url
4. 发送请求, 对于房源详情页url地址发送请求
5. 获取数据, 获取网页源代码 response.text
6. 解析数据, 提取房源基本信息 售价 标题 单价 面积 户型....
7. 保存数据
8. 多页数据采集

📢爬虫代码

代码部分

import pprint  # 格式化输出模块 内置模块
import requests  # 数据请求模块 第三方模块
import parsel  # 数据解析模块 第三方模块
import csv  # csv模块 内置模块 不需要安装

f = open('房源.csv', mode='a', encoding='utf-8', newline='')

csv_writer = csv.DictWriter(f, fieldnames=[
    '上次交易',
    '交易权属',
    '产权所属',
    '单价',
    '售价',
    '套内面积',
    '建筑类型',
    '建筑结构',
    '建筑面积',
    '户型结构',
    '房屋年限',
    '房屋户型',
    '房屋朝向',
    '房屋用途',
    '房本备件',
    '房源核验码',
    '所在楼层',
    '抵押信息',
    '挂牌时间',
    '标题',
    '梯户比例',
    '装修情况',
    '详情页',
    '配备电梯',
])
csv_writer.writeheader()  # 写入表头
for page in range(1, 11):
    print(f'===================正在爬取第{page}页数据内容===================')
    # 1. 发送请求
    url = f'https://cs.****.com/ershoufang/pg{page}/'  # 确定请求的url地址
    # 模拟浏览器发送请求 需要对于python代码进行伪装
    # headers:请求头 字典数据类型 键值对形式
    # header作用: 伪装
    # 加那些参数: cookie User-Agent(UA) referer host
    # 参数意思是什么
    #   cookie: 用户信息, 常用于检测是否登陆账号
    #   User-Agent: 浏览器基本身份标识(用户代理)
    #   referer: 防盗链 告诉服务器我们发送请求的url地址是从哪里跳转过来 (动态网页)
    #   host: 域名
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    # 2. 获取数据, 获取网页源代码 response.text
    # print(response.text) # 返回数据字符串数据类型
    # 3. 解析数据 解析方式: css xpath re
    # css选择器: 根据标签属性内容提取数据
    selector = parsel.Selector(response.text)  # 返回对象
    # attr 属性选择器 getall() 获取所有 返回数据列表  人家语法就是这样 a::attr(href) 取a标签里面href属性
    href = selector.css('.sellListContent li .title a::attr(href)').getall()
    # print(href)
    # 列表 数据容器(一个箱子) 'https://cs.****.com/ershoufang/104107916240.html' 元素(箱子里面东西)
    # for 循环 遍历就是从这个箱子里面一个一个拿东西出来
    for link in href:
        # 4. 发送请求, 对于房源详情页url地址发送请求
        # 5.获取数据, 获取网页源代码response.text
        response_1 = requests.get(url=link, headers=headers)
        # 6. 解析数据提取我们想要数据
        # print(response_1.text)
        selector_1 = parsel.Selector(response_1.text)  # 返回对象
        # get() 取一个
        title = selector_1.css('.title .main::text').get()  # 标题
        price = selector_1.css('.price .total::text').get()  # 售价
        price_1 = selector_1.css('.unitPriceValue::text').get()  # 单价
        attr_list = selector_1.css('.base .content li .label::text').getall()
        attr_list_1 = selector_1.css('.transaction .content li .label::text').getall()
        content_list = selector_1.css('.base .content li::text').getall()
        content_list_1 = selector_1.css('.transaction .content li span::text').getall()
        # 两个列表 如何创建成一个字典 attr_list 做键 content_list 做值
        # print(attr_list)
        # print(content_list)
        # 保存csv文件表格
        # 需要创建一个字典
        dit = {
            "详情页": link,
            "标题": title,
            "售价": price,
            "单价": price_1,
            # "区域": price_1,
        }
        dit_1 = dict(zip(attr_list, content_list))
        dit_2 = dict(zip(attr_list_1, content_list_1))
        dit.update(dit_1)
        dit.update(dit_2)
        # print(title, price, price_1)
        csv_writer.writerow(dit) # 写入数据
        pprint.pprint(dit) # 格式化输出模块

效果展示

部分的数据

📢数据分析

# 导入模块
import pandas as pd
from pyecharts.charts import Map
from pyecharts.charts import Bar
from pyecharts.charts import Line
from pyecharts.charts import Grid
from pyecharts.charts import Pie
from pyecharts.charts import Scatter
from pyecharts import options as opts
# 读取数据
df = pd.read_csv('data.csv', encoding = 'utf-8')
df.head()
df.describe()
df.isnull().sum()
df['电梯'].unique()
df['电梯'].fillna('未知', inplace=True)
df.isnull().sum()
df['电梯'].unique()
df['朝向'].unique()
df['朝向'] = df['朝向'].str.replace('南西','西南')
df['朝向'].unique()

g = df.groupby('市区')
df_region = g.count()['小区']
region = df_region.index.tolist()
count = df_region.values.tolist()
df_region

# 各城区二手房数量北京市地图
new = [x + '区' for x in region]
m = (
        Map()
        .add('', [list(z) for z in zip(new, count)], '北京')
        .set_global_opts(
            title_opts=opts.TitleOpts(title='北京市二手房各区分布'),
            visualmap_opts=opts.VisualMapOpts(max_=3000),
        )
    )
m.render_notebook()

df_price = g.mean()['价格(万元)']
df_price

df_price.values.tolist()
price = [round(x,2) for x in df_price.values.tolist()]
bar = (
    Bar()
    .add_xaxis(region)
    .add_yaxis('数量', count,
              label_opts=opts.LabelOpts(is_show=True))
    .extend_axis(
        yaxis=opts.AxisOpts(
            name="价格（万元）",
            type_="value",
            min_=200,
            max_=900,
            interval=100,
            axislabel_opts=opts.LabelOpts(formatter="{value}"),
        )
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title='各城区二手房数量-平均价格柱状图'),
        tooltip_opts=opts.TooltipOpts(
            is_show=True, trigger="axis", axis_pointer_type="cross"
        ),
        xaxis_opts=opts.AxisOpts(
            type_="category",
            axispointer_opts=opts.AxisPointerOpts(is_show=True, type_="shadow"),
        ),
        yaxis_opts=opts.AxisOpts(name='数量',
            axistick_opts=opts.AxisTickOpts(is_show=True),
            splitline_opts=opts.SplitLineOpts(is_show=False),)
    )
)

line2 = (
    Line()
    .add_xaxis(xaxis_data=region)
    .add_yaxis(
        
        series_name="价格",
        yaxis_index=1,
        y_axis=price,
        label_opts=opts.LabelOpts(is_show=True),
        z=10
        )
)

bar.overlap(line2)
grid = Grid()
grid.add(bar, opts.GridOpts(pos_left="5%", pos_right="20%"), is_control_axis_index=True)
grid.render_notebook()

top_price = df.sort_values(by="价格(万元)",ascending=False)[:15]
top_price

area0 = top_price['小区'].values.tolist()
count = top_price['价格(万元)'].values.tolist()

bar = (
    Bar()
    .add_xaxis(area0)
    .add_yaxis('数量', count,category_gap = '50%')
    .set_global_opts(
        yaxis_opts=opts.AxisOpts(name='价格(万元)'),
        xaxis_opts=opts.AxisOpts(name='数量'),
    )
)
bar.render_notebook()


s = (
    Scatter()
    .add_xaxis(df['面积(㎡)'].values.tolist())
    .add_yaxis('',df['价格(万元)'].values.tolist())
    .set_global_opts(xaxis_opts=opts.AxisOpts(type_='value'))
)
s.render_notebook()

g = df.groupby('朝向')
g.count()['小区']

df_direction =  g.count()['小区']
df_direction

directions = df_direction.index.tolist()
count = df_direction.values.tolist()

c1 = (
    Pie(init_opts=opts.InitOpts(
            width='800px', height='600px',
            )
       )
        .add(
        '',
        [list(z) for z in zip(directions, count)],
        radius=['20%', '60%'],
        center=['40%', '50%'],
#         rosetype="radius",
        label_opts=opts.LabelOpts(is_show=True),
        )    
        .set_global_opts(title_opts=opts.TitleOpts(title='房屋朝向占比',pos_left='33%',pos_top="5%"),
                        legend_opts=opts.LegendOpts(type_="scroll", pos_left="80%",pos_top="25%",orient="vertical")
                        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter='{b}:{c} ({d}%)'),position="outside")
    )
c1.render_notebook()

g1 = df.groupby('装修情况')
g1.count()['小区']
g2 = df.groupby('电梯')
g2.count()['小区']

df_fitment =  g1.count()['小区']
df_direction =  g2.count()['小区']
df_fitment

fitment = df_fitment.index.tolist()
count1 = df_fitment.values.tolist()

directions = df_direction.index.tolist()
count2 = df_direction.values.tolist()

bar = (
    Bar()
    .add_xaxis(fitment)
    .add_yaxis('', count1, category_gap = '50%')
    .reversal_axis()
    .set_series_opts(label_opts=opts.LabelOpts(position='right'))    
    .set_global_opts(
        xaxis_opts=opts.AxisOpts(name='数量'),
        title_opts=opts.TitleOpts(title='装修情况/有无电梯玫瑰图（组合图）',pos_left='33%',pos_top="5%"),
        legend_opts=opts.LegendOpts(type_="scroll", pos_left="90%",pos_top="58%",orient="vertical")
    )
)

c2 = (
    Pie(init_opts=opts.InitOpts(
            width='800px', height='600px',
            )
       )
        .add(
        '',
        [list(z) for z in zip(directions, count2)],
        radius=['10%', '30%'],
        center=['75%', '65%'],
        rosetype="radius",
        label_opts=opts.LabelOpts(is_show=True),
        )    
        .set_global_opts(title_opts=opts.TitleOpts(title='有/无电梯',pos_left='33%',pos_top="5%"),
                        legend_opts=opts.LegendOpts(type_="scroll", pos_left="90%",pos_top="15%",orient="vertical")
                        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter='{b}:{c} \n ({d}%)'),position="outside")
    )

bar.overlap(c2)
bar.render_notebook()

g = df.groupby('楼层')
df_floor = g.count()['小区']
df_floor

floor = df_floor.index.tolist()
count = df_floor.values.tolist()
bar = (
    Bar()
    .add_xaxis(floor)
    .add_yaxis('数量', count)
    .set_global_opts(
        title_opts=opts.TitleOpts(title='二手房楼层分布柱状缩放图'),
        yaxis_opts=opts.AxisOpts(name='数量'),
        xaxis_opts=opts.AxisOpts(name='楼层'),
        datazoom_opts=opts.DataZoomOpts(type_='slider')
    )
)
bar.render_notebook()

area_level = [0, 50, 100, 150, 200, 250, 300, 350, 400, 1500]    
label_level = ['小于50', '50-100', '100-150', '150-200', '200-250', '250-300', '300-350', '350-400', '大于400']    
jzmj_cut = pd.cut(df['面积(㎡)'], area_level, labels=label_level)        
df_area = jzmj_cut.value_counts()
df_area

area = df_area.index.tolist()
count = df_area.values.tolist()

bar = (
    Bar()
    .add_xaxis(area)
    .add_yaxis('数量', count)
    .reversal_axis()
    .set_series_opts(label_opts=opts.LabelOpts(position="right"))
    .set_global_opts(
        title_opts=opts.TitleOpts(title='房屋面积分布纵向柱状图'),
        yaxis_opts=opts.AxisOpts(name='面积(㎡)'),
        xaxis_opts=opts.AxisOpts(name='数量'),
    )
)
bar.render_notebook()

效果我就不一一演示了，截图麻烦，可以直接看视频有详细操作~

📢视频讲解

有啥问题都欢迎在评论区交流~