开发环境:win7下的
python3.5、MySQL5.7
编辑器:
pycharm2017.1、ipython,Navicat for mysql
需要的python第三方库:
selenium、PIL、Requests、MySQLdb、csv、pandas、numpy、matplotlib、jieba、wordcloud
另外还用到了无头浏览器PhantomJS。
主要思路:
一、通过selenium+phantomjs模拟登录qq空间取到cookies和g_qzonetoken,并算出gtk
二、通过Requests库利用前面得到的url参数,构造http请求
三、分析请求得到的响应,是一个json,利用正则表达式提取字段
四、设计数据表,并将提取到的字段插入到数据库中
五、通过qq邮箱中的导出联系人功能,把好友的qq号导出到一个csv文件,遍历所有的qq号爬取所有的说说
六、通过sql查询和ipython分析数据,并将数据可视化
七、通过python的第三方库jieba、wordcloud基于说说的内容做一个词云
闲话不多说,直接上代码
通过selenium+phantomjs模拟登录qq空间取到cookies和g_qzonetoken,并算出gtk
import re
from selenium import webdriver
from time import sleep
from PIL import Image
#定义登录函数
def QR_login():
def getGTK(cookie):
""" 根据cookie得到GTK """
hashes = 5381
for letter in cookie['p_skey']:
hashes += (hashes
关注
打赏
最近更新
- 深拷贝和浅拷贝的区别(重点)
- 【Vue】走进Vue框架世界
- 【云服务器】项目部署—搭建网站—vue电商后台管理系统
- 【React介绍】 一文带你深入React
- 【React】React组件实例的三大属性之state,props,refs(你学废了吗)
- 【脚手架VueCLI】从零开始,创建一个VUE项目
- 【React】深入理解React组件生命周期----图文详解(含代码)
- 【React】DOM的Diffing算法是什么?以及DOM中key的作用----经典面试题
- 【React】1_使用React脚手架创建项目步骤--------详解(含项目结构说明)
- 【React】2_如何使用react脚手架写一个简单的页面?