Python微博移动端爬虫实例（附代码）

【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？

本文扼要讲述用Python爬取微博移动端数据的办法。可以看一下Robots协定。别的尽量不要爬取太快。如不雅你毫无控制的去爬取别人数据，别人网站当然会反爬越来越严格。至于为什么不爬PC端，原因是移动端较简单，很合适爬虫新手入门。有时光再写PC端吧！

情况介绍

在这里就会涉及到一个动态加载的概念，也就是我们只有向下滑动鼠标滚轮才会加载出更多的评论数据。这也是网页经常应用的方法。接下来就应当找到评论信息的┞锋实网址，找到真实网址的办法就是打开浏览器的开辟者对象，火狐/谷歌是F12键。打开如下：

Python3/Windows-10-64位/微博移动端

网页分析

以获取评论信息为例（你可以以本身的爱好获得其他数据）。如下图：

打开今后点击收集，收集用来记录浏览器和办事器交换的信息。接下来将鼠标滚轮迟缓向下滚动，在这个过程中就会弹出类似于上图的信息，也就是评论信息加载出来了。找到评论信息，应当会在第一条。如下图：

真实网址：https://m.weibo.cn/api/comments/show?id=4160547165300149&page=3

将网址在火狐琅绫擎打开如下图：

膳绫擎的网址其实pages=3就代表第三页，所以只需模仿网址即可，pages=4,5,6。。。。

别的因为是Json文件，所以提取数据异常便利，只需用切片操作即可。

【编辑推荐】

【义务编辑：庞桂玉 TEL：（010）68476606】

　　推荐阅读

　　MySQL存储写入速度慢？当然是选择分析一下啦

【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？问题背景描述：在 MySQL 中履行 SQL 语句，比如 insert，贼慢，明明可能也就只是一行数据的插入，数据量很>>>详细阅读

地址：http://www.17bianji.com/lsqh/40189.html