Python编写知乎爬虫实践

point2 = mmh3.hash(url, 42) % BIT_SIZE

point3 = mmh3.hash(url, 43) % BIT_SIZE

point4 = mmh3.hash(url, 44) % BIT_SIZE

point5 = mmh3.hash(url, 45) % BIT_SIZE

point6 = mmh3.hash(url, 46) % BIT_SIZE

point7 = mmh3.hash(url, 47) % BIT_SIZE

return [point1, point2, point3, point4, point5, point6, point7]

BF具体的道理参考我之前写的文┞仿：布隆过滤器(Bloom Filter)的道理和实现

须要爬的网页实袈溱太多太多了，而膳绫擎的代码太慢太慢了。假想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话须要log(N)的复杂度。OK，我知道python的set实现是hash——不过如许照样太慢了，至少内存应用效力不高。

用户有价值的信息包含用户名、简介、行业、院校、专业及在平台上晃荡的数据比如答复数、文┞仿数、提问数、粉丝数等等。

用户信息存储的表构造如下：

CREATE DATABASE `zhihu_user` /*!40100 DEFAULT CHARACTER SET utf8 */; 
 
 
-- User base information table 
CREATE TABLE `t_user` ( 
  `uid` bigint(20) unsigned NOT NULL AUTO_INCREMENT, 
  `username` varchar(50) NOT NULL COMMENT '用户名',                       
  `brief_info` varchar(400)  COMMENT '小我简介', 
  `industry` varchar(50) COMMENT '所处行业',              
  `education` varchar(50) COMMENT '卒业袈浜校',              
  `major` varchar(50) COMMENT '主修专业', 
  `answer_count` int(10) unsigned DEFAULT 0 COMMENT '答复数', 
  `article_count` int(10) unsigned DEFAULT 0 COMMENT '文┞仿数', 
  `ask_question_count` int(10) unsigned DEFAULT 0 COMMENT '提问数', 
  `collection_count` int(10) unsigned 	
			 3/6   首页 上一页 1 2 3 4 5 6 下一页 尾页	
			

　　推荐阅读
　　Python源码理解: +=和 xx = xx + xx的区别
            
            前菜在我们应用Python的过程, 很多时刻会用到 + 运算, 例如:先来看看字节码:a = 1 + 2  print a  # 输出  3  不但在加法中应用, 在字符串的拼接也同样发挥这重要的感化, 例如:a = 'abc' +>>>详细阅读


本文标题：Python编写知乎爬虫实践
地址：http://www.17bianji.com/lsqh/35819.html
 1/2    1