作家
登录

我是怎样爬下6万共享单车数据并进行分析的(附代码)

作者: 来源: 2017-12-06 09:04:35 阅读 我要评论

 lat_range: 
  •  
  •             lon_range = np.arange(top, bottom, offset) 
  •  
  •             for lon in lon_range: 
  •  
  •                 self.total += 1 
  •  
  •                 executor.submit(self.get_nearby_bikes, (lat, lon))  
  •  
  •  
  •         executor.shutdown() 
  •  
  •         self.group_data() 
  • 最核心的API代码在这里。小法度榜样的API接口,搞几个变量就可以了,十分简单。 

    1. def get_nearby_bikes(self, args): 
    2.  
    3.        try: 
    4.             url = "https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do"  
    5.  
    6.  
    7.            payload = "latitude=%s&longitude=%s&errMsg=getMapCenterLocation" % (args[0], args[1])  
    8.  
    9.  
    10.            headers = { 
    11.  
    12.                'charset'"utf-8"
    13.  
    14.                'platform'"4"
    15.  
    16.                "referer":"https://servicewechat.com/wx40f112341ae33edb/1/"
    17.  
    18.                'content-type'"application/x-www-form-urlencoded"
    19.  
    20.                'user-agent'"MicroMessenger/6.5.4.1000 NetType/WIFI Language/zh_CN"
    21.  
    22.                'host'"mwx.mobike.com"
    23.  
    24.                'connection'"Keep-Alive"
    25.  
    26.                'accept-encoding'"gzip"
    27.  
    28.                

        推荐阅读

        云端定价比较:AWS、Microsoft Azure、Google Cloud、IBM Cloud之间的对决

      开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散因为重要的云供给商(AWS、Azure、谷歌和IBM)的云实例价格的持续降低,是以它们增长了扣头选项、增长了实例,并在某些情况下将计费增量降到了按秒>>>详细阅读


      本文标题:我是怎样爬下6万共享单车数据并进行分析的(附代码)

      地址:http://www.17bianji.com/lsqh/39482.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)