作家
登录

使用python和tableau对数据进行抓取及可视化

作者: 来源: 2017-05-08 16:52:57 阅读 我要评论

'满标速度(分钟)',' 
  •  
  • 累计贷款余额(万)','净资金流入(万)'] 
  •  
  • <pre>  
  • 然后设置各字段的名称,并生成数据表。

    1. </pre> 
    2.  
    3. #创建数据表 
    4.  
    5. table=pd.DataFrame({'采集日期':date
    6.  
    7. '平台名称':title, 
    8.  
    9. '成交额(万)':total, 
    10.  
    11. '综合利率':rate, 
    12.  
    13. '投资人(人)':pnum, 
    14.  
    15. '借钱周期(月)':cycle, 
    16.  
    17. '借钱人(人)':p1num, 
    18.  
    19. '满标速度(分钟)':fuload, 
    20.  
    21. '累计贷款余额(万)':alltotal, 
    22.  
    23. '净资金流入(万)':capital}, 
    24.  
    25. columns=columns) 
    26.  
    27. <pre>  
    1. </pre> 
    2. #设置请求中头文件的信息 
    3. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 
    4. Safari/537.11', 
    5. 'Accept':'text/html;q=0.9,*/*;q=0.8'
    6. 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3'
    7. 'Connection':'close'
    8. 'Referer':'https://www.bluewhale.cc/' 
    9. <pre>  

    查看生成的数据表,字段次序与我们设置的一致,下一步把数据表导出为csv文件。便于后续的处劳憾ブ析。

    1. </pre> 
    2.  
    3. #查看数据表 
    4.  
    5. table 
    6.  
    7. <pre>   

    导出及追加数据

    将生成的数据表导出为csv文件。这里有两种导出方法。第一是新建数据表。但比较麻烦,后续要须要手动将天天的数据进行拼接。因

    此还有第二种导出方法就是在一个数据表中赓续追加新数据。

    第一种方法将数据表导出为一个新的csv文件,文件名为wdty加上数据抓取的具体日期,也就是date中的值。

    1. </pre> 
    2.  
    3. #导出csv文件 
    4.  
    5. table.to_csv('C:\\Users\\ Desktop\\wdty'+date+'.csv',index=False
    6.  

        推荐阅读

        数据显示Java热度持续下落,日子屈指可数?

      来自谷歌趋势的Java与JavaScript走势图 本年4月初,斯坦福大年夜学开端试履行计算机科学入门课CS 106A的新版本。这个名为CS 106J的新版本用JavaScript来教,而不是用Java来教。斯坦福大>>>详细阅读


      本文标题:使用python和tableau对数据进行抓取及可视化

      地址:http://www.17bianji.com/lsqh/35080.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)