然后设置各字段的名称,并生成数据表。
- </pre>
- #创建数据表
- table=pd.DataFrame({'采集日期':date,
- '平台名称':title,
- '成交额(万)':total,
- '综合利率':rate,
- '投资人(人)':pnum,
- '借钱周期(月)':cycle,
- '借钱人(人)':p1num,
- '满标速度(分钟)':fuload,
- '累计贷款余额(万)':alltotal,
- '净资金流入(万)':capital},
- columns=columns)
- <pre>
- </pre>
- #设置请求中头文件的信息
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64
- Safari/537.11',
- 'Accept':'text/html;q=0.9,*/*;q=0.8',
- 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
- 'Connection':'close',
- 'Referer':'https://www.bluewhale.cc/'
- }
- <pre>
查看生成的数据表,字段次序与我们设置的一致,下一步把数据表导出为csv文件。便于后续的处劳憾ブ析。
- </pre>
- #查看数据表
- table
- <pre>
导出及追加数据
将生成的数据表导出为csv文件。这里有两种导出方法。第一是新建数据表。但比较麻烦,后续要须要手动将天天的数据进行拼接。因
此还有第二种导出方法就是在一个数据表中赓续追加新数据。
第一种方法将数据表导出为一个新的csv文件,文件名为wdty加上数据抓取的具体日期,也就是date中的值。
- </pre>
- #导出csv文件
- table.to_csv('C:\\Users\\ Desktop\\wdty'+date+'.csv',index=False)
推荐阅读
来自谷歌趋势的Java与JavaScript走势图 本年4月初,斯坦福大年夜学开端试履行计算机科学入门课CS 106A的新版本。这个名为CS 106J的新版本用JavaScript来教,而不是用Java来教。斯坦福大>>>详细阅读
本文标题:使用python和tableau对数据进行抓取及可视化
地址:http://www.17bianji.com/lsqh/35080.html
1/2 1