Python爬虫实战：股票数据定向爬虫

count = count + 1

print("\r当进步度: {:.2f}%".format(count*100/len(lst)),end="")

except:

count = count + 1

print("\r当进步度: {:.2f}%".format(count*100/len(lst)),end="")

continue

def main():

stock_list_url = 'http://quote.eastmoney.com/stocklist.html'

stock_info_url = 'https://gupiao.baidu.com/stock/'

output_file = 'D:/BaiduStockInfo.txt'

slist=[]

getStockList(slist, stock_list_url)

getStockInfo(slist, stock_info_url, output_file)

main()

因为百度股票只有单个股票的信息，所以还须要当前股票市场中所有股票的列表，在这里我们选择东方财富网，网址为：链接描述(http://quote.eastmoney.com/stocklist.html)，界面如下图所示：

道理分析

查看百度股票每只股票的网址：https://gupiao.baidu.com/stock/sz300023.html，可以发明网址中有一个编号300023正好是这只股票的编号，sz表示的深圳交易所。是以我们构造的法度榜样构造如下：

步调1：大年夜东方财富网获取股票列表;
步调2：一一获取股票代码，并增长到百度股票的链接中，最后对这些链接进行逐个的拜访获得股票的信息;
步调3：将结不雅存储到文件。

接着查看百度个股信息网页的源代码，发明每只股票的信息在html代码中的存储方法如下：

是以，在我们存储每只股票的信息时，可以参考上图中html代码的存储方法。每一个信息源对应一个信息值，即采取键值对的方法进行存储。在python中键值对的方法可以用字典类型。是以，在本项目中，应用字典来存储每只股票的信息，然后再用字典把所有股票的信息记录起来，最后将字典中的数据输出到文件中。

代码编写

起首是获得html网页数据的法度榜样，在这腊?绵做介绍了，代码如下：

#获得html文本 
 
def getHTMLText(url): 
 
    try: 
 
        r = requests.get(url) 
 
        r.raise_for_status() 
 
        r.encoding = r.apparent_encoding 	
			 3/7   首页 上一页 1 2 3 4 5 6 下一页 尾页	
			

　　推荐阅读
　　浅谈JavaScript中的接口实现
            接口是面向对象JavaScript法度榜样员的对象箱中最有效的对象之一。在设计模式中提出的可重用的面向对象设计的原则之一就是“针对接口编程而不是实现编程”，即我们所说的面向接口编程，这个>>>详细阅读


本文标题：Python爬虫实战：股票数据定向爬虫
地址：http://www.17bianji.com/lsqh/36863.html
 1/2    1