【51CTO晃荡】8.26 带你与清华大年夜学、搜狗、京东大年夜咖们一路商量基于算法的IT运维实践

解释

• 网站选择原则： 股票信息静态存在于html页面中，非js代码生成，没有Robbts协定限制。
• 拔取办法： 打开辟页，查看源代码，搜刮网页的股票价格数据是否存在于源代码中。

如打开新浪股票网址：链接描述(http://finance.sina.com.cn/realstock/company/sz000877/nc.shtml)，如下图所示：

上图中左边为网页的界面，显示了天山股份的股票价格是13.06。右边为该网页的源代码，在源代码中萌芽13.06发明没有找到。所以断定该网页的数据应用js生成的，不合适本项目。是以换一个网页。

再打开百度股票的网址：链接描述(https://gupiao.baidu.com/stock/sz300023.html)，如下图所示：

大年夜上图中可以发明百度股票的数据是html代码生成的，相符我们本项目标请求，所以在本项目中选择百度股票的网址。

# -*- coding: utf-8 -*- 
 
  
 
import requests 
 
from bs4 import BeautifulSoup 
 
import traceback 
 
import re 
 
def getHTMLText(url): 
 
    try: 
 
        r = requests.get(url) 
 
        r.raise_for_status() 
 
        r.encoding = r.apparent_encoding 
 
        return r.text 
 
    except: 
 
        return "" 
 
def getStockList(lst, stockURL): 
 
    html = getHTMLText(stockURL) 
 
    soup = BeautifulSoup(html, 'html.parser') 
 
    a = soup.find_all('a') 
 
    for i in a: 
 
        try: 
 
            href = i.attrs['href'] 
 
            lst.append(re.findall(r"[s][hz]\d{6}", href)[0]) 
 
        except: 
 
            continue 
 
def getStockInfo(lst, stockURL, fpath): 
 
    count	
			
 1/7    1 2 3 4 5 6 下一页 尾页
	
			

　　推荐阅读
　　浅谈JavaScript中的接口实现
            接口是面向对象JavaScript法度榜样员的对象箱中最有效的对象之一。在设计模式中提出的可重用的面向对象设计的原则之一就是“针对接口编程而不是实现编程”，即我们所说的面向接口编程，这个>>>详细阅读


本文标题：Python爬虫实战：股票数据定向爬虫
地址：http://www.17bianji.com/lsqh/36863.html
 1/2    1