Python利用Beautifulsoup爬取笑话网站

list_second = soup_second.find_all('a',target = '_blank',class_='all-read')

for b in list_second:

href = b['href']

list_href.append(href)

return list_href

def GetTrueUrl(liebiao):

list = []

for i in liebiao:

url = 'http://xiaohua.zol.com.cn

'+str(i)

list.append(url)

return list

def GetText(url):

for i in url:

html = requests.get(i)

soup = BeautifulSoup(html.text,'lxml')

content = soup.find('div',class_='article-text')

print(content.text)

GetText(GetTrueUrl(Gethref(all_url)))

我们经由过程以上代码，成功获得第一页所有笑话的网址后缀：

效不雅图如下：

如今我们开端存储笑话内容!开端要用到os库了

应用如下代码，获取一页笑话的所有内容!

from bs4 import BeautifulSoup 
import os 
import requests 
all_url = 'http://xiaohua.zol.com.cn/new/5.html  
 
' 
os.mkdir('/home/lei/zol') 
def Gethref(url): 
    list_href = [] 
    headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"} 
    html = requests.get(url,headers = headers) 
    soup_first = BeautifulSoup(html.text,'lxml') 
    list_first = soup_first.find_all('li',class_='article-summary') 
    for i in list_first: 
        soup_second = BeautifulSoup(i.prettify(),'lxml') 
        list_second = soup_second.find_all('a',target = 	
			 4/7   首页 上一页 2 3 4 5 6 7 下一页 尾页	
			

　　推荐阅读
　　Java并发编程之并发代码设计
            【沙龙】51CTO诚邀您9月23号和多位技巧大年夜咖一路聊智能CDN的优化之路，抓紧时光哦！
            引子之前的文┞仿我们商量了激发线程安然的原因主如果因为多线程的对共享内存的操作导致的可见性或有>>>详细阅读


本文标题：Python利用Beautifulsoup爬取笑话网站
地址：http://www.17bianji.com/lsqh/37529.html
 1/2    1