Python利用Beautifulsoup爬取笑话网站

'_blank',class_='all-read')

for b in list_second:

href = b['href']

list_href.append(href)

return list_href

def GetTrueUrl(liebiao):

list = []

for i in liebiao:

url = 'http://xiaohua.zol.com.cn

'+str(i)

list.append(url)

return list

def GetText(url):

for i in url:

html = requests.get(i)

soup = BeautifulSoup(html.text,'lxml')

content = soup.find('div',class_='article-text')

title = soup.find('h1',class_ = 'article-title')

SaveText(title.text,content.text)

def SaveText(TextTitle,text):

os.chdir('/home/lei/zol/')

f = open(str(TextTitle)+'txt','w')

f.write(text)

f.close()

GetText(GetTrueUrl(Gethref(all_url)))

(因为我的体系为linux体系，路径问题请按照本身电脑本身更改)

我们的目标不是抓取一个页面的笑话那么简单，下一步我们要做的是把须要的页面遍历一遍!

经由过程不雅察可以获得全部笑话页面url为http://xiaohua.zol.com.cn/new/+页码+html,接下来我们遍历前100页的所有笑话，全手下载下来!

接下来我们再次修改代码：

from bs4 import BeautifulSoup 
import os 
import requests 
num = 1 
url = 'http://xiaohua.zol.com.cn/new/  
 
'+str(num)+'.html' 
os.mkdir('/home/lei/zol') 
def Gethref(url): 
    list_href = [] 
    headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"} 
    html = requests.get(url,headers = headers) 	
			 5/7   首页 上一页 3 4 5 6 7 下一页 尾页	
			

　　推荐阅读
　　Java并发编程之并发代码设计
            【沙龙】51CTO诚邀您9月23号和多位技巧大年夜咖一路聊智能CDN的优化之路，抓紧时光哦！
            引子之前的文┞仿我们商量了激发线程安然的原因主如果因为多线程的对共享内存的操作导致的可见性或有>>>详细阅读


本文标题：Python利用Beautifulsoup爬取笑话网站
地址：http://www.17bianji.com/lsqh/37529.html
 1/2    1