当碰到须要登录的网站,你须要经由过程设置 Cookie 参数,来请求须要登录的内容。Cookie 可以经由过程开辟者对象的请求面板,或者是资本面板中获得。在 pyspider 中,你也可以应用 response.cookies 获得返回的 cookie,并应用 self.crawl(URL, cookie={'key': 'value'}) 来设置请求的 Cookie 参数。
推荐阅读
硅谷(GoogleIO大年夜会第二天)【51CTO.com原创稿件】关于硅谷,你可能读过很多文┞仿和书本,比如吴军博士的《海潮之巅》,比如环绕着乔帮主、小扎的传奇故事,已经让你对硅谷蒙上了神奇的>>>详细阅读
本文标题:pyspider爬虫教程 (2):AJAX和HTTP
地址:http://www.17bianji.com/lsqh/35191.html
1/2 1