关于.NET玩爬虫这些事

3)Cookies处理。固然Cookies已经逐渐淡出汗青的舞台，但依然有大年夜量的Web开辟框架是以Cookie为支撑做Session体系的，所以Cookie的灵活操作也异常重要。

4)代劳办事。有时刻目标办事器会对IP拜访做限制，这时刻应用代劳办事器以及一向的改换代劳办事器就异常重要了，如下处理也很简洁

我试图告诉一些用其他说话正在研究爬虫的人们，你们走了一条歧途，以python比较有名的爬虫框架scrapy为例，这又是一群想建造轮子的劳碌不休的但却竽暌怪智商不高的法度榜样员所折腾出怪胎，试图同一爬虫的过程，构建模块化流程化的插件机制，但事实上，这种器械用的越多，越远离了爬虫的本质，越不克不及适应复杂的爬虫场景。

不过，也承认一下缺点，Socks4或者Socks5代劳也是会有时涌如今爬虫处理中，而HttpWebRequest并不直接支撑，而我之前用到过一个异常好的收集处理库(收费的，还有EMail处理等各类)，有完全的Socks5支撑，然则很多多少年了，记不得名字了，有知道的同窗可以告诉我，我弥补到这篇文┞仿里。

当然了，得益于.NET说话的强大年夜，除了WebClinet和HttpWebRequest这两个老古董外，还有不少好器械，比如

1)HttpClient。这是.NET4.5框架里带来的新器械，比拟HttpWebRequest，HttpClient更像是一个无头浏览器，对异步的支撑也加倍完全，处理逻辑也加倍合理，建议一向用HttpWebRequest做爬虫的同窗可以迁徙到HttpClient来。

四、内容处理也是.NET的强项

2)保存到数据库。爬虫法度榜样对目标进行一系列处理后，有效的数据会存入数据库，如不雅说袈溱.NET下对SQL Server、MySQL、Oracle、SQLite等数据库的周全支撑是一辆机能实足的跑车，那Linq语法糖加上两个ORM框架(Linq To SQL、ADO.NET Entity Framework)则是给这个跑车加了个涡轮增压。可以让我们用最敏捷漂亮的方法，将爬虫数据存入到数据库中，简洁到梗塞

1)String类及周边类。我们来看一张图

这里根本上涵盖了对字符串的所有处理办法，构造清楚、应用便利。除此之外，还有很多周边类，诸如Char、StringBuilder、Encoding等等，用过的都知道好!

2)正则处理。诚实说，正则的进修成本往往会高于应用成本，有时刻简单的场景用一些根本的算法和字符串处理比正则要便利的多，但作为顶级爬虫玩家，正则处理是一门必须控制的技能，而一旦你深刻并且闇练的┞菲握了正则处理办法，那么对字符串的查找、反复数据的处理的效力将会迈上新的台阶。.NET下正则的处理在System.Text.RegularExpressions定名空间里。

3)Javascript模仿。正如前面所说，所有复杂的浏览器行动，最终都可以精确的拆分为JS逻辑和HTTP行动，很多复杂逻辑或者加密的页面，直接下载到的数据还须要经由一些JS处理，才能够变成有效的数据，这个时刻Microsoft.JScript定名空间的感化就凸显了，可以快速便利的模仿一些Javascript的内置办法，特别是时光类、数学类、加密类的一些古怪办法，避免走弯路。

4)序列化与反序列化(JSON、XML处理)。很多新应用的通信格局多为XML或者JSON，对于词攀类内容的处理，会涉及到很多JSON、XML序列化反序列化，个中也以JSON序列化居。

起首是XML的处理，.NET中有System.Xml.Serialization定名空间或者System.Runtime.Serialization.DataContractSerializer等。而对XML处理的关键，在于可以或许灵活的自定义相符XML标准的内容，例如如下代码：