抓取网页遇到“403 已禁止”或者内容空白的解决办法

作者:vkvi 来源:千一网络(原创) 日期:2013-2-25

利用 WebClient、WebRequest 抓取网页时出现 403 禁止的错误,有些没报错,但抓下来是空白,有没有解决办法呢?

这是由于服务器或防火墙做了一定的限制,常见的限制是限制 UserAgent,由于抓取代码没有指定 UserAgent,就限制到了。

终极解决办法是:利用模拟浏览器抓取,秒杀一切限制,那就是使用 WebBrowser 控件,并处理 DocumentCompleted 事件。

具体技术请参见:WebBrowser 的 Navigated、DocumentCompleted 使用及区别

你前面那位网友看了:已有打开的与此命令相关联的 DataReader

▲▲▲嘿,欢迎转载传播本站原创文章,尽量保留来源噢。▲▲▲

文章评论
标题:必填
内容:
vkvi
vkvi

作者简介: vkvi,致力于 .NET Web 开发、移动开发的技术推广,在 .NET、SQL Server、Windows Server 等方面有深入研究和丰富经验,10 年间共计撰写文章 4000 余篇。 主持金融、国土、农业、电商等多个行业项目执行, 推行“技术提升生产力、人心决定成功率”的管理理论。 联系他