抓取网页遇到“403 已禁止”或者内容空白的解决办法

作者:vkvi 来源:千一网络(原创) 日期:2013-2-25

利用 WebClient、WebRequest 抓取网页时出现 403 禁止的错误,有些没报错,但抓下来是空白,有没有解决办法呢?

这是由于服务器或防火墙做了一定的限制,常见的限制是限制 UserAgent,由于抓取代码没有指定 UserAgent,就限制到了。

终极解决办法是:利用模拟浏览器抓取,秒杀一切限制,那就是使用 WebBrowser 控件,并处理 DocumentCompleted 事件。

具体技术请参见:WebBrowser 的 Navigated、DocumentCompleted 使用及区别

你前面那位网友看了:QQ 玫瑰小镇嫁接、强力杀虫剂玩法

▲▲▲嘿,欢迎转载传播本站原创文章,尽量保留来源噢。▲▲▲

文章评论
赞助商们