在利用python对网页进行多次快速爬取的时候,访问次数过于频繁,做事器不会考虑User-Agent的信息,会直接把你视为爬虫,从而过滤掉,谢绝你的访问,在这种时候就须要设置代理,我们可以给proxies属性设置一个代理的IP地址,代码如下:
<?php // 要访问的目标页面 $url = \"大众http://httpbin.org/ip\"大众; $urls = \"大众https://httpbin.org/ip\公众; // 代理做事器 define(\"大众PROXY_SERVER\公众, \"大众tcp://t.16yun.cn:31111\公众); // 隧道身份信息 define(\"大众PROXY_USER\"大众, \"大众16YUN123\公众); define(\"大众PROXY_PASS\"大众, \"大众123456\"大众); $proxyAuth = base64_encode(PROXY_USER . \公众:\"大众 . PROXY_PASS); // 设置 Proxy tunnel $tunnel = rand(1,10000); $headers = implode(\公众\r\n\"大众, [ \公众Proxy-Authorization: Basic {$proxyAuth}\公众, \公众Proxy-Tunnel: ${tunnel}\公众, ]); $sniServer = parse_url($urls, PHP_URL_HOST); $options = [ \"大众http\"大众 => [ \"大众proxy\公众 => PROXY_SERVER, \"大众header\"大众 => $headers, \公众method\公众 => \公众GET\公众, 'request_fulluri' => true, ], 'ssl' => array( 'SNI_enabled' => true, // Disable SNI for https over http proxies 'SNI_server_name' => $sniServer ) ]; print($url); $context = stream_context_create($options); $result = file_get_contents($url, false, $context); var_dump($result); // 访问 HTTPS 页面 print($urls); $context = stream_context_create($options); $result = file_get_contents($urls, false, $context); var_dump($result);?>
在代码中的目标网站是检测代理是否访问成功，如果访问成功就会返回代理ip，如果代理返回
非常有可能是代理的配置没有精确，那就须要对配置的代理信息进行检讨。
每家代理的测试效果都会有不同，以实际目标网站实际测试为准，这里推介比较好的代理亿牛云。
伙伴们看了这篇Python学习教程可以自己动手操练一下！
有哪些疑问的地方可以留言哦！
