首页 » SEO优化 » php抓取消息技巧_PHP运用curl抓撤消息数据

php抓取消息技巧_PHP运用curl抓撤消息数据

访客 2024-11-02 0

扫一扫用手机浏览

文章目录 [+]

这种有规律的新闻列表 ,不过新闻的详情内容须要再次单独的去抓取,代码: $url = http://xxxx; // https://xxxx要抓取的链接 新闻列表 $url=str_replace('&','&',$url); header("content-type:text/html;charset=utf-8"); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);//撤除https里面的s curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//关闭直接输出 $ html_data =curl_exec($ch); curl_close($ch);//关闭会话这里要确认是否抓取到了页面的内容 可以打印出来看一下如果没有抓取到 要把稳一下 页面的编码格式 利用iconv()转换一下内容编码 // $html_data=iconv('gbk', 'utf-8',$html_data); $regular='#<h1id="activity-name">(.?)</h1>(.?)<spanid="post-date">(.?)<span>(.?)</span>(.?)<div class="page-content">(.?)<div class="text">(.?)</div>#is'; preg_match_all($regular,$html_data,$connect);//进行正规匹配取得自己要的内容 //循环取出须要的内容数组 foreach($connect as $k =>$var){ if($k==2 || $k==3|| $k==5 || $k==7){ $b= array_merge(array_filter($connect[$k])); $array[]=$b; } }得到数据数组后 就可以根据需求去添加数据了内容详情须要抓取就获取到新闻内容页的链接 同样利用curl去获取信息要把稳的便是正则表达式里面的html须要跟页面的格式一样, 你可以去原网站点右键查看源代码,查看格式, 把要抓取的html复制下来 ,如果还是有不能抓取的内容可能便是格式禁绝确 有可能有的地方是少空格或者多空格, 这个时候直接在标签之间(.?)。
也可以 一点一点的匹配 看详细是哪个部分没有匹配到。
天隆网络为客户供应网站开拓定制服务,网站制作居于LINUX+PHP+MYSQL框架,欢迎客户咨询我们建站热线18093723998

php抓取消息技巧_PHP运用curl抓撤消息数据

php抓取消息技巧_PHP运用curl抓撤消息数据
(图片来自网络侵删)
标签:

相关文章

R代码,数据科学领域的基石与未来趋势

随着大数据时代的到来,数据科学已成为我国乃至全球科技发展的重要领域。R语言作为数据科学领域的基石之一,凭借其强大的数据处理、分析和...

SEO优化 2024-12-23 阅读0 评论0

RPC协议,构建分布式系统中的桥梁

在信息技术高速发展的今天,分布式系统已成为企业架构的重要组成部分。而RPC(远程过程调用)协议作为分布式系统中不可或缺的一环,扮演...

SEO优化 2024-12-23 阅读0 评论0

RGB屏幕协议,引领视觉盛宴的幕后英雄

随着科技的飞速发展,显示屏技术日新月异,其中RGB屏幕协议作为一项重要的技术标准,在显示器领域发挥着举足轻重的作用。本文将从RGB...

SEO优化 2024-12-23 阅读0 评论0