关于curl的详细先容和各种参数很多很杂，在此不做赘述，请自己搜索或者查看官方文档。
大略访问
最大略的用法便是在命令行下输入curl 后面跟个网站Url就可以获取页面信息了。当然由于获取的是html文件的内容，不是我们浏览器常见的网站的展现形式(命令行浏览器有w3m可以更好解析html内容)，有很多Html标签穿插在内容之间。
咱们先访问个有趣的网站。（不能直接帖文本网址，会被头条机器人认为是网站广告）
利用curl下载
curl作为一个支持多协议的工具，可不可代替wget做下载呢？
当然，完备可以用来替代wget做文件下载，而且有不少的上风。下面就实例演示下：
下载载文档我们以头条上一片文章的配图为例子，先容如何下载图片。先通过浏览器访问，图片显示为：
我们永curl下载，紧张加-o/O参数:
-o表示指定下载后文件的名称
-O表示下载后的文件名和做事真个文件名一样。
目录下下载到的文件信息和浏览器显示效果的文件大小差不多，该当一样，表示下载成功，如下图。
默认是直接输出信息到终真个，如果是图片文件的话，由于是二进制不支持显示，就会乱码。
批量下载
把稳curl支持对url做模式匹配，这样一个url就可以表示多个文件，可以一次性下载多个文件：
上图中的有个缺点，大家创造问题没有？
由于URL是演示须要随意杜撰的以是都没下载到文件，文件大小很小为空。
对多个文件我们也能通过-o指定自己的须要名字，不过须要用一个变量#1来表示后面模式的中的参数，如下图所示：
结果是，这样就可以个性化命名下载的文件了。
用这招可以一下子把所有序列化特色的文件都下载来了，是不是很方便。对了，这才是它比一样平常浏览器厉害的地方，可以用来取代人，自动做重复性的事情。
curl还支持很多的下载功能，比如断点续传、分段部分下载等等。更多技巧请看官方的文档或者去搜索，该当都找得到，在此就不多说了。
用curl做安全渗透获取http头搜集做事器信息通过curl快速取得做事器版本信息。我们可以用curl -I url取得Web做事的Http头信息，做为信息搜集用，为进一步渗透做准备。例如，我们看看今日头条旗下的产品悟空问答的首页：
我们看到https头中解释悟空用的做事器是nginx变种淘宝的Tengine，但是屏蔽了版本信息（安全事情做的还是挺到位的）。
Via段信息可能是某个CDN厂商信息（
Timing-Allow-Origin: 表示许可任何资源都可以做事器看到的计时信息。
我们还看到，我们用curl 访问时，返回了 403 Forbidden，解释做事器对客户端限定了。接着下一节我们将先容如何通过设定User Agent信息得到做事器的信赖。
通过设置User Agent 和Porxy代理打破做事限定上一步骤中我们用curl直接被悟空做事给403谢绝了，我们预测是做事器根据User Agent给禁止掉了。这时候该怎么办？好办，我们给它一个浏览器的User Agent信息就好了。
设置User Agent信息很大略，用curl -A \"大众XXX\"大众 ，XXX表示User Agent信息就行。比如对悟空首页，我们给它喂个 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)，伪装成IE 6，悟空小姐姐立马就驯服了。
妥妥的，200 OK。
有时候由于你机器访问太频繁，比如爬虫大批量爬数据时候，你的IP可能被做事器探测到访问不正常，当成恶意攻击，或不正常访问被防火墙，WAF等给封掉。这时候就须要一个武器Porxy代理来隐蔽到我们的实际地址，骗取做事器的信赖。
代理设置也大略，给curl加个-x参数，随后紧跟代理做事器地址即可：
当然问题是你没有代理做事器，代理做事器地址怎么找，我只说一句\"大众诸事不宜，找度娘\公众。
还有curl结果也能合营shell管道和其他神器对获取的信息进行处理，比如grep：
以上是我们对抓的悟空首页的内容最筛选，搜索包含\"大众悟空\公众字串的行。对信息处理然后入库，这是做一个爬虫获取信息的一个必须步骤，业界有个专门名字叫etl数据洗濯，没有这个过程获取到都将是垃圾。
溘然创造篇幅有点长了，那就分开几篇发把，本日这篇就到这里，先安歇睡觉把! 虫虫来日诰日见
