linux curl

everyday:linux curl

[TOC]

功能说明

  • curl 是一个功能强大的网络工具,能够通过 http、ftp 等方式下载文件,也能够上传文件.类似的工具还有wget。
  • curl 使用了libcurl库来实现,此库常用在C程序中,用来处理HTTP请求,curlpp 是 libcurl的一个C++封装,这几个东西可以用在抓取网页、网络监控等方面的开发,而 curl 命令可以帮助来解决开发过程中遇到的问题。

命令详解

  1. 命令格式

    curl [参数] [URL地址]

  2. 命令功能

通过 http、ftp 等方式下载文件,也能够上传文件,其实 curl 远不止这些功能。

  1. 命令参数
    -A 随意指定自己这次访问所宣称的自己的浏览器信息
    -b/--cookie <name=string/file> cookie字符串或文件读取位置,使用option来把上次的cookie信息追加到http request里面去
    -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
    -C/--continue-at <offset>  断点续转
    -d/--data <data>   HTTP POST方式传送数据
    -D/--dump-header <file> 把header信息写入到该文件中
    -F/--form <name=content> 模拟http表单提交数据
    -v/--verbose 小写的v参数,用于打印更多信息,包括发送的请求信息,这在调试脚本是特别有用。
    -m/--max-time <seconds> 指定处理的最大时长
    -H/--header <header> 指定请求头参数
    -s/--slient 减少输出的信息,比如进度
    --connect-timeout <seconds> 指定尝试连接的最大时长
    -x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口,端口默认为1080
    -T/--upload-file <file> 指定上传文件路径
    -o/--output <file> 指定输出文件名称
    --retry <num> 指定重试次数
    -e/--referer <URL> 指定引用地址
    -I/--head 仅返回头部信息,使用HEAD请求
    -u/--user <user[:password]> 设置服务器的用户和密码
    -O 按照服务器上的文件名,自动存在本地
    -r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围
    -T/--upload-file <file> 上传文件
  1. 举例
    • eg1 抓取页面内容到一个文件中
    // 将百度首页内容抓到 home.html 中
    curl -o home.html http://baidu.com
    // 由于A/B下的文件名都是001,002...,201,下载下来的文件重名,这样,自定义出来下载下来的文件名,就变成了这样:原来: A/001.JPG —-> 下载后: 001_A.JPG 原来: B/001.JPG ---> 下载后: 001_B.JPG
    curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG
+ eg2 用-O(大写的),后面的url要具体到某个文件,不然抓不下来。还可以用正则来抓取东西
    curl -O http://www.baidu.com/img/bdlogo.gif
    // 用正则下载screen1.jpg~screen10.jpg
    curl -O  http://XXXXX/screen[1-10].JPG
+ eg3 模拟表单信息,模拟登录,保存cookie信息
    curl -c ./cookie_c.txt -F log=aaa -f pwd=*** http://www.XXXX.com/wp-login.php
+ eg4 模拟表单信息,模拟登录,保存头信息
    // -c(小写)产生的cookie和-D里面的cookie是不一样的
    curl -D ./cookie_D.txt -F log=aaa -f pwd=*** http://www.XXXX.com/wp-login.php
+ eg5 使用cookie文件
    curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin
+ eg6 断点续传,-C(大写)
    curl -C -O http://www.baidu.com/img/bdlogo.gif
+ eg7 传送数据,最好用登录页面测试,因为你传值过去后,curl回抓数据,你可以看到你传值有没有成功
    curl -d log=aaa http://www.XXXX.com/wp-login.php
+ eg8 显示抓取错误 `curl -f url`
    curl -f http://www.XXXX.com/asdf
+ eg9 伪造来源地址,有的网站会判断,请求来源地址,防止盗链
    curl -e http://localhost http://www.XXXX.com/wp-login.php
+ eg10 当经常用curl去搞人家东西的时候,人家会把你的IP给屏蔽掉的,这个时候,我们可以用代理
    curl -x 24.10.28.84:32779 -o home.html http://www.XXXX.com
+ eg11 比较大的东西,我们可以分段下载
    curl -r 0-100 -o img.part1 http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
    curl -r 100-200 -o img.part2 http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
    curl -r 200- -o img.part3 http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
    ls | grep part | xargs du -sh
    cat image.part* > img.jpg
+ eg12 不显示下载进度信息 `curl -s`
    curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif
+ eg13 显示下载进度条 `curl -0`
    // 以http1.0协议请求
    curl -0 http://www.baidu.com/img/bdlogo.gif
+ eg14 通过 ftp 下载文件
    curl -u 用户名:密码 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css
    curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css
    // ftp 上传
    curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/
+ eg15 模拟浏览器头
    curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.www.baidu.com
+ eg16 HTTP method: `PUT`、`GET`、`POST`
    // HTTP PUT method
    curl -T file.txt http://cgi2.tky.3web.ne.jp/~zz/abc.cgi
    // http提交一个表单,比较常用的是POST模式和GET模式
    // GET模式什么option都不用,只需要把变量写在url里面就可以了
    curl http://www.yahoo.com/login.cgi?user=nick&password=12345
    // POST模式的option则是 -d
    curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi

    # 一点需要注意的是,POST模式下的文件上的文件上传,比如
    <form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
        <input type=file name=upload>
        <input type=submit name=nick value="go">
    </form>
    这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法:
    curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi
> 到底该用GET模式还是POST模式,要看对面服务器的程序设定。

推荐阅读更多精彩内容

  • http://www.cnblogs.com/gbyukg/p/3326825.html 指令:curl 在lin...
    点点渔火阅读 198评论 0 1
  • 一、什么是CURL? cURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、...
    伊Summer阅读 593评论 0 4
  • 欢迎访问我的个人博客网站:http://www.yanmin99.com/ 一、curl介绍在Linux中curl...
    IT教程阅读 339评论 0 0
  • 原文地址:PHPcURL库函数抓取页面内容(转)作者:巴克 cURL是一个利用URL语法规定来传输文件和数据的工具...
    司马东阳阅读 670评论 0 3
  • cURL是一个利用URL语法规定来传输文件和数据的工具,支持很多协议和选项,如HTTP、FTP、TELNET等,能...
    司马东阳阅读 854评论 0 6