curl常用命令详解：

      1.查看网页源代码  

         curl + 网址

      2.将这个网页保存下来，使用-o参数  

         curl -o [文件名] + 网址

      3.自动跳转   

          curl -L 新的网址

      4.显示http请求头信息连同网页代码一起   

          curl -i 网址

      5.显示通信过程-v(显示一次http通信的整个过程，包括端口连接和http request头信息)   

         curl -v 网址

      6.文件上传，假定文件上传的表单可以用curl这样上传文件   

         curl --form upload=@localfilename --form press=OK 网址

      7.Referer字段，在请求头信息中添加referer字段   

         curl --referer 添加的网址 访问的网址

      8.User Agent字段，表示客户端的设备信息   

         curl --user-agent "[User Agent]"

      9.让curl发送cookie   

         curl --cookie "name=xxx" 网址 或 curl -c ./cookie.txt 网址

     10.增加头信息，在http request之中自行增加一个头信息   

          curl --header "xxx:xxxxx" 网址

     11.http认证，有些网址需要http认证   

          curl --user name:password 网址

---

 

wget用法与参数（用于从网站上*下载文件）：

     1.下载整个http或ftp站点：

wget 网址

参数：-x 会强制建立服务器上一模一样的目录

           -nd 服务器上下载的所有内容都会加到本地当前目录

  -r 不常用，下载网站上所有目录和文件，下载整个网站

  -m 可制作镜像站点

     2.断点续传：

        当文件特别大或网络特别慢时

        参数：-c 自动断点续传

                   -t 重试次数 如：-t 100（重试一百次）

                   -T 超时等待时间 如：-T120 (等待120s连接不上就算超时)

     3.批量下载：

        生成一个文件，把每个文件的url写一行，然后

        wget -i download.txt

     4.选择性下载：

        指定只下载一类文件，如：

        wget -m --reject=gif 网址  (拒绝下载的文件类型)

                       --accept=xxx   （可以接受的文件类型）

     5.密码和认证

        wget只能处理利用用户名/密码限制访问的网站

        --http-user=用户

        --http-password=密码

     6.利用代理服务器进行下载

        需要在当前用户的目录下创建一个.wgetrc文件

        文件中设置代理服务器：http-proxy=111.111.111.111:8080

                                                ftp-proxy=111.111.111.111:8080

        如果需要密码则见以上第5点

        使用或关闭代理 --proxy=on/off