Python实现HTTP协议下的文件下载方法总结

本文介绍了几种常用的python下载文件的方法，具体使用到了htttplib2，urllib等包，希望对大家有帮忙。

1.简单文件下载

使用htttplib2，具体代码如下：

    h = httplib2.Http()      
    url = 'http://www.jb51.net/ip.zip'  
    resp, content = h.request(url)  

    if resp['status'] == '200':  
      with open(filename, 'wb') as f:  
        f.write(content)  

使用urllib，具体代码如下：

    filename = urllib.unquote(url).decode('utf8').split('/')[-1]  
    urllib.urlretrieve(url, filename) 

2.较大文件下载

    def down_file():  
      url = "http://www.jb51.net/download.abc"  

      file_name = url.split('/')[-1]  
      u = urllib2.urlopen(url)  
      f = open(file_name, 'wb')  
      meta = u.info()  
      file_size = int(meta.getheaders("Content-Length")[0])  

      file_size_dl = 0  
      block_sz = 8192  
      while True:  
        buffer = u.read(block_sz)  
        if not buffer:  
          break  

        file_size_dl += len(buffer)  
        f.write(buffer)  
      f.close()  

在获取下载文件名的过程中，可以解析url，代码如下：

    scheme, netloc, path, query, fragment = urlparse.urlsplit(url)  
    filename = os.path.basename(path)  
    if not filename:  
      filename = 'downloaded.file'  

3.端点续传下载
在使用HTTP协议进行下载的时候只需要在头上设置一下Range的范围就可以进行断点续传下载，当然，首先服务器需要支持断点续传。

利用Python的urllib2模块完成断点续传下载的例子：

    #!/usr/bin/python 
    # -*- coding: UTF-8 -* 
    ''' 
    Created on 2013-04-15 
    Created by RobinTang 
    A demo for Resuming Transfer 
    ''' 
    import urllib2 

    req = urllib2.Request('http://www.python.org/') 
    req.add_header('Range', 'bytes=0-20') # set the range, from 0byte to 19byte, 20bytes len 
    res = urllib2.urlopen(req) 

    data = res.read() 

    print data 
    print '---------' 
    print 'len:%d'%len(data)