python提取页面内url列表的方法

本文实例讲述了python提取页面内url列表的方法。分享给大家供大家参考。具体实现方法如下：

    from bs4 import BeautifulSoup
    import time,re,urllib2
    t=time.time()
    websiteurls={}
    def scanpage(url):
      websiteurl=url
      t=time.time()
      n=0
      html=urllib2.urlopen(websiteurl).read()
      soup=BeautifulSoup(html)
      pageurls=[]
      Upageurls={}
      pageurls=soup.find_all("a",href=True)
      for links in pageurls:
        if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
          Upageurls[links.get("href")]=0
      for links in Upageurls.keys():
        try:
          urllib2.urlopen(links).getcode()
        except:
          print "connect failed"
        else:
          t2=time.time()
          Upageurls[links]=urllib2.urlopen(links).getcode()
          print n,
          print links,
          print Upageurls[links]
          t1=time.time()
          print t1-t2
        n+=1
      print ("total is "+repr(n)+" links")
      print time.time()-t
    scanpage("http://news.163.com/")

希望本文所述对大家的Python程序设计有所帮助。