使用python提取html文件中的特定数据的实现代码

584次阅读  |  发布于5年以前

例如 具有如下结构的html文件

复制代码 代码如下:

感兴趣内容1

感兴趣内容2

……

感兴趣内容n

内容1

内容2

……

内容n

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢,也就是,处于

复制代码 代码如下:

这里的内容

还有这里

……

以及这里的内容

思路如下

  1. 遇到
    设置标记flag = True
  2. 遇到
后 设置标记flag = False
  • 当flag 为True时遇到

    设置标记getdata = True

  • 遇到

    且getdata = True,设置getdata = False
  • python为我们提供了SGMLParser类,SGMLParser 将 HTML 分析成 8 类数据[1],然后对每一类调用单独的方法:使用时只需继承SGMLParser 类,并编写页面信息的处理函数。

    可用的处理函数如下


    是一个开始一个块的 HTML 标记,象 ,, 或

     等,或是一个独一的标记,象 
    等。当它找到一个开始标记 tagname,SGMLParser 将查找名为 _start_tagname_ 或 _dotagname 的方法。例如,当它找到一个
     标记,它将查找一个 start_pre 或 do_pre 的方法。如果找到了,SGMLParser 会使用这个标记的属性列表来调用这个方法;否则,它用这个标记的名字和属性列表来调用 _unknownstarttag 方法。 

    是结束一个块的 HTML 标记,象 ,, 或 等。当找到一个结束标记时,SGMLParser 将查找名为_ endtagname 的方法。如果找到,SGMLParser 调用这个方法,否则它使用标记的名字来调用 _unknownendtag

    用字符的十进制或等同的十六进制来表示的转义字符,象 。当找到,SGMLParser 使用十进制或等同的十六进制字符文本来调用_ handlecharref

    HTML 实体,象 (C)。当找到,SGMLParser 使用 HTML 实体的名字来调用 _handleentityref

    HTML 注释, 包括在 之间。当找到,SGMLParser 用注释内容来调用 _handlecomment

    HTML 处理指令,包括在 <? ... > 之间。当找到,SGMLParser 用处理指令内容来调用 _handlepi

    HTML 声明,如 DOCTYPE,包括在 <! ... >之间。当找到,SGMLParser 用声明内容来调用 _handledecl

    文本块。不满足其它 7 种类别的任何东西。当找到,SGMLParser 用文本来调用 _handledata

    综上,的到如下代码

    复制代码 代码如下:

    from sgmllib import SGMLParser
    class GetIdList(SGMLParser):
    def reset(self):
    self.IDlist = []
    self.flag = False
    self.getdata = False
    SGMLParser.reset(self)

    def start_div(self, attrs):  
        for k,v in attrs:#遍历div的所有属性以及其值  
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>  
                self.flag = True  
                return
    
    def end_div(self):#遇到</div>  

    self.flag = False

    def start_p(self, attrs):  
        if self.flag == False:  
            return  
        self.getdata = True  

    Copyright© 2013-2020

    All Rights Reserved 京ICP备2023019179号-8