文章编号：１００７—１４２３（２０１７）０４～００２７—０４ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００７—１４２３．２０１７．０４．００６ 面向开源社区的Ｗｅｂ数据抽取方法研究 张方，尹刚，王涛，余跃 （国防科学技术大学计算机学院，长沙４１００７３） 摘要： 由协同开发社区和知识分享社区所组成的开源社区中汇集海量的开源数据资源。如何从数量众多。页面结构各异的 开源社区中准确、高效地获取这些数据是对开源数据资源进行全面分析．深度关联的前提。阐述面向开源社区的Ｗｅｂ 数据抽取方法研究过程．实现对开源社区中Ｗｅｂ数据的精确抽取 关键词： 开源社区；Ｗｅｂ数据抽取；协同开发社区：知识共享社区 ０ 引言 面向开源社区的Ｗｅｂ数据抽取是指从各类开源 社区的Ｗｅｂ页面中抽取出我们所感兴趣的数据．并将 其以结构化的格式导人数据库中供进一步分析处理的 现对开源社区用户所感兴趣的开源数据的精确抽取． 因此．开展面向开源社区的Ｗｅｂ数据抽取方法的相关 研究工作迫在眉睫 本文着力研究面向开源社区的 Ｗｅｂ数据抽取技术．目标是构建一个抽取准确率高。并 能够适应不同开源社区站点的通用、健壮的Ｗｅｂ数据 抽取框架．从而实现对开源社区中众多的协同开发社 过程。通常情况下，在开源社区中我们获取信息的方法 是通过页面浏览和关键词搜索 然而．页面浏览和搜索 的结果都是粗粒度的网页．我们虽然能查看具体内容． 但却无法精准地获得网页中自己所感兴趣的数据 此 区和知识共享社区所包含的海量的开源数据资源的精 确抽取 外．即使我们获得了这些网页．也无法直接进行数据分 析和应用 如何从源自不同开源社区站点且表现形式 复杂．结构各异的Ｗｅｂ页面中准确的抽取有价值的数 ２ 主要研究内容 本文研究的是对开源社区中海量开源数据资源进 行有效抽取的方法．在此过程中主要涉及以下几个方 据．并将其集成并转化为结构和语义清晰的格式．存储 到数据库中．以满足后续数据的深加工需求进而形成 开源资源知识库已经成为一个亟待解决的问题 面的问题：如何构建一个适用于不同开源站点的通用 的、健壮的Ｗｅｂ数据抽取框架：如何表达待抽取数据 元素的抽取规则：对于抽取得到的数据．如何进行有效 的验证和处理 １ 研究意义及研究目标 近年来．互联网技术的迅速发展聚合了分散在全 球各地的开发人员．促使国内外开源社区蓬勃发展．开 源也成为了软件开发的趋势．各个开源社区互相关联 形成了一个完整的开源生态系统 在这个生态系统中． 开源数据资源规模巨大、增长迅速且分布广泛。为了能 够更加高效地利用开源社区中的数据资源．首先要实 ２．１构建面向开源社区的Ｗｅｂ数据抽取框架 开源社区中众多的开源社区站点在网页结构和内 容上都呈现出很大的差异．面向开源社区的Ｗｅｂ数据 抽取框架对大量不同开源社区站点的通用性．即对不 同开源站点的适应性和健壮性是面向开源社区的Ｗｅｂ 数据抽取方法能够得到大规模应用的前提 田 件笛加 ９ｎ１７ｎ 卜 囝 ２．２抽取规则的制定 抽取规则的制定是对面向开源社区的Ｗｅｂ数据 抽取的核心．在对ＨＴＭＬ文件中的页面元素进行抽取 时．我们是通过有效的抽取规则实现对文件中待抽取 页面元素的准确导航、定位和抽取的 ２．３数据验证和处理 为了保证数据抽取的质量．尽量减少“脏数据”．抽 取到的数据还需要完成数据验证和处理的过程 在这 个过程中首先要确保的是抽取数据本身的正确性和完 整性．其次当从多个开源社区站点抽取并集成数据时． 不同的站点对于相同数据可能采取不同的命名规范和 不同的计量单位．因此需要将数据命名和和数据格式 统一化然后映射到一个标准数据库表中．从而改善抽 取数据的质量 ｌ Ｗｅｂ数据抽取框架业务流 罔 在框架搭建的过程中复用了一些成熟的开源软件 技术，例如ＭＹＢａｔｉｓｔ和ｘｓｏｕｐ，提高了开发的效率 ＭｙＢａｔｉｓ是一个支持普通ＳＱＬ金询．存储过程和高级 映射的优秀持久层框架．它消除了ＪＬ乎所有的ＪＤＢＣ代 码和参数的手工设置以及结果集的检索 Ｘ㈨ｕＤ是基于 ３ 面向开源社区的Ｗｅｂ数据抽取的技术路 线及实施方案 ３．１数据采集 开源社区既包含如ＧｉｔＨｕｂ．ＯｐｅｎＨｕｂ．ＳｏｕｒｃｅＦｏｒｇｅ Ｊｓｏｕｐ开发的ＨＴＭＬ抽取器．提供了ＸＰａｔｈ支持．Ｘｓｏｕｐ 具有解析时间和抽取时间快．ＸＰａｔｈ解析错误提示伞而 的优点。 等协同开发社区．又包含如ＳｔａｃｋｏｖｅｒｆｌＯＷ．ＥＳＤＮ，Ｓｌａｓｈ— ｄｏｔ等知识共享社区．在对这些社区中的开源数据资源 进行抽取之前．首先我们需要通过网络爬虫来爬取这 些开源社区的Ｗｅｂ页面．并以ＨＴＭＬ文件的形式存入 ３．３ ＸＰａｔｈ定位路径的选取 抽取规则是对应于待抽取数据的一个位置路径表 达式．通过这个路径表达式我们可以在ＨＴＭＬ贞面中 定位到待抽取数据对其进行抽取．．通过实验对比。我们 源数据库中．作为待抽取的原始数据。 ３．２ Ｗｅｂ数据抽取框架业务流程 经过实验研究．我们确定了面向开源社【）（的Ｗｅｂ 选定ＸＰａ【ｈ定位路径作为Ｗｅｂ数据的抽取规则 ＸＰａｔｈ是可扩展路径语言ＸＭＬ Ｐａｔｈ Ｌａｎｇｕａｇｅ的简称， 它是一个Ｗ３Ｃ标准．主要用于标识ＸＭＬ文档的各个 部分．它将一个ＸＭＬ文档看作一棵树．我ｆ『】可以称之 数据抽取框架的业务流程：首先。页面下载模块从目标 站点源数据库中下载原始数据．即待抽取的ＨＴＭＬ网 页．然后数据抽取模块根据待抽取页面的抽取规则对 ＨＴＭＬ网页进行抽取．抽取到的数据经数据持久化模 块存储到数据库中．同时抽取出错的页面由错误处理 模块转存到抽取失败数据库中 该抽取框架具备通用 性和可移植性的特点 一方面能够实现对形态各异的 不同开源社区的数据抽取．另一方面该抽取框架提供 了一个通用的抽取模板．当对一个新的开源社区进行 抽取时．能够复用其他社区抽取程序的大部分代码，只 需要改动抽取模板中的部分抽取规则和变量名称即 可 为“节点树” ＸＭＬ文档中的元素、属性、文本、注释、处 理指令、命名空间等都是这棵树的节点．分别称为元素 节点、属性节点、文本节点、注释节点、处理指令节点、 命名空间节点 ＸＰａｔｈ可以使用简明的、基于字符串的 语法对ＸＭＬ文档的各个组成部分进行定位．这种语法 就是位置路径表达式．通过ＸＰａｔｈ．我们可以精确地查 找到ＸＭＬ元素节点的位置 ３．４数据一致性与完整性验证 为了保证数据抽取的质量，抽取到的数据还需要 经过进一步的验证和处理 通过抽取规则的定位从不 同开源社区抽取到的数据信息．若其数据格式不符合 ＠ 现代计算机２０１７．０２上 研究与开发 ／ 我们的存储格式规范．必须处理成规范的格式．才能存 ４ 结语 通过对面向开源社区的Ｗｅｂ数据抽取方法研究． 我们构建了一个通用的．健壮的．可移植性良好的Ｗｅｂ 数据抽取框架．实现了对不同开源社区中开源数据资 源的准确抽取．为下一步开展基于开源社区中海量 入到数据库中 另外一个开源社区的待抽取页面中通 常含有众多的待抽取元素．例如在协同开发社区 ＯｐｅｎＨｕｂ中需要抽取的数据项有：项目源码、项目名 称、项目描述、项目标签、相似项目、活跃时间、最后提 交时间等几十项．对于抽取结果的完整性必须加以验 证 我们在面向开源社区的Ｗｅｂ数据抽取框架中集成 Ｗｅｂ数据的全面分析．科学评估．深度关联等相关研究 工作提供了强有力的数据支撑 了数据验证模块．实现了对抽取数据的一致性与完整 性的验证和处理 参考文献： 【１】吴共庆．基于标签路径特征融合的在线Ｗｅｂ新闻内容抽取ｆＪ］．软件学报，２０１６，（３）：７１４—７２７． ［２】丁晓梅．Ｗｅｂ信息抽取规则的设计和实现探讨［Ｊ］．教育，２０１５，（３３）：２４７． ［３１Ｗ Ｗｅｉ，Ｓ Ｓｈｉ，Ｙ Ｌｉｕ，Ｈ Ｗａｎｇ．Ｅｘｔｒａｃｔｉｏｎ Ｒｕｌｅ Ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｉｎｔｅｒｇｒａｔｉｏｎ．Ｗｅｂ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ＆ Ａｐｐｌｉｃａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，２０１３：６５—７０． 『４１Ｙ Ｋｉｍ，Ｊ Ｐａｒｋ，Ｔ Ｋｉｍ，Ｊ Ｃｈｏｉ．Ｗｅｂ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ ｂｙ ＨＴＭＬ Ｔｒｅｅ Ｅｄｉｔ Ｄｉｓｔａｎｃｅ Ｍａｔｃｈｉｎｇ．ＩＣＣＩＴ，２００７：２４５５—２４６０． ［５］Ｆｅｉ Ｓｕｎ，Ｄａｎ－ｄａｎ Ｓｏｎｇ，Ｌｅ－ｊｉａｎ Ｌｉａｏ．ＤＯＭ Ｂａｓｅｄ Ｃｏｎｔｅｎｔ Ｅｘｔｒａｃｔｉｏｎ Ｖｉａ Ｔｅｘｔ Ｄｅｎｓｉｔｙ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ３４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＡＣＭ ＳＩ－ ＧＩＲ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａ１．２０１ １：２４５—２５４． ［６］Ｌ Ｓ Ｚｈａｎｇ，Ｐ Ｓｈｉ．Ａｎ Ｅｆｆｅｃｔｉｖｅ Ｗｒａｐｐｅｒ ｆｏｒ Ｗｅｂ Ｄａｔａ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｕｍｐｕｔｅｒ Ｓｃｉ— ｅｎｅｅ＆Ｅｄｕｃａｔｉｏｎ．２００９：１２４５－１２５０． 【７］Ｓｕｈｉｔ Ｇｕｐｔａ，Ｇａｉｌ Ｋａｉｓｅｒ，Ｄａｖｉｄ Ｎｅｉｓｔａｄｔ，Ｐｅｔｅｒ Ｇｒｉｍｍ．ＤＯＭ－Ｂａｓｅｄ Ｃｏｎｔｅｎｔ Ｅｘｔｒａｃｔｉｏｎ ｏｆ ＨＴＭＬ Ｄｏｃｕｍｅｎｔｓ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ．２０７—２１４． ［８】张丽娜，陈俊杰，赵丽欣．基于ＨＴＭＬＰａｒｓｅｒ的ＢＴ种子网页信息抽／Ｒ［Ｊ］．电脑开发及应用，１０１０，（０３）：５９—６１． ［９］隋玉航．基于ＷｅｂＨａｒｖｅｓｔ的中文财经新闻搜索引擎的设计与实现『Ｄ１．华中科技大学，２０１１． ［１０】欧健文，董守斌，蔡斌．模板化网页主题信息的提取方法．清华大学学报（自然科学版），２００５，４５（Ｓ１）：１７４３—１７４７． 作者简介： 张方（１９９０一），男，河南南阳人，硕士研究生。研究方向为数据挖掘 尹刚（１９７５一），男，博士，副研究员，研究方向为可信软件、分布式计算与信息安全 王涛（１９８４一），男，博士，助理研究员，研究方向为数据挖掘技术 余跃（１９８８一），男，博士。助理研究员，研究方向为软件工程 收稿日期：２０１６—１２一Ｏ１ 修稿日期：２０１７—０１—２０ （下转第３９页） 现代计算机 ２０１７．ｏ２上＠ Ａｐｐｌｉｃａｔｉｏｎ ａｎｄ Ｃｏｎｓｉｄｅｒａｔｉｏｎ ｏｆ Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｕｒｓｅｓ ｆｏｒ Ｏｕｔｓｔａｎｄｉｎｇ Ｅｎｇｉｎｅｅｒｓ Ｔｒａｉｎｉｎｇ ｗｉｔｈ Ｆｌｉｐｐｅｄ Ｃｌａｓｓｒｏｏｍ ＺＨＡＯ Ｙｉｎｇ，ＷＡＮＧ Ｇｕａｎ－ｊｕｎ，ＬＩＵ Ｂａｉ－ｌｏｎｇ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｍｉｎｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｘｕｚｈｏｕ ２２１ １ １６） Ａｂｓｔｒａｃｔ： Ｗｉｔｈ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ｒｅｌａｔｅｄ ｒｅｓｏｕｒｃｅｓ ｃｏｎｔｉｎｕｅ ｔｏ ｃｏｍｐｌｅｔｅ，ａｎｄ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ“Ｉｎｔｅｒｎｅｔ＋”，ｔｈｅｒｅ ａｒｅ ｎｅｗ ０ｐｐｏｒ— ｔｕｎｉｔｉｅｓ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｅｄｕｃａｔｉｏｎ，ｈｏｐｅｓ ａｎｄ ｃｈａｌｌｅｎｇｅｓ．Ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｃｏｕｒｓｅｓ ａｒｅ ｉｍｐｏｒｔａｎｔ ｐａｒｔ ｏｆ ｃｏｍｐｕｔｅｒ ｅｎｇｉｎｅｅｒ ｐｒｏｆｅｓｓｉｏｎ— ａｌ ｅｘｃｅｌｌｅｎｃｅ ｔｈｅｏｒｙ ｃｏｕｒｓｅ ｓｙｓｔｅｍ ａｎｄ ｐｒａｃｔｉｃａｌ ｃｏｕｒｓｅ ｓｙｓｔｅｍ．Ａｎａｌｙｚｅｓ ｔｈｅ ｔｅａｃｈｉｎｇ ｄｉｆｉｆｃｕｌｔｉｅｓ ａｎｄ ｔｈｅ ｆｅａｓｉｂｉｌｉｔｙ ｏｆ ｉｍｐｌｅｍｅｎｔｉｎｇ ｔｈｅ’’ ｌｆｉｐｐｅｄ ｃｌａｓｓｒｏｏｍ”ｔｅａｃｈｉｎｇ ｍｅｔｈｏｄ，ａｎｄ ｔｈｅｎ ｐｒｏｐｏｓｅｓ ｓｐｅｃｉｆｉｃ ｅｍｂｏｄｉｍｅｎｔｓ，ｗｈｉｃｈ ｉｎｃｌｕｄｅ ｐｒｅ—ｃｌａｓｓ ｐｒｅｐａｒａｔｉｏｎ，ｃｌａｓｓ ｄｉｓｃｕｓｓｉｏｎ，ａｎｄ ｏｔｈｅｒ ａｆｔｅｒ—ｓｃｈｏｏｌ ｓｕｍｍａｒｙ，ａｔ ｌａｓｔ，ａｎａｌｙｚｅｓ ｔｈｅ ｅｆｆｅｃｔ ｏｆ ｆｌｉｐｐｅｄ ｃｌａｓｓｒｏｏｍ ｔｅａｃｈｉｎｇ．Ｔｈｅ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ”ｆｌｉｐｐｅｄ ｃｌａｓｓｒｏｏｍ” ｔｅａｃｈｉｎｇ ｍｏｄｅ ｉｎ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｃｏｕｒｓｅｓ ｆｏｒ ｏｕｔｓｔａｎｄｉｎｇ ｅｎｇｉｎｅｅｒｓ ｔｒａｉｎｉｎｇ ｗｉｔｈ ｆｌｉｐｐｅｄ ｃｌａｓｓｒｏｏｍ ｈｅｌｐｓ ｔｏ ｅｎｈａｎｃｅ ｓｔｕｄｅｎｔｓ ａｕｔｏｎｏｍｏｕｓ ｌｅａｒｎｉｎｇ，ｔｅａｍｗｏｒｋ ａｗａｒｅｎｅｓｓ，ｔｒａｉｎｉｎｇ ｔｏ ｃｒｅａｔｅ ｉｎｎｏｖａｔｉｖｅ ａｂｉｌｉｔｙ，ｔｏ ａｄａｐｔ ｔｏ ｔｈｅ ｎｅｅｄｓ ｏｆ ｅｃｏｎｏｍｉｃ ａｎｄ ｓｏｃｉａｌ ｄｅ— ｖｅｌｏｐｍｅｎｔ ｏｆ ｈｉｇｈ－ｑｕａｌｉｔｙ ｔａｌｅｎｔ． Ｋｅｙｗｏｒｄｓ： Ｏｕｔｓｔａｎｄｉｎｇ Ｅｎｇｉｎｅｅｒｓ；Ｆｌｉｐｐｅｄ Ｃｌａｓｓｒｏｏｍ；Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｕｒｓｅｓ；Ｉｎｄｉｖｉｄｕａｌｉｚｅｄ Ｔｅａｃｈｉｎｇ （上接第２９页） Ｒｅｓｅａｒｃｈ ｏｎ ｔｈｅ Ｍｅｔｈｏｄ ｏｆ Ｗｅｂ Ｄａｔａ Ｅｘｔｒａｃｔｉｏｎ ｆｒＯｍ Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｍｕｎｉｔｉｅｓ ＺＨＡＮＧ Ｆａｎｇ，ＹＩＮ Ｇａｎｇ，ＷＡＮＧ Ｔａｏ，ＹＵ Ｙｕｅ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｆｅｎｓｅ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ ４１００７３） Ａｂｓｔｒａｃｔ： Ｏｐｅｎ ｓｏｕｒｌｃｅ ｃｏｍｍｕｎｉｔｙ，ｗｈｉｃｈ ｃｏｎｓｉｓｔｓ ｏｆ ｃｏｌｌａｂｏｒａｔｉｖｅ ｄｅｖｅｌｏｐｍｅｎｔ ｃｏｍｍｕｎｉｔｙ ａｎｄ ｋｎｏｗｌｅｄｇｅ ｓｈａｒｉｎｇ ｃｏｍｍｕｎｉｔｙ，ａｓｓｅｍｂｌｅｓ ａ ｈｕｇｅ ａｍｏｕｎｔ ｏｆ ｏｐｅｎ—ｓｏｕｒｃｅ ｄａｔａ ｒｅｓｏｕｒｃｅｓ ｔｏｇｅｔｈｅｒ．Ｈｏｗ ｔｏ ｏｂｔａｉｎ ｔｈｅｓｅ ｄａｔａ ｐｒｅｃｉｓｅｌｙ ａｎｄ ｅｆｉｃｉｆｅｎｔｌｙ ｆｒｏｍ ｎｕｍｅｒｏｕｓ ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｍｕｎｉ— ｔｉｅｓ ｗｉｔｈ ｖａｒｉｏｕｓ ｐａｇｅ ｓｔｒｕｃｔｕｒｅｓ ｉｓ ａ ｐｒｅｒｅｑｕｉｓｉｔｅ ｆｏｒ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ａｎａｌｙｓｉｓ ａｎｄ ｄｅｅｐ ｃｏｒｒｅｌａｔｉｏｎ．Ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｒｅｓｅａｒｃｈ ｐｒｏｃｅｓｓ ｏｆ ｗｅｂ ｄａｔａ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ ａｎｄ ａｃｈｉｅｖｅｓ ｔｈｅ ａｃｃｕｒａｔｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｗｅｂ ｄａｔａ ｆｒｏｍ ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｍｕｎｉｔｉｅｓ． Ｋｅｙｗｏｒｄｓ： ０Ｄｅｎ Ｓｏｕｒｃｅ Ｃｏｍｍｕｎｉｔｙ；Ｗｅｂ Ｄａｔａ Ｅｘｔｒａｃｔｉｏｎ；Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｍｕｎｉｔｙ；Ｋｎｏｗｌｅｄｇｅ Ｓｈａｒｉｎｇ Ｃｏｍｍｕｎｉｔｙ 现代计算机 ２０１７．ｏ２上④
