网络视频数据获取与后处理技术综述

尤其是移动互联网技术的成熟，网络视频行业呈现 的态势。另外，以深度学习为代表的人工智能技术与视频的作用。本文综述数据相结合,推动了视频内容理解领域的核心技术突破，促成多项相关技术落地。可以预见，未来的信息检索系统将承载 视频数据， 视频数据获取与后处理技术，作为视频信息检索系统数据来源的提供者， 了网络视频数据获取技术的现状，并对该方向的未来发展作了展望。关键词：信息检索，网络视频，爬虫，镜头边界检测，关键帧A review on the network video data acquisition and post processingZHANG Kun, ZHANG Feng, ZHANG De, WANG Huifeng, WANG Ziwei, BAI Lifei, XIENG Li(Information Scienco Academy, CETC , Beijing 100086 , China)Abstract: Videe has the advantage of being intuitivv and rich in content expression, and it is more easily accepted as a carrier of information and knowledge. In recent years, with the maturity of the internet, especially mobile internet, the online videe industry

has shown a prosperous development. In addition, the combination of artificial intelligence technolooy and videe data represented

by deep learning has promoted the core technolooical breakthroughs in the field of videe content understanding, and has led to the

emeryence of a number of related technolooies. It is foreseeable that future information retrievvl systems will cairy videe data, and

nerw6ik vide6daraaoquisirin reohn6lgy, asapi6videi6edaras6uioeseivide6ineimarin ieriievalsysrems, wilplayahuge role. This paper reviews the current status of network videe data acquisition technology and looks forward to the future development of this direction.Key words:information retrievvl； network video； spider； shot boundary detection； keyframe1引言信息检索系统作为人们知识获取需求与知识

实体之间的桥梁，已经成为生活密

照定制化的更新策略周期性地访问互联网，以保持

数据的完备性、准确性和时效性。网络爬虫技术已经逐渐 Gooolc、Bing、Baidu等。

， 面向文本的一部度上依数据的爬虫，广泛应用于主流的 引 中，。信息 系统的用户 商业 引擎公联网，爬 量领域的信息服赖 载的知 数据，而网络爬虫作为信息检索采用全网式爬虫，即面向整

系统的数据提 ， 了极其重要的作用。按照参考 （门中的定义，网络爬虫是一项可以系统 、 浏览万维网的 ， 脚，它用网

页与网页之间的链接结构切换访问地址，获取页面

数据。除了全网式爬虫外,一

务 的数据。除了

务企业，通常采用聚焦式爬虫，集中爬取与 业商业化爬虫之外，例如GoooleBot、Baiduspidcr,开源社区中网络爬虫项目也

上的数据。 源，

的数据可以是网页、脚等 资非常活跃,诸如Apache Nutch（2）、Scrapy等,为开发

以是视频、音频等数据资源。网络爬虫遵 小、定 爬虫系统提供了 *24 《电视技术》第43卷第6期（总第515期）I投稿网址http: //WWW. videoe . cnI Network & convergenceM

网络与融合II近年来，商用 频应用呈现岀 式增长的URL集合，送入URL队列中。，人对视频 的需求 加多样化*移动(2) URL队列：URL队列也被称为Frontier,是

终端设备的普及，搭载 性能的提升,加快，网络爬虫系统待爬取URL的 种 的数据结构

合，(3)它以一了视频数据的 度。视频数据成为除 的链接*URL 送 至联网上另外一个重要的信息载体,广泛应用在媒

、交网络、线上直播、视频会议、在线教育

(4) URL调度器:按照一定的规则从URL队列

中 得 爬 的 URL，

载器*等领域，与人 习、工作、生活 密联系在一起。以Youtube网站为例,视频数据的观看量高达数十 亿次/天,累 观看时长超过10亿小时(3),

字与2012年

(5 )资源下载器：接收URL调度器发送的 URL,访问互联网，

数URL对应的数据 载以长了 10倍，且仍保持 快的频到本地。 的 以是HTML文件， *长速度。面向视频数据的信息服务，

义 和 习技术的推

频、视频等数据

，正在成为人们新的需求。在深度，视频 义

(6) URL解析器:接收 载器获得的HT­

技术得到了、视频

功能,提

ML 数据，从 HTML 中解析岀新的URL,对新

破和 ， 频义 摘要等,度URL采取某些操作， 重 项和 项过滤,再

为

的

研究和产业 引

了 的 *未来的引擎的重送 URL 列中*频 和

服务，网络视频爬虫作为视频

, 至重要的作用*对网络视频

结构组织

技术进行了综述,论文的：第4 先

论了

了网络爬虫的基本概念和原理，第5 的网络视频爬虫系从

统结构、特点以及爬虫系统的评价指标，第6

视频数据本身的特点岀发,总结了网络视频爬虫在

理方面的一 作，第7 结和

论*2网络爬虫基础世界上第一个“爬虫”是由Mtthew Gray于 1993 年发明的，称为 “ World Wide Web Wandc-

图1网络爬虫基本结构从 行 /

看， 网络爬虫系统采用 的列中的ws'(4)*该 设计的 通过 的方法结构,URL调度器

URL队列为空，

统计互联网上的服务器数目，后来它

和存储数据的

了下载URL,URL解析器不断产生新的URL到队列中，如

，成为了实质意义上的网络爬此 网络爬虫系统主动先 *在一虫*至此以后,网络爬虫伴随 用

变得更为 *联网的推广，以，应退岀*在传统的网络爬虫系统中，URL队列按照先 进先岀的方式组织,URL之间没

及人们对信息需求的增长而得到了快速的

爬虫系统中，URL队列中的元素 重要的URL先

在实际应用中，配合

先关系，为 ，但模 实点2.1网 基 构URL被URL调度器分配*网络爬虫系统的实现细节虽然不一致，但

尽管网络爬虫系统的运行

现的 度 尽 * 以

运行 和 结构 小异* 一网络爬虫系

统主 以

的业务需求，

模 ：初始模块、URL调1所示*载器模 为 ，度器、 载器、URL解析器，以及一个URL队对于少量数据的爬取，

的方式，而对

载器可以采用

量的 ，

列，模间的数据流转

载器甚(1)始 模块:根据实际业务需求，生成初始至是URL调度器和解析器都须采 式架构*以对 式较为规范的数据， 载器

投稿网址http：〃www. videoe. cn 1《电视技术》第43卷第6期(总第515期)25I Ki 网络与融合■I I Network & convergence___________

_______________________________V啣劉變磴w ideo Engineering直接转入本地存储，而对于格式混乱、存在大量重 种。从系统结构来看，网络视频爬虫与传统网络爬

复的数据，还 在

块统一加工*地存储之前经过 理模虫没 的差异。网络视频爬虫 的数据资，视频频，而按照网络上的传输

2.2网络爬虫类别网络爬虫在 引擎、金融、舆情分析等多个

领域都有深入的应用。

数据 为 对

式视频数据和流式视频数据两类。式视频数据，网络爬虫通过HTTP协议就，而对 流式视频数据，网络爬虫的岀

的 ，以适配网络流媒体用 广泛，但 按以直接

照 的范 类，网络爬虫 致归为全议。

定。此类爬虫载器

网式爬虫和聚焦式爬虫两类。用 频数据 的商用化网络未以完整网式爬虫。全网式爬虫从互联网上获取大

量的数据， 对数据 作 量应用在全网

爬虫鲜见报道，一些开源项目［16一17)

的系统形式岀现。3.1网络视频数据视频数据

引擎,对爬虫系统 求很高。互联网上的数据随着时间变

性地

变化,全网式时序上连续的图像(或称为帧)爬虫为了保持数据的时效性，主 采用增量式的爬

网络爬虫系统，爬新数据替换旧数据,为用户提供最新的数据服务。组成的，而原始视频(RGB、YUV等)

经过编码

数据过大,传输,在计算机上存储

常用的视频编码算法有H2、MPEG - 4、VC - 1 + VP8等。视频经过编码后输岀码流文件，以H. 2

聚焦式爬虫。聚 式爬虫面向 主题数据

的爬取需求，尽 快速地、准确地、完整地采集与

为例,H.2编码后的视频数据打包 (NAL Units) , NAL单元再按照

流式数据传输格式，

式视频数据。

的预定义主题 近的数据(5)，系统和网络 消NAL( Network Abstraction Layer)^=1元，或称为 NALU

少。聚 式爬虫的核心

性的算法(S

度依赖领域先验知识，

量数据与主题内式数据存储或的数据流。主 以 类$( 1 )：代 性的工作

领域知识的方法。该方法的人为参与度较高，深 式 频数据 频、音知频经过编码,并以某种格式(或称为容器)封

成的文件,该文件包括视频轨道、音频轨道、字幕和

网络方法。Su等人构建了领域特异的 网络引导爬虫，并在爬取的过程中

知识网其他脚本。目前常用的封装格式有MP4、MKV、 AVEFLV等等。在H.2编码中，视频编码后形成

络，使得爬取结果朝

的方法可参考

精准的方向逼近⑻，类［9 ］和［10 ］* (2 )基的URL来达到聚焦式的NALU

新以一个指定长度的同步码， 一的方法。该方法过滤新 爬取的目的——只

-search方法，本质上

指示NALU长度的 ，再联 的NALU数 据，形成视频

的文档才会 用

的视频轨道。，

的URL到URL队列当中。Dc等人［⑴提岀了 Fish

正则匹配的流式视频数据。流式视频数据多应用在直播 等对实时性要求较高的

广播 、视频1方式计算

术

性。Wang等人［12)采用TF - IDF技播 等。流式视频爬虫实际上完成的功

档转换 征，再 斯分类器 '目【化网络视频录像。 议主

采用HTTP渐

实时流式视频数据的传输协开放的TS流,档的 习的思

性。Rennie等人［13 ］则直接

用

HLS、RTSP等。HLS

用在URL过滤决策中。(3 ) 链载方式传输实时流媒体的协议。接预测的方法。这种方法可以 信在HLS协议中，H. 2码流经过两

方式不同,

息，例如衡量URL重要性的PageRank［⑷、OPIE［ 15)

等算法，利用已下载的URL去评估页面中新提取岀

依托HTTP协议传输。RTSP与HLS的渐进式下载

正意义上的实时流媒

议。RTSP

频播RTP/RTCP协议传输视频数据、

来的URL，直接评估URL的优先级。3网络视频爬虫网络视频爬虫是采用网络爬虫技术从互联网

放。以H . 2码流为例，RTSP协议直接采用RTP 打包NALU,再通过传输

议发送。实时流式视频,生成视频文件*频数据 播放的不间断性,爬虫在接收过程中会频数据的软 系统,是网络爬虫的一*按照一定的时间间隔切

26 《电视技术》第43卷第6期(总第515期)I投稿网址http: //WWW. videoe . cnI Network & convergenceM

网络与融合II3.2网络视频爬虫网络视频爬虫 虫。

为全网式爬虫和聚焦式爬频数据容量巨大,全网式爬虫对网络资甚多，而实际情况中，用户只关心某一领域

某一主题的视频数据，聚 式爬虫在的 尽

地命中数据需求，因此广

过程中

*数频数据难以在 义特征，

据本身不包含新URL,所以视频聚焦式爬虫很大程

度上还是依赖 决定

，即通过 聚焦式爬虫算法爬 频数据。对一些存在应用接口的视频网站，网络视频爬虫还可通过调用网站应用

接口的方式 方式(18_19)o频， 的图2 一个典型的视频爬虫实例对比传统的网络文本爬虫，网络视频爬虫须重 点考虑的问题

以从

何处理大数据 。 问题用召回率(Recall)指标，即测试集中业务数据被爬

虫系统 的 率。和软件两个方面来考虑：(1)在 方(2) 数据准确性。数据准确性衡量的是爬虫系面，网络视频爬虫系统 配 量的网络统尽 少 非业务数据的 。评价数据准带宽 ， 频 载的 量。对 频 确性通常采用精确度(Precision)指标，即爬虫系统

数据需求较为

一、地理

的 ，甚至会考虑建立 统爬取数据中业务数据的比例。数据准确性和数据 完备性经常结合

F1值:Z _ 2

Precision • Recall Precision + Recall的爬虫系统，以减 一网关网统一的评 ，例如(])络流量的压力。另， 配 载 式 存 储系统的物理集群。(2)在软件方面，由

载器负责视频

上会进一步 载器，方

载，

频 的横向

为爬虫运行效率的1

。所以一般情况下，网络视频爬虫的下载器在

(3) 数据时效性。数据时效性反映了爬虫系统对业务数据更新

载器和HTML。：的 。数据时效性通常采用鲜活度(Fwshnvs)指 在一段时间

该时间区间

量，即爬虫系统新数据的

、数据(21)。网络视频爬虫获得的视频数据由于编码、格式

的不统一， 存在着重复，爬虫系统常配

， 数据清洗、关

数据时效性与爬虫系统的数据

密切 。理模块，实现数据 、 性定等。

模的 会

(4) 系统吞吐能力。影响爬虫系统吞吐能力的在 4节中岀。综上所述,一 的网络因素 ， 性，软系统 数频爬虫结构 3.3网络视

2所示。据流转速度等。其中一个重要的因素是系统的可性能评价性，即爬虫系统在业务需求增加时，通过 :

算机和网络带宽 以使得整体数据吞吐能

衡量网络视频爬虫性 完全参照网络爬虫

的指标，在之前论述中已经有所涉及。设 建设

爬虫系统的目的是快

提升的幅度。与业务 的数据，或测(离标准测试集去评价爬虫系统实际的召回

称为业务数据， 的，爬虫会因此引入率和精确度 难的。为此，人提岀了 ：召回一 非业务数据。评价网络爬虫应建立

数据(20)。率(Tarycl Recoil)和收割率(Harvesl Rate)去估计实

，测 包含人为 的业务数据和非业务 际情况下的真实

率指

率和精确度(22_23)。，

上的 人为。

爬虫系统(1)数据完备性。数据完备性衡量的是爬虫系

统

构建的业务数据集的一

采集数据看作随机采样，那

业务数据的 。评价数据完备性通常采率 实率的一 。收割率与精确度计算方投稿网址http：〃www. videoe. cn 1《电视技术》第43卷第6期(总第515期)27IIN网络与融合

ETWORK & CONVERGENCE式是相同的，只是在缺少测试集的情况下，须依赖

人为构建的二分类器，评估数据是否为业务数据。4网络视频获取后处理网络视频获取后处理的目的是保证数据的质

量和一致性，是网络视频爬虫系统的重要组成部 分。获取后处理是一个非常宽泛的概念，而且一些

处理操作与业务系统结合紧密，本文只介绍基础

图3视频层级划分!25\"的 组

(B)视频中一个

个镜头， 镜头 后个镜头组成。性、普适性的后处理操作，包括视频数据清洗、镜头

成一个视频 。该视频

边界检测与关 4.1视频数据清洗成， 视频同源性 。视频数据清洗的目标是生成系统内部标准化

边界镜头边界分为硬边界(Cut transitions)和软边界

(Gradual transitions)两种，硬边界是直接将两个镜

。部，多个 之间的镜头的视频数据，

文

为 、格式解析等问题影响上 o视频数据清洗的第一步是 视频头拼接而不采取任何 成的边界，软边界是利效果， 溶解、后的视频流，视频 包括 格1 o视一些技术生成的镜头间的

提取特征，计算

式、帧率、GOP( Group of Pictures %、分辨率、码率等的

擦除、淡入淡出等。镜头边界检测方法通常先逐帧

征相似性，再挑选出特征变化显著的帧，即镜头边界。传统的特征提取方法,格式化，这些数 和一般取

频数据清洗的 二 是视频 格式的 ，

例如将多种封装格式转化成MP4格式。表1视频数据关键参数数编码格式帧率GOP颜色空间直

一取H.2、H. 265、边缘、光 等&26'，结合基于阈数的、或基统计机器学习的特征差异显著性识别 法,是一直 领域采用的主流技术&24,27' °最近视频压缩方式视频每秒帧数I帧周期深度卷积网络技术被Xu等人&⑻ 在特征提取

阶段，取得 错的效果。25 fps、3O fps50720 P、1 080 P关 是指一个镜头中的可反应镜头 的组成视频摘检索系统中，例如

分辨率码率视频图像的长、宽值视频每秒比特数Kbps代 ，多个镜头中的关 要&29'。视频摘要 在视频

视频数据本 ， 包括视频的一些， 视频

、 视频获取 等结构 ，视频同源性分析，另，视频摘要 简化上层视频分析算法的数据处理规模&29'。视频关 识别

一些 包括视频上 、 视频上 、 视频 、在 征提取、镜头边界检测的基础上，通 局。人们视频评 等结构 和非结构 o部选择或全局目标优化的方式抽取关

4.2镜头边界检测与关键帧生成普遍认为关 该反应视频镜头中最突出的语征抽取的工作开始被视频的镜头是 个 的，为此一些面向高

成的集合。

个镜头组成&44'，

上 ，视频 个 组成,3(A) o与文本相比，视而一个 是 上相关、 上相 的一个 频数据量大，且在

的视频 、 检 和 视频切分成一个个小的基本结构

深入研究,例如利 深 、时空注意力机制获 取高 征识别关 & 3°T'。4.3视频同源性判定网络上爬取的视频，受到多数据来源的影

，导致基要

o,常存在着数据重复的现象，对系统的计算和

存 是一 。在视频数据爬取 是,不同的LRL对应的数据

镜头边界检测(Shot Boundaro Detection，图 3 ( B ))，

，爬(镜头)，已虫系统一 在LRL级别上 重复视频数据。

成为视频结构化分析、视频检索、视频同源性判

缺的 o:(A)视频中的场景与镜头&25] °物理场景中存在重复现象， 重复 现在 个 : 文 ， 即两个视同一个视频；内频的文件数据完全一致，

28 《电视技术》第43卷第6期(总第$ 5期)I投稿网址http://WWW. videoe. cnV越翹變磴______________________________

]f ideo EngineeringM 网络与融合I Network & convergence次，两 频的文件数据不一致，但 的内容的；片；非常类似， 频经过

,两 频的

编辑操作

5结果和讨论网络视频数据获取是应用和技术驱动较强的

一个完全一致，但是存在

重复。文件层次视频同源性判定。该判定技术不考 虑视频

，只从数据层面提

征。 绝 ：领域,近年来，网络视频应用的

的生存环境，

式增长为技术的领域该领域提供了

为该领域拓宽了生长空间，网络视频数据

数做法 算视频 MD5，对 值

值，例如SHA1和了重要的 机*通过对网络视频数据述，领域未

方向总结一致的方式判定文件算效率高， 除 '获取领域的

*

性。这种方式的优点

多个数据

引起的

重复。变换、几何包括旋转频特更加去中心化的爬虫系统结构*从数据体量

频 性判定。内容层次的视频

来看,网络视频爬虫是一个“重量级”系统，占用的 存储、计算，

网络 非常巨大。集中式部网络带宽的 ，容式、跨数据中心的网络视频爬虫系统，

同源性 频经过编码转换、

变换、时间变换的方式转化得到(32)，

转、模糊、亮度 、对 度 、画中画、文数据传输 的问题*

的爬虫系统

法

术界就提岀了

等等。通常会从空间域或时间域上提

业界普遍的解决方案，但 依年爬虫(Mobile Crawler^3创卫，爬虫征,包括以 边 、 为础的代[特

地满足网络视频爬取的需求*

征， 合 频所

征比对的方式判定

的整体特征(33)，再采用特性。为了 一一 ，同引等(32)，实现 频的快速敏感

的方式(34)得线MipwOno Crawler(37))的概念，可移动爬虫是一种更

性判定系统会建立高效的索引结构，例弓I、倒排 弓I、

加去中心化的部署方案*在种

会优先于数据传输

服务器上,在 服定位。其中，

性时间

务器端完成数据筛选，再 数据反传至爬虫系统, 极大减少了无用数据的传输工作。但是直

度的速度提升*片段层次视频同源性判定。片段层次视频同

源性判定不仅要确定两

为止，这种结构带来的 服务器 问题、计算频 ，还征丢失视频占用问题还没有得到妥善解决,也是未来领域

定位重合

此片

， 重合 *

的方向*快速精准的视频语义抽象。准确的视频语义 抽象可以引导爬虫

片 的 ， 实现片 对 的 ，度明显上频 性判定算法 依赖逐帧地 业务数据*网络视征，也使得此类算法的计算 *

领域有两类片 频 性判定频爬虫长时间以来未得到充 少从低 高

频数据 高

，主 原因在于算法，一类是以时间对齐方法为代表的精确性算

义特征的

(10),法，一类是随机算法*时间对齐方法采用 据结构(

结构或网络结构)，建立两

的数频帧间义特征 频内容理解中最重要的征的过程,实现了特征的自一环*时下研究的热门领域一一深度学习，简

加速了以往人工设

的 性关系，再 片 性* Cheung等频帧的向量人(35)利用随机算法的思想，构建两 征集合，采用随机

频向量 征 合 性* 在

。且随 神经网络层数的 力口，深度*在持续发征空间向量并与两个视习技术获得的特征更为接近视频中语义 另一方面，深度学习 力，使得视频高

时，降低了实施成本*的技术 定片

性

频的真实值。的 研

一定数量的 征空间向 量 ， 以以间，但算法时间复义特征 在提升计算性能的的概率逼近两个视频

岀精确的片段重

度高,后一种算法只

云的网络视频获取服务*建设网络视频算重 ，但 算法云服务， 减少

地合并网络用户数据 求,时间 度低。*对 用户来说，云服务模式省去了研发、建设和维护网络视频爬虫系统的成本，使其中 业务的 *对网络视频

云投稿网址http：〃www. videoe. cn 1《电视技术》第43卷第6期(总第515期)29I Ki 网络与融合■I I Network & convergence___________

________________________________________________v他翹變磴W itteo EngineeringStanford InfoLab, 1999.[15] ABIEEBOUL S, PREDA M, COBENA G. Adaptive on -

服务商来说，除了满足用户主导的视频 求,以在充分收 贴近

参考文献：(1)

用户需求的基础上，设用户。求的数据产品，服务

line page importance computation [ J ]. In: Proceedings of the 12th internationai conference on World Wide Web:

2003. ACM： 280 -290.[16 ] - di downloads [ EB/OL]. http://www. yt - di.

KAUSAR MA, DHAKA V, SINGH SK . Web crawler： a

review ( J ]. International Journal of Computer Applica­

org/,2019.[17 ] You - Get[ EB/OL]. https ：//you - get. org/,2019.[18] CHENG X, DALE C, LIE J. Statistics and sociai net­

tions 2013 , 63 (2).(2] KHARE R, CUTTIEG D, SIEAKER K, et al. Nutch： A

flexible and scalable open - source web search engine

[J]. Orevon State University, 2004 ( 1) ：32 - 32.(3 ] YouTube.透过数字了解(EB/OL]. https ：//www. you­

work of videos [ J]. In： 2008 16th Interntionai

Workshop on Quality of Sesice: 2008. IEEE: 229

-238.[19 ] AGARWAL S, SUREKA A. A focused crawler for mining

tube. com/yt/about/press/,2019.[4 ]

KNOBLOCK CA . Searching the world wide web [ J ].EEEEEnreeogenrSysrems, 1997( 1 ) ： 8 -14hate and extremism promoting videos on YouTube [ J ].In: Proceedings of the 25th ACM conference on Hyperext and sociai media： 2014. ACM： 294 -296.[20 ] CHO J. Crawling the web: discover and maintenance of

(5]刘金红，陆 .主题网络爬虫研究综述[J].计算机应用研究，2007, 24(10)：26 -29.[6 ] NOVAK B . A survey of focused web crawling algorithms

large - scaie web data [ J ]. A Thesis Nov 2001.[21 ] MADAAN R, DIEIE A, SHARMA A, et ai. A frame­

[J]. Proceedings of SIKDD, 2004, 5558 ：55 -58.[7] CHAKRABARTI S, VAN DEN BERG M, DOM B. Fo­cused crawling: a new approach to topic - specific Web

work for incrementai hidden web crawler [ J ]. Internation­

ai Journai on Computer Science and Engineering, 2010, 2

(3) ：753 -758.resource discovery] J]. Computer networks 1999 , 31 ( 11

-16) ：1623 - 10.[8] SU C, GAO Y, YANG J, et al. An efficient adaptive fo­

[22] MENCZER F, PANT G, SRINIVASAN P, et ai. Ewlua-

ting topic - driven web crawlers [ J]. In： Proceedings of the 24th annuai internationai ACM SIGIR conference on

cused crawler based on ontolooy learning [ J ]. In: Fifth

International Conference on Hybrid Intelligent Systems

Research and development in information retriewi: 2001.

(HIS05) : 2005. IEEE： 6 pp.[9 ]

ACM： 241 -249.[23 ] PANT G, SRINIVASAN P. Learning to crawi: Comparing

ZHENG H T, KANG B Y, KIM H G. An ontolooy -based approach to learnable focused crawling [ J ]. Infor­mation Sciences 2008 , 178 (23) ：4512 -4522.[10] KUMAR M, BHATIE R, RATTAN D. A susey of Web

classification schemes [ J ]. Acm Transactions on Informa­

tion Systems 2005 , 23 (4) ：430 -462.[24]

PAL G, RUDRAPAUL D, ACHARJEE S, ct a. 1 Videc

shot boundas detection: a review[ J]. In： Emerging IET

crawlers Ior information sWievaL Wiley Interdisciplinas

Reviews [ J ]. Data Mining and Knowledge Discover

2017, 7(6)：e1218.[11 ] DE BRA PM, POST R. Information sWieval in the World

for Bridging the Future - Proceedings of the 49th Annuai Convention of the Computer Society of India CSI Volume 2: 2015. Springer: 119 - 127.[25] COTSACES C, NIKOLAIEIS N, PITAS I. Videc shot de­

-Wide Web: Making client - based searching feasibie[J]. Computer Networks and ISDN Systems, 1994, 27 (2) ： 183 -192.[12] WANG W, CHEN X, ZOU Y, et ai. A focused crawler

tection and condensed spssentation: a review [ J ]. IEEE

signai processing magazine 2006 , 23 (2) ：28 - 37.[26] ABDULHUSSAIN S H, RAMLI A R, SARIEAN M I, et

based on naive bayes classifier [ J ]. In: 2010 Third Inter- nationai Symposium on Intelligent Information Technolovy

[27]

ai. Methods and Challenges in Shot Boundag Detection:

A Review[ J]. Entropy, 2018 , 20(4) ：214.SMEATON AF, OVER P, DOHERTY AR. Videc shot

and Security Informatice: 2010. IEEE: 517 - 521.[13 ] RENNIE J, MCCALLUM A. Using sinfosement Iearn-

boundary detection: Seven years of TRECVid activity

[J]. Computer Vision and Image Understanding, 2010,

ing to spider the web efficiently [ J ]. In: IEML： 1999 :

335 -343.[14] PAGE L, BRIE S, MOTWANI R, et ai. The PageRank

114(4) ：411 -418.(下转第44页)citation ranking: Bringing order to the web [ J ]. In.:30 《电视技术》第43卷第6期（总第515期）I投稿网址http: //www. videoe . cnI Ki 网络与融合■I I Network & convergence___________

_______________________________V啣劉變磴w itleo Engineering精神，推动其健康 养，顺应新媒体时代的程。技能，创新原有的电视编导模式， 电视节目2.3电视编导要强化 的综合能力和专业素的采访、编和制作工作注入新的活力。 作为一名专业的电视编导人员，需要时刻学习外界新的 知识，建 创新性思维,把互联网技术、数字技术以

作为一名优秀的电视编导人员,其具备的综合

能力以及专 群众

养 整 目的 ，及各种智能设备运用到具体的编 电视节目内容，

作中,逐步优岀 、 十的节目内容，让群能为 大众带来 新众能够在娱乐的同时提升自己的认知能力，拓展群 众的视野⑷。因此，电视编导人员在日常的工作

颖的电视题材， 群众的 能力以及文化

内涵。参考文献：& 1 ]卢峰.全媒体时代电视编导工作面临的挑战与创新对

中,需要借助新媒体市场中的各 具 身的专 养和综合能力，在电视节目采访、制作的过目内容，紧跟新媒体'程中站在群众的立场上思

市场的 脚步，优化电视节目内容，以此来

策&J] •新闻研究导刊，2018，9 (17)*181-182.62]

群众的文化内涵。任晓晴.新媒体环境下电视编导面临的机遇与挑战

[J] •记者摇篮,2018(6)*37 -38.3 结束语在新媒体技术的迅猛冲击下，我国传统电视编

63] 陈 琦.试论新媒体时代广播电视编导工作的改进

[J] •西部广播电视，2018 , 31 (7)*97 -98.&4' 卢峰. 全媒体时代电视编 作面 的 战 创新对导工作面对着巨大的机遇和考验， 作在电视媒体 机遇和挑战⑷，

显示了编导策&J] •新闻研究导刊，2018 , 9 (17 )*181.责任编辑：胡鑫

程中的重要地位。因收稿日期：2019 -03 -21此，电视媒体编导人员要抓住新媒体市场中的各种上，借助新媒体工具和(上接第30页)628]

XU J, SONG L, XIT R. Shot boundao detection using convelutionae neuraO networks] J ]. In： 2016 VisuaO

Edited by Sencar HT, Velastin S, Nikolaidis N, Lian S.

Berlin, Heidelberg: Springer Berlin Heidelberg, 2010:

253 -273.Communications and Imaae Processing ( VCIT) : 2016.

IDEE* 1 -4.629] TRUONG B T, VENKATESH S. Videe abstraction* A

& 34 ] HU S. Efficient videe retrieval by locality sensitive has­

hing [ J]. In* Proceedings ( ICASSPS5 ) IDEE Interna-

systematic review and classification & J ]. ACM transac- toonson muetomedoa8omputong， 8ommunoatoons， and

toonaeConfeaenceon Acou@toc@, Speech, and SognaePao-

cessing, 2005 : 2005. IDEE* ii/449 - ii/452 Vol. 442.&35] CHEUNG S S, ZAKHOR A. Efficient videe similarity

applications (TOMM) 2007 , 3 (1) *3.

630] EJAZ N, MEHMOOD I, BAIK S W. Efficient visual at­

measurement with videe sianaturo & J ]. IDEE Transac­

tions on Circuits and Systems

tention based framework for extracting key frames from videe Technolovy 2003 ,vodeo@& J' .SognaePaoce@ong* TmageCommunocatoon，

2013 , 28 (1) *34 -44.&31 ] OTANI M, NAKASHIMA Y, RAHTU E, et aL Videe

13 (1) *59 -74.& 36 ] HAMMER J, FIDDLER J. Using mobile crawlers to

search the web Vficiently & J ]. International Journal of

summarization using deep semantic features & J ]. In: A­Computee and Information Science 2000, 1 ( 1 ) : 36

-58.&37]

sian Conference on Computer Vision: 2016. Springer:

361 -377.632]

SITGHAL N, AGARWAL R, DITIT A, et al. Informa­

顾佳伟，赵瑞玮，姜育刚.视频拷贝检测方法综述[J] •计算机

toon aetaoevaefaom theweb and appeocatoon ofmogaatong crawlerf J]. In* 2011 International Conference on Com­putational Inwlliiencc and Communication Networks: 2011. IDEE* 476 -480.，2017 *1.633] LIDN S, NIKOLAIDIS N, SENCAR H T. Content -

Based Videe Copy Detection - A Survey] J]. In: Intee-

liient Multimedii Analysis foa Security Applications. 责任编辑:宋宜楠 收稿日期：2019 -03 -1834 《电视技术》第43卷第6期(总第515期)I投稿网址http: //WWW. videoe . cn