在线视频紧跟大数据潮流

每年, 有些术语是如此模糊, 迅速达到炒作的程度, 普通人同时思考是可以被原谅的, “为什么我不知道这是什么意思?以及“我怎么才能不解释它的意思呢??”

2013年的突破性词汇是大数据, 流类型从数据库的遥远世界向我们走来的是什么. 我们怎么知道它是突破术语? 我的一位在一家大数据分析初创公司工作的同事所做的分析显示，2013年上半年撰写的大数据相关文章几乎与2012年全年撰写的文章一样多.

“整个2012年, 科技出版物中有关大数据的文章不到19篇,000篇文章,苏珊·普契内利说, 传媒总监 Datameer. “在2013年上半年, 已经有将近14个了,000篇文章, 而且这个数字每个月都在增长.”

换句话说，每10天就有近500篇关于这个主题的文章.

什么是大数据?

稍晚一点, 我将介绍大数据中与流媒体相关的部分, 但, 第一个, 它有助于设定一个定义，因为主题本身可能很难确定. 要做到这一点，让我们首先从纯数据库的角度来看它.

大数据这个词, 当应用于典型的数据库场景时, 可以归结为三个主要领域:许多不同数据库的聚合, 包含无模式数据, 以及一套从数据中获取意义的分析工具.

就总体部署而言，数据库领域的王者是关系数据库. 这种类型的数据库几乎存在于所有的软件和硬件产品中, 甚至到了操作系统的层面, 因为它非常擅长管理适合结构或模式的数据.

大多数关系数据库都有一个问题, 但 the problem has been masked by decades of management system tools (relational database management system; RDMS): Not all data fits within a specific schema. 除了, 在传统的关系模式中，有些数据最好放在两个位置或两个表中使用, 例如某条街道上的房屋表以及同一条街道上停放的汽车拥有量表.

要处理这个问题，需要将信息分散到不同的表中, 关系数据库使用主键或一个特定的数据位将两个表链接在一起. 但是对于停在街上的汽车来说, 哪些数据变化频繁, 不像固定资产(如房子)那样容易融入有意义的模式.

为了解决这个问题, 数据库世界中出现了许多“脏数据”选项, 从最简单的XML标记文档到更强大的基于文档的数据库，这些数据库使用动态索引来绘制相似之处，并将其简化为动态“表”结构. 其中许多被称为map-reduce数据库, 其中，从数据库查询中得到的答案是预设的，并且围绕无模式数据的查询形成一个基本模式.

第三个领域是数据库, 这在社交媒体网络中尤其流行, 是图形数据库的概念吗. 在这个例子中, 关系是关键因素, 图是一种进行复杂搜索的新方法.

在我们前面提到的例子中, 一辆车停在街道上的位置相对于一所给定的房子的接近程度可以让我们制作一个地图缩减索引, 但是一个图形数据库可以让我们找到一个特定房主的朋友，他们的车和停在街上的那辆车是同一型号的, 除了确认那个特别的朋友是住在城里还是在另一个国家. Facebook推出的图谱搜索将允许其用户对符合特定人口统计或地理标准的朋友进行这类搜索.

关系数据库中显示数据块之间关系的图形.

在很多方面, 一般来说，大数据——尤其是图形数据库——依赖于使用标签来创建对象之间的关系, 人, 以及其他不同的数据. 在搜索图中，任何一个人或物体都有足够的标签, 需要做大量的索引工作.

这如何适合流媒体?

因此，如果大数据是关于结合数据库和运行适当的分析来找到问题背后的答案, 这一切如何适用于流媒体?

对于这个问题，你会得到截然不同的答案, 但我从流媒体中的大数据中得出的map-reduce索引可以归结为三件事:内容管理, 关键任务交付, 索引和元数据可用性.

内容管理和存储

毫无疑问, 视频在总数据流量中所占的比例呈跳跃式增长. 一些研究表明，在黄金时段，点播互联网视频流量几乎占所有互联网流量的三分之一, 在很大程度上要感谢网飞公司. 一些对2014年流量的估计表明，互联网上传输的大部分数据将是视频内容.

这为内容交付网络(CDN)提供商提供了机会, 其中一些已经迎接了挑战. 但是，对于这些cdn来说，大数据问题不是关于视频内容管理，而是关于围绕视频的所有内容的管理.

有趣的是, 解决cdn面临的所有内容管理问题, 流媒体内容管理的问题实际上正变得相当简单:跟踪形成自适应比特率(ABR)传输所需的按需视频文件的多个版本. ABR是否通过苹果的HTTP Live Stream (HLS)传输?, 微软的流畅流媒体, 或新兴的HTTP动态自适应流(MPEG-DASH), 在允许对这些各种ABR技术进行动态分割方面，各方面都取得了进展.