大数据改变未来,未来是数据为王的时代
2017-08-28 湾区城市群
大数据会带来机器智能,也就是说让我们的计算机变得非常聪明,以至于它超过我们人类的智能。为什么这么说呢?我们刚才讲了,计算机的发展速度本身是一个指数增长,而我们人的智能的发展速度是一个线性增长,甚至还会稍微慢一点,那么一定在某一个时间点,它会重合。
为什么正好在这个时间点上,我们会有这么多的数据?一个是互联网的收集和积累,再有一个就是今天各种传感器,各种智能设备,各种监控设备,它们无时无刻地不在为我们提供大量的数据。而在我们过去,因为存储量计算量不够的时候,我们把这些数据都抛弃掉了,不是说这些数据在过去不存在现在存在,只是说我们现在因为半导体事业的发展,我们有能力,有可能来存储和处理这样一些数据。
大数据是一种思维方式
大数据Big data。为什么不叫large?在英语里这个Big和Large虽然都是大的意思,但是有一个比较细微的差别,Big这个大是相对抽象一点的一个概念。Big Small大和小是这样子。那Large是体量大,比如我这张桌子很大,我说Large table。大数据所以更重要用big data,实际上它是指一种思维方式,一种抽象的概念。它不仅仅是讲着我们数据的体量大。所以叫大数据,是指全新的这么一个思维方式。
大数据思考,根据Gartner的定义,大数据的特征具体涵盖了3V的内容:
1、数据量庞大(Voulume):从PB扩展到了ZB;IT系统,互联网,物联网等每天都在产生大量新生数据,过去两年间产生的数据粘到了所有的数据的90%。
2、数据变化快(Velocity):数据变化与处理的频度由天加速到秒/毫秒;订单,支付,传感器,信令每时每刻都在不停的产生数据。
3、数据多样(Variety):数据种类繁多:数据库表,格式文本,自然语言文本,电子表格,声音,图片......
数据的分类
1、结构化数据:行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。例如:二维表
2、半结构化数据:自描述,数据结构和内容混杂在一起的数据。例如:XML、HTML等。
3、非结构化数据:除去以上两种类型:例如音视频,图片等。