您当前的位置: 首页 >  大数据

wespten

暂无认证

  • 1浏览

    0关注

    899博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

CDH-CM大数据管理平台详解

wespten 发布时间:2022-10-07 10:17:33 ,浏览量:1

一、大数据概述 1、大数据时代的数据特点 

一般认为,大数据主要具有 四方面的典型特征——规模性(Volume)、多样性(Variety)、高速性(Velocity)和价值性(Value), 即所谓的"4V“。

  • volume(大量):目前处理的数据量基本为PB、EB级别
  • velocity(高速):在极短的一段时间内能产出大量数据(秒杀活动等)
  • variety(多样):数据种类比较多,如日志文件、音频、视频、地理位置信息等
  • value(低价值密度):数据本身的价值比较低,通过对数据分析出有价值的东西

(1)规模性:即大数据具有相当的规模,其数据量非常巨大。

淘宝网近4亿的会员每天产生的商品交易数据约20TB, Facebook (脸书)约10亿的用户每天产生的日志数据超过300TB。数据 的数量级别可划分为B、KB、MB、GB、TB、PB、EB、ZB等,而数据的数量级别为PB级别的 才能称得上是大数据。根据IDC公司的最新研究,未来10年,全球的数据总量将会增长50倍, 以此推算,数据产生的速度越来越快,而且数据总量将呈现指数型的爆炸式增长。

(2)多样性:即大数据的数据类型呈现多样性。

数据类型繁多,不仅包括结构化数据,还包 括非结构化数据和半结构化数据。其中,结构化数据即音频、图片、文本、视频、网络日志、地理 位置信息等。传统的数据处理对象基本上都是结构化数据,而在现实中非结构化数据也是大量存在 的,所以既要分析结构化数据又要分析

关注
打赏
1665965058
查看更多评论
立即登录/注册

微信扫码登录

0.0423s