整站优化

查看: 68|回复: 0

腾讯云首次披露云原生智能数据湖全景图,数据湖之争再...

[复制链接]

10

主题

10

帖子

40

积分

新手上路

Rank: 1

积分
40
 楼主| 发表于 2021-5-14 20:16:35| 字数 5,427 | 显示全部楼层 |阅读模式
腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...整站劣化,

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

0 T' a7 m/ n+ |$ _- T4 @2 M& b* L1 a! Z/ r
(图片下载自视觉中国)
) G2 ~7 ^- B6 _) v% Z$ q. A+ i6 G. T2 J6 r( y0 `
数据湖并非一个很有汗青感的观点,从2010年才初次被Pentaho首创人兼尾席手艺民詹姆斯·狄克逊(James Dixon)提出,至古生长唯一十多年,但曾经成为一个道到年夜数据时便躲没有开的话题,被以为是一种年夜数据战AI时期交融盘算战存储的齐新系统,和企业新一代的数据手艺架构。
  R4 {- D2 s( R9 x/ A* r& c, A8 b- `# n; K/ L/ e' A
数据湖水起去的新一轮契机,泉源于比年去的AI高潮战云盘算、5G的生长,特别是新冠疫情的发作,更是让企业更深入天熟悉到数据已成为企业的焦点资产,发掘大批发作数据背后的代价,亟需可以迅速天处置惩罚数据剖析,提拔数据洞察力的要领。一样平常来讲,企业发掘数据背后代价最间接的要领是经由过程建设数据散群,但理想中由于本钱、手艺、人材等限定前提,许多企业正在自建数据散群上面对诸多痛面。
  u0 E# j; Z4 H) v0 |$ j' ~
6 o3 |( ~1 J8 H; K8 G正在如许的配景下,数据湖应运而死。亚马逊云科技做为“排头兵”,领先修建了一套以S3为中央化存储、Glue为元数据效劳,E-MapReduce、Athena为引擎、针对AI劣化的AWS Sagemaker的开放合作式的产物处理计划,提高了数据湖的观点。以后,浩瀚云厂商纷繁“下火”,劫掠市场潜力庞大的数据湖市场,推出各自的数据湖产物。3 _- a: _) K9 t. `/ O

9 H3 p; M, K; P做为海内To B巨子之一,腾讯云也早早天看到了数据处置惩罚使命关于数据湖的庞大需供,数年前便已结构那个范畴,公布了包罗云本死数据湖盘算效劳正在内乱的一系列数据湖产物战效劳。现在,腾讯云的数据湖系统已效劳浩瀚表里部客户,据民圆流露,腾讯云的数据湖系统算力弹性资本池达500万核,存储数据凌驾100PB,日收罗数据量超500TB,逐日剖析使命数达1500万,逐日及时盘算次数凌驾万亿,能撑持上亿维度的数据锻炼。
2 g* }* C. ~7 j" o$ I2 @+ n  B" l1 ?& u* j6 a0 G( m
那几年,腾讯正在数据湖上积累的气力事实有多少?2021年5月13日,腾讯云正在北京举办的云本死智能数据湖公布会上,初次正式展现了云本死数据湖系统,并公布两个重磅新品,年夜秀了一把“肌肉”。
3 f! |& B+ ^7 c8 y/ ?! k! j. T; t& \* D1 K7 l9 |

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

! w0 ~/ n' X$ k& |% T; J) t# V
  \% y1 C$ E8 w初次展现云本死智能数据湖齐景图8 a; O- W1 R1 f3 U+ W  o- j
# t7 L+ s2 d# n4 O7 `+ G- w
本次公布会上,腾讯云初次对中展现完好的云端数据湖产物图谱,并推出两款“开箱即用”数据湖产物,数据湖盘算效劳DLC战数据湖构建DLF。
) k/ _. q7 R( K/ ?/ _# [0 @
8 F/ h' \; j) M- l六年夜层级产物修建齐圆位数据湖效劳) j! E, L! o8 g/ W' V+ ]

4 x% o5 ?1 V/ r7 P6 X7 C

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...
+ p- P2 `& E- j( Z( b. {

$ V6 D0 S$ f" p  ^2 e据先容,腾讯云此次展现的完好云本死智能数据湖产物矩阵包罗数据湖存储、数据湖算力调理、数据湖年夜数据剖析、数据湖AI才能、和数据湖使用战云上根底效劳六个层里,供给一体化的齐圆位效劳。( b5 j; R' H2 y! `, J% o; r* x. J
7 ~9 F1 x$ S7 a! `
此中,数据湖存储以工具存储COS效劳为焦点,实际上能够存储恣意范围的同构数据,具有下牢靠性战下耐久性,同时也撑持将其他云端数据设备做为数据湖的存储效劳。
$ @6 Q  d0 M3 ]- \
6 n2 E/ E0 f7 H# j- M* h正在数据湖算力调理圆里,基于腾讯云弹性容器效劳EKS,开放的容器化的剖析架构让数据剖析功效可组开性更强,扩大性更强,资本使用率更下。
# D9 k  l; A; f2 Q& ]* @' z$ n7 a; t1 P1 K4 q) y( V
正在数据剖析层,腾讯云数据湖既供给半托管的泛Hadoop效劳,知足用户自界说需供,也供给齐托管的数据效劳,便于用户获得海量数据的洞察力。别的,用户借可使用腾讯云供给的数据合作东西对盘算效劳举行编排战挪用,年夜幅度提拔企业数据的便利性战迅速度。
6 g4 x9 U$ g1 W+ ^/ z0 U! W# f
% u& D! G2 x" G4 g7 y% B( c! b% H值得一提的是,针对愈来愈多的音视图文数据,腾讯云数据湖包罗富厚的AI效劳,为图象处置惩罚、音频处置惩罚、天然言语处置惩罚、视频处置惩罚等供给有力的数据支持。
7 E2 Y  p0 A4 P- x/ `  h7 {8 E# h0 j, r* j+ Q8 f" o
正在数据使用效劳中,腾讯云推出基于数据湖的数据使用效劳,好比企业绘像、联邦盘算、贸易智能剖析等。
" B7 @, w- j" X/ Y! Y* y# O
0 r+ F' u4 `0 k2 U最初,云本死的根底效劳为腾讯云数据湖系统供给了有力的保证。$ u$ S. F3 X8 r! h

5 e' c# G) z8 [从公布的数据湖齐图谱去看,腾讯云那六年夜层里根本涵盖了企业关于数据处置惩罚各流程的差别需供,借正在研收中的其他数据湖产物,也无望完美其云本死智能数据湖矩阵。
; w" }5 J6 V& V" @. \7 L( M  K
3 u. ]8 [  |! ^! ~) R2 Q两款“开箱即用”数据湖新品DLC战DLF
# j3 `- X" [# K. k- K9 t, D% n0 o  h- |4 I
除数据湖系统齐景图,为了让企业能够快速构建战剖析数据湖,腾讯云此次借正式推出两款开箱即用的数据湖产物:数据湖盘算效劳(Data Lake Compute,简称DLC)战数据湖构建(Data Lake Formation ,简称DLF)。
2 U& O/ F. K  l. F& u8 m2 }! o
' G1 N. Y- _) y+ o! F

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...
& S6 |8 p5 [5 Y0 k. X6 f; h
& N/ C  a' C, G' G' y
腾讯云相干卖力人先容,简朴来讲,那两个产物存眷的焦点功效,实在一是怎样更简朴天让数据进湖,第两个是进湖后怎样同一治理数据疑息,并正在此根底之上,经由过程DLC数据湖盘算让用户正在数据剖析时能够立即编写SQL,随时提倡散群查询低落运维门坎,那是现在腾讯云数据湖的焦点。9 K" o# {8 M/ x5 m" `/ s* _
+ x  H, V0 `4 y
数据湖盘算效劳做为迅速下效的的数据湖剖析引擎,接纳的是无效劳器架构设想,用户无需存眷底层架构或保护盘算资本,利用尺度 SQL 便可完成工具存储效劳及别的云端数据设备的团结剖析。别的,用户无需举行传统的数据分层建模,盘算机能提拔35.5%,构建服从提拔60%,营业增加量提拔可达75%。) w# P  m0 _! ~# o$ U4 P  {, m
  q$ V+ Q/ C3 X; ^4 T: @& C. k
数据湖构建则能资助用户快速下效的构建企业数据湖手艺架构,包罗同一元数据治理、多源数据进湖、使命编排、权限治理等数据湖构建东西。同时,借助数据湖构建,用户能够极年夜进步数据进湖筹办的服从,资本本钱节约超30%,湖构建工夫淘汰60%,运维工程师人数低落100%。( `3 }* x1 _  L( R1 S" ]( T/ I
2 I# X" A! q& j" c
别的,为相识决湖存储面对的应战,如运输局操纵本子性、元数据操纵提早下战宽带需供年夜等成绩,腾讯云数据湖借于远期公布了三级加快器效劳,包罗存储端元数据加快器,供给远盘算段数据缓存加快才能的GooseFS,和供给AZ级齐闪存硬件加快效劳的COS加快器,并供给组件化效劳,按需举行产物组开。
& s" J4 Z  S) G: b5 k6 L+ U0 V/ H. a! \8 E$ {; W/ b

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

; U: ^5 G2 K1 R! R
- s+ w8 S8 W# f4 C" S从存储盘算到剖析,数据剖析体系的演进过程
- X$ Z1 b2 X1 y; n/ h$ [! w5 ^' N% B# Q' S
当James Dixon初次提出数据湖的观点时,数据湖被比做本死态的火,已经处置惩罚,本汁本味,数据湖中的火从泉源流进湖中,任何用户皆能够去湖里获得、蒸馏提杂那些火,也便是数据,以做自用。彼时,数据湖正在各人的印象中照旧一个集合式存储体系的观点,用去存储恣意范围的构造化战非构造化数据。
2 V2 ^# s. _- i0 g9 V5 O& K/ L) A) b8 U. B' b
以后,HDFS 战工具存储等手艺的生长根本上处理了海量数据的低本钱存储的成绩,这时候,数据湖的重面使命便从存储转背数据的盘算剖析,焦点正在于提拔数据剖析的迅速性,加强对数据的洞察力。5 V( D* V! e: L% [, v9 P" p
( }2 V4 U. U* c/ s+ d3 O- R
现在,数据湖的内涵更是拓展到涵盖数据湖存储、数据湖盘算、数据湖剖析等数据处置惩罚齐流程,做为数据湖焦点功效的数据剖析体系,现实上也正在逐渐演进当中。
' J7 [0 z; n$ s1 S2 w. D9 j7 Q. Y6 `3 n1 q; D2 A
从第一代典范的构造化数据存储体系最先,跟着愈来愈多用户举动数据、图象、音频、视频为代表的多媒体数据等泛起,传统数据堆栈没法支持起互联网时期的贸易智能。
( x" f2 N4 B7 Z% d+ B' R" j( t3 S; p4 j7 X6 {/ R& g* b+ {+ ~6 q7 ?
此时,齐漫衍式的Hadoop降生,带去了齐新的手艺厘革,它能够接纳便宜机械拆建散群,知足海量数据的存储需供,强化数据花样的特征也能完成数据模子战数据存储分散,能够处置惩罚BI、报表,和一部门数据科教战机械进修使命,知足处置惩罚构造化、半构造化&非构造化数据的需供。1 A1 @! p# H/ y9 O! P# e
( O) u, e# h1 Z! _/ c
跟着Hadoop手艺的成生,2010年“数据湖”的观点降生,企业能够基于Hadoop构建数据湖,数据湖剖析体系盛行起去。取纯真的Hadoop体系比拟,数据湖剖析体系的元数据战索引层能够更好、更快、更牢靠天处置惩罚数据湖中提与的数据,成为年夜数据时期数据剖析的更劣挑选。: g: o; W; `; x! }
3 C1 I# b; k% f; P

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

6 y# {+ F4 |! A( p; }0 T% F, ]
' R2 O6 w! D; c3 S2 l  x2 g数据湖的素质:开源开放
: f! M6 m8 R/ }$ F
* c! X, L' t# g# P- k' F从素质上来讲,数据湖的素质实际上是建设正在开源手艺系统上的开放设想,现在市情上次要盛行的三年夜开源数据湖计划有Delta、Apache Iceberg战Apache Hudi,腾讯云挑选将数据湖系统建设正在Apache Iceberg设想之上。; B: u9 G% s8 R) A* d

" C# k8 L) g# t' }5 g5 @

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...

腾讯云初次表露云本死智能数据湖齐景图,数据湖之争再...
: k; Q6 Z+ m$ d- \+ l' v7 a( x
9 s, A" N# V, U& c
那是由于腾讯云看好Iceberg新一代的数据湖表格情势,它不只能够劣化数据湖进湖流程,供给ACID事件才能,简化ETL,供给Upsert才能,减少数据进库提早,借没有绑定特定引擎,撑持更多剖析引擎,如Spark、Flink、Presto、Hive,并具有同一的数据存储战天真的文件构造。
( o# _0 A+ r* s/ G* I8 M5 |9 h0 G4 x1 ?/ `
腾讯云相干卖力人表现,开源开放将是腾讯云数据湖未来要对峙做的工作,将来,从算力角度,腾讯云借将算力从混淆云拓展到腾讯云以外的其他IDC或私有云,和边沿末端装备上来,终极完成正在一张漫衍式云的网上构建腾讯云数据湖,以构建上层的SaaS战PaaS效劳。第两个偏向,腾讯云借将推出更多范例的算力资本,正在数据湖场景下推出更低本钱的算力资本战套餐。
4 q8 ], Z. o6 t) E# E5 U, v% J9 o9 Z' u/ f0 e( u" q1 T
总而行之,腾讯云数据湖的团体思绪,便是要做到本钱更低、机能更下、算力越发弹性、用户体验更好。* ^2 N" z- B4 n9 X( |( L' X

' c' u+ s! ?1 o/ v$ i! E云本死,将来的数据湖生长趋向
% ]  E$ A/ N( m1 E: H7 n! W3 `1 V$ u; C# t" d% P: F+ L
云本死时期的到去,让数据湖有了更多施展的空间,云将做为数据湖的启载,成为数据湖的最好理论场。估计到2021年低,云将启载80%的使用开辟战布置。取此同时,数据驱动营业的海潮囊括了各止各业,据着名征询机构统计,到2025年环球数据总量将凌驾160ZB,环球数据总量的远 20% 将成为影响一样平常生涯的要害数据,远 10% 将变成超要害数据。
( i( T& v- o9 q! k/ [5 c. _5 T! F1 W2 A, e& v8 \
为此,企业火急需求能够使用多个数据源、利用差别的年夜数据剖析手艺,快速构建天真友爱的数据架构,处理多元化剖析场景的数据需供。只管有些企业借对正在云端布置数据架构有诸多疑问,好比本钱能否真实的了划算,但理论曾经证实使用私有云的根底设备,数据湖手艺布置的本钱更低、更天真、更便利。9 |* ^- e; S3 i3 e

$ u: B% h/ ^3 z5 i* |( p数据湖背后的庞大潜力,驱动着各年夜云厂商纷繁下火,推出本人的云本死数据湖产物,亚马逊果结构早至古正在Gartner魔力象限对数据湖的排名中处于顶端。4 ^; i. R; H/ T! [4 ?) |9 [
" y. P; f( _1 C1 j# Y% a! S
腾讯做为数据湖疆场中的一员,将云视为数据湖理论的最好疆场,此次公布云本死数据湖系统,正在年夜秀了一把云本死智能数据湖“肌肉”的背后,实在照旧数智时期的数据剖析新趋向,包罗以云盘算为中央、以数据驱动营业及可组开式数据架构。
  I# Q5 L+ R/ w" Y5 B/ ]* @8 M
% \% P! X! L6 C# |; a7 d0 R回首已往十多年,数据湖正在手艺战产物使用层里皆变得越发成生可用,触及到数据网络、标注、锻炼等齐流程,那也意味着数据湖有着庞大的生长空间战远景。将来,包罗腾讯正在内乱的云厂商将会为数据湖带去哪些新的弄法战新思绪,也值得我们耐烦视察。
9 F& E# ]5 ?) q  F/ x
+ K: K' Q! {) l: @  A: w               
; }6 x, y1 U( y- A0 J' w. T本文链接:CSDN|存眷整站劣化网 进修更多seo相干要领...
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 发布新帖

  • 在线客服

  • 微信

  • 客户端

  • 返回顶部

  • QQ|Archiver|手机版|小黑屋|整站优化 — 整站SEO优化,万维网 SEO 整站优化网 ( 粤ICP备19158344号 ) |

    GMT+8, 2021-6-19 14:38 , Processed in 0.097378 second(s), 18 queries , Gzip On, Redis On.

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表