学员试听 >
机构入驻 >
试听课程申请
看不清,请点击刷新
立即申请
机构入驻申请
看不清,请点击刷新
立即申请
试听课程申请
看不清,请点击刷新
立即申请
机构入驻申请
看不清,请点击刷新
立即申请
课程分类
寻客吧 > 教育新闻 > 电脑培训 >  Pravega是什么

Pravega是什么

时间:2025-06-12 16:04:33  编辑:洛阳达内  来源:寻客吧  浏览:120次   【】【】【
  Pravega是什么
  Pravega项目的名字来源于梵语,意为good speed。它起源2016年,是基于pacheV2协议在Github上开源,在2020年11月时,加入了CNCF的大家庭,成为NCF的sandbox项目。
  Pravega项目专门针对大规模数据流场景而设计,它的存在弥补了传统消息队列存储短板的一种新的企业级存储系统。除了保持流的无边界、高高性能的读写上,它还为企业级添加了一些特性:比如弹性伸缩和分层存储,可以帮助企业用户降低使用和维护成本。

  与此同时我们在存储领域也有多年的技术沉淀,可以依托公司商用存储产品为客户提供持久的存储。

Pravega是什么

  l首先,我们看中间的部分。它是一个Pravega的集群,整体是以stream抽象的系统。对于stream,我们可以把它类比成Kafka的topic。同样的道理,ravega的Segment可以类比Kafka的Partition,作为数据分区的概念,同时还提供动态伸缩的功能。
  Segment存储二进制数据流,并且根据数据流量的大小,发生merge或者split的操作,以释放或者集中资源。此时Segment会进行seal操作禁止新数据写入,然后由新建的Segment进行新数据的接收。
  l图片左侧是数据写入的场景,支持append only的写入。用户可以对于每一个event指定Routing key来决定Segment的归属。
  这一点可以类比Kafka Partitioner。单一的Routing key上的数据具有保序性,确保读出的顺序与写入相同。
  l在图片的右边是数据读取的场景,多个reader都有Reader Group来管控。Reader Group控制reader之间的负载均衡,以确保所有Segment在reader之间均匀分布。还提供了Checkpoint机制,形成了一致的stream切分,以增加数据的故障恢复。
  在“读”方面,我们支持分批和流的语义。对于流的场景,我们支持尾读;对于批的场景,我们会更多地考虑通过高并发来产生高吞吐。