Pravega是什么
来源:
寻客吧 编辑:
洛阳达内 浏览:128次 2025-06-12 16:04:33
Pravega是什么 Pravega项目的名字来源于梵语,意为good speed。它起源2016年,是基于pacheV2协议在Github上开源,在2020年11月时,加入了CNCF的大家庭,成为NCF的sandbox项目。 Pravega项目专门针对大规模数据流场景而设计,它的存在弥补了传统消息队列存储短板的一种新的企业级存储系统。除了保持流的无边界、高高性能的读写上,它还为企业级添加了一些特性:比如弹性伸缩和分层存储,可以帮助企业用户降低使用和维护成本。 与此同时我们在存储领域也有多年的技术沉淀,可以依托公司商用存储产品为客户提供持久的存储。

l首先,我们看中间的部分。它是一个Pravega的集群,整体是以stream抽象的系统。对于stream,我们可以把它类比成Kafka的topic。同样的道理,ravega的Segment可以类比Kafka的Partition,作为数据分区的概念,同时还提供动态伸缩的功能。 Segment存储二进制数据流,并且根据数据流量的大小,发生merge或者split的操作,以释放或者集中资源。此时Segment会进行seal操作禁止新数据写入,然后由新建的Segment进行新数据的接收。 l图片左侧是数据写入的场景,支持append only的写入。用户可以对于每一个event指定Routing key来决定Segment的归属。 这一点可以类比Kafka Partitioner。单一的Routing key上的数据具有保序性,确保读出的顺序与写入相同。 l在图片的右边是数据读取的场景,多个reader都有Reader Group来管控。Reader Group控制reader之间的负载均衡,以确保所有Segment在reader之间均匀分布。还提供了Checkpoint机制,形成了一致的stream切分,以增加数据的故障恢复。 在“读”方面,我们支持分批和流的语义。对于流的场景,我们支持尾读;对于批的场景,我们会更多地考虑通过高并发来产生高吞吐。
免责声明:
本文部分系转载,转载目的在于传递更多信息,如涉及作品内容、版权和其它问题,请在30日内与我们联系重改或删除,以保证您的权益!
南京哪里php培训好?PHP语言之所以能有今天的地位,得益于PHP语言设...
南京php培训哪个便宜?PHP5在长时间的开发及多个预发布版本后,2004...
南京网页设计师培训学习班?如今网页设计属于一个很热门的技术,一个...
南京网页设计师培训?网页设计师的发展前景好吗,据统计中国4000多万...