高速数据总线Kafka介绍

作者：朱洁 2017-07-02 13:43:42

云计算

Kafka 本文主要介绍高速数据总线kafka，下面，我们就从Kafka的作用、产生背景以及架构等方面来详细讲解。

为南丰等地区用户提供了全套网页设计制作服务，及南丰网站建设行业解决方案。主营业务为做网站、成都做网站、南丰网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

1. Kafka的作用

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。有没有一个系统可以同时搞定在线应用(消息)和离线应用(数据文件，日志)?这就需要kafka。Kafka可以起到两个作用：

• 降低系统组网复杂度。
• 降低编程复杂度，各个子系统不在是相互协商接口，各个子系统类似插口插在插座上，Kafka承担高速数据总线的作用。

2. Kafka产生背景

Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。

传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消(队列)系统能够很好的处理实时或者近似实时的应用，但未处理的数据通常不会写到磁盘上，这对于Hadoop之类(一小时或者一天只处理一部分数据)的离线应用而言，可能存在问题。Kafka正是为了解决以上问题而设计的，它能够很好地离线和在线应用。

3. Kafka架构

• 生产者(producer):消息和数据产生者
• 代理(Broker)：缓存代理
• 消费者(consumer)：消息和数据消费者

架构很简单，Producer，consumer实现Kafka注册的接口，数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。

4. 设计要点

(1) 直接使用linux 文件系统的cache，来高效缓存数据。

(2) 采用linux Zero-Copy提高发送性能。传统的数据发送需要发送4次上下文切换，采用sendfile系统调用之后，数据直接在内核态交换，系统上下文切换减少为2次。根据测试结果，可以提高60%的数据发送性能。Zero-Copy详细的技术细节可以参考：https://www.ibm.com/developerworks/linux/library/j-zerocopy/

(3) 数据在磁盘上存取代价为O(1)。

• 以topic来进行消息管理，每个topic包含多个part(ition)，每个part对应一个逻辑log，有多个segment组成。
• 每个segment中存储多条消息(见下图)，消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。
• 每个part在内存中对应一个index，记录每个segment中的第一条消息偏移。
• 发布者发到某个topic的消息会被均匀的分布到多个part上(随机或根据用户指定的回调函数进行分布)，broker收到发布消息往对应part的最后一个segment上添加该消息，当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被flush到磁盘，只有flush到磁盘上的消息订阅者才能订阅到，segment达到一定的大小后将不会再往该segment写数据，broker会创建新的segment。

(4) 显式分布式，即所有的producer、broker和consumer都会有多个，均为分布式的。Producer和broker之间没有负载均衡机制。broker和consumer之间利用zookeeper进行负载均衡。所有broker和consumer都会在zookeeper中进行注册，且zookeeper会保存他们的一些元数据信息。如果某个broker和consumer发生了变化，所有其他的broker和consumer都会得到通知。

5. 类似的系统

RocketMQ:国内淘宝团队参考开源的实现的消息队列，解决了kafka的一些问题，如优先级问题。

6. 参考资料：

• http://blog.chinaunix.net/uid-20196318-id-2420884.html
• http://dongxicheng.org/search-engine/kafka/

【本文为51CTO专栏作者“大数据和云计算”的原创稿件，转载请通过微信公众号获取联系和授权】

戳这里，看该作者更多好文

当前名称：高速数据总线kafka介绍
网页链接：http://www.gawzjz.com/qtweb2/news37/25087.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联