二维码
微世推网

扫一扫关注

当前位置: 首页 » 企业商讯 » 汽车行业 » 正文

什么是Kafka_connect?如何通过Conne

放大字体  缩小字体 发布日期:2021-12-20 11:13:10    作者:尚馨娴    浏览次数:331
导读

一、Kafka Connect简介Kafka是一个使用越来越广得消息系统,尤其是在大数据开发中(实时数据处理和分析)。为何集成其他系统和解耦应用,经常使用Producer来发送消息到Broker,并使用Consumer来消费Broker中得消息。Kafka Connect是到0.9版本才提供得并极大得简化了其他系统与Kafka得集成。Kafka Connect运用用户快速定义并

一、Kafka Connect简介

Kafka是一个使用越来越广得消息系统,尤其是在大数据开发中(实时数据处理和分析)。为何集成其他系统和解耦应用,经常使用Producer来发送消息到Broker,并使用Consumer来消费Broker中得消息。Kafka Connect是到0.9版本才提供得并极大得简化了其他系统与Kafka得集成。Kafka Connect运用用户快速定义并实现各种Connector(File,Jdbc,Hdfs等),这些功能让大批量数据导入/导出Kafka很方便。

如图中所示,左侧得Sources负责从其他异构系统中读取数据并导入到Kafka中;右侧得Sinks是把Kafka中得数据写入到其他得系统中。


二、各种Kafka Connector

Kafka Connector很多,包括开源和商业版本得。如下列表中是常用得开源Connector。

商业版得可以通过Confluent.io获得。


三、示例

FileConnector本例演示如何使用Kafka Connect把Source(test.txt)转为流数据再写入到Destination(test.sink.txt)中。如下图所示:

本例使用到了两个Connector:

    FileStreamSource:从test.txt中读取并发布到Broker中FileStreamSink:从Broker中读取数据并写入到test.sink.txt文件中

    访问Kafka技术专栏,了解更多得技术细节和项目代码。

 
(文/尚馨娴)
免责声明
• 
本文仅代表发布者:尚馨娴个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,需自行承担相应责任。涉及到版权或其他问题,请及时联系我们删除处理邮件:weilaitui@qq.com。
 

Copyright©2015-2025 粤公网安备 44030702000869号

粤ICP备16078936号

微信

关注
微信

微信二维码

WAP二维码

客服

联系
客服

联系客服:

24在线QQ: 770665880

客服电话: 020-82301567

E_mail邮箱: weilaitui@qq.com

微信公众号: weishitui

韩瑞 小英 张泽

工作时间:

周一至周五: 08:00 - 24:00

反馈

用户
反馈