分类： kafka

前言 在 Python 的异步生态中，当我们谈到与 Apache Kafka 交互时，aiokafka 无疑是首选的库。它基于 asyncio 构建，能够让我们以非阻塞的方式高效地生产和消费消息，非常适合 I/O 密集型的高并发场景。 然而，要构建一个稳定可靠的消费者，仅仅会用 consumer.getone() 或 async for 是不够的。真正的挑战在于如何精确地管理消费位移（Offset…

需要注意帮 DOCKER_HOST_IP 配置成外部可以访问你容器的ip地址，直接修改DOCKER_HOST_IP或者后面的 127.0.0.1都可以。如果这个不修改，外部访问你这个kafka可能会有问题。 参考资料： https://github.com/conduktor/kafka-stack-docker-compose.git

最近要实现一个基于kafka的流数据处理，需要一个本地的kafka开发环境，有一些在线的测试数据。 项目结构： main.py config.ini Dockerfile docker-compose.yml 编译好镜像直接运行即可，配置指定好测试数据位置和kafka位置。

主要是用 kafka-consumer-groups.sh 这个指令。 –bootstrap-server localhost:9092 –group consumerGroupId 主要是指定要操作的集群和消费者组， –describe可以看到当前消费的主题列表和偏移量情况。 –bootstrap-server localhost:9092 –group consumerGr…

服务器准备 我这边准备了3台服务器，分别是172.26.130.15、172.26.130.16、172.26.130.17，都是装的centos7的系统，防火墙都关闭了。 配置zookeeper 下载zookeeper https://zookeeper.apache.org/releases.html 下载你需要的版本,我下载的是 apache-zookeeper-3.5.8-bin.tar.…