黑马头条 Kafka

我是南城余！阿里云开发者平台专家博士证书获得者！

欢迎关注我的博客！一同成长！

一名从事运维开发的worker，记录分享学习。

专注于ai，运维开发，windows linux 系统领域的分享！

知识库链接：

黑马头条d1 · 语雀

---

参考文章：

【黑马头条之kafka及异步通知文章上下架】_黑马头条项目使用kafka的作用是什么-csdn博客

黑马头条使用kafka是为了实现文章管理端和app端的文章状态（已发布、或点赞等数据量大的操作）进行及时性传递。

1. 消息中间件分类

2. kafka安装

docker pull zookeeper:3.4.14
docker run -d --name zookeeper -p 2181:2181 zookeeper:3.4.14


docker pull wurstmeister/kafka:2.12-2.3.1

docker run -d --name kafka \
--env kafka_advertised_host_name=192.168.200.130 \
--env kafka_zookeeper_connect=192.168.200.130:2181 \
--env kafka_advertised_listeners=plaintext://192.168.200.130:9092 \
--env kafka_listeners=plaintext://0.0.0.0:9092 \
--env kafka_heap_opts="-xmx256m -xms256m" \
--net=host wurstmeister/kafka:2.12-2.3.1

3. kafka入门

设置多个组 可以满足一对多

4. kafka分区

5. kafka高可用设计

6. kafka生产者

7. spring boot 集成kafka

在yml中同时配置序列化和反序列化（序列化在java中，简单理解就是将对象转换为字节流，反序列化则相反，将字节流转化为java对象）

8. kafka的一些问题记录

8.1. kakfa的同步和异步有啥区别

同步会确认服务器的确认，确认完才能发送消息，异步则不需要！

在apache kafka中，同步（synchronous）和异步（asynchronous）通常是指生产者（producer）发送消息到kafka集群的方式。下面是它们的区别：

1. 同步发送（synchronous sending）：

• • 在同步发送中，生产者发送消息后会等待服务器的确认（acknowledgment）。
  • 生产者会等待直到收到对消息的确认，以确保消息已经成功写入kafka集群的指定分区。
  • 这种方式可以提供更高的可靠性，因为生产者会等待直到kafka确认接收到消息并将其写入至少一个分区。但同时，它可能会引入一些延迟，因为生产者需要等待确认。

1. 异步发送（asynchronous sending）：

• • 在异步发送中，生产者发送消息后不会等待服务器的确认，而是继续发送下一批消息。
  • 这种方式可以提供更高的吞吐量，因为生产者可以继续发送新消息而不必等待每个消息的确认。
  • 不过，这也意味着生产者不能立即得知消息是否成功写入kafka。如果发生错误，可能需要通过回调函数或其他方式来处理。

选择同步还是异步发送取决于应用程序的需求和性能要求。同步发送通常用于对数据可靠性有更高要求的情况，而异步发送则适用于对延迟和吞吐量有更高要求的情况。在异步发送中，生产者可能需要实现一些方式来处理潜在的错误和重试机制，以确保消息最终被成功写入。

8.2. kafka的分区，主题有啥区别

分区是物理上的，主题是逻辑上的，两者其实属于同一纬度，是人们为了更好的区分。

在apache kafka中，分区（partition）和主题（topic）是两个核心的概念，它们在消息传递和存储中起到关键作用。

1. 主题（topic）：

• • 主题是消息发布和订阅的逻辑容器。它是一种逻辑概念，用于组织和分类消息。你可以将主题看作是消息的分类或主题的命名标识符。
  • 生产者将消息发送到特定的主题，而消费者则从特定的主题订阅消息。主题可以有多个订阅者，允许多个消费者独立地消费同一主题的消息。
  • 主题可以被配置为拥有多个分区，以便实现水平扩展和提高并行性。

1. 分区（partition）：

• • 分区是主题的物理子集，每个分区是一个有序且不可变的消息序列。每个消息都属于一个特定的分区。
  • 分区允许kafka在集群中并行处理和存储消息。它们是kafka实现高吞吐量和水平扩展性的关键因素之一。
  • 每个分区在物理上存储在不同的地方，并且可以在不同的机器上。这有助于分散负载和提高容错性。
  • 消费者可以独立地从每个分区读取消息，这提高了并发性。

关键区别：

• 主题（topic）是逻辑概念，用于组织和分类消息；而分区（partition）是主题的物理子集，用于实现水平扩展和并行处理。
• 主题可以包含一个或多个分区，每个分区存储特定范围的消息。
• 消费者订阅主题，但实际上消费者是从分区中读取消息的。

总体而言，主题提供了逻辑上的组织和分类，而分区则允许在分布式环境中高效地存储和处理消息。