消息队列与事件驱动架构

🎯学习目标

• 理解消息队列（MQ）的概念与三大核心作用：异步解耦、流量削峰、最终一致性；
• 区分点对点（Queue）与发布/订阅（Topic）两种消息模型；
• 掌握三种消息投递语义（At Most/Least/Exactly Once）与消息顺序性保证；
• 理解 Kafka 架构（Broker/Topic/Partition/Offset/Consumer Group）与 RabbitMQ 核心概念及 Exchange 类型；
• 理解事件驱动架构（EDA）、事件溯源与 CQRS，掌握 Redis Pub/Sub 与 Stream 的差异。

1消息队列基础

消息队列（Message Queue, MQ）是一种应用间通过消息进行异步通信的中间件。分布式系统中服务之间经常需要交换数据、异步处理任务或应对流量波动，MQ 能有效提升系统的解耦性、可扩展性与可维护性。

MQ 三大核心作用

2消息模型：点对点 vs 发布/订阅

消息队列有两种基本模型，理解它们是后续 Kafka/RabbitMQ 的基础：

3消息投递语义与顺序性 ⭐（核心考点）

投递语义：在消息传递过程中，确保消息按预期方式到达消费者的可靠性保障。共三种：

消息顺序性保证

• 单分区保证：同一分区内消息有序（Kafka、Redis Stream）；
• 单队列保证：同一队列 FIFO 先入先出；
• 多分区/多队列：无法保证全局顺序，只保证分区/队列内顺序。增加分区数可提升并行性，但牺牲全局顺序。

4Apache Kafka

Kafka 最初由 LinkedIn 开发，2010 年贡献给 Apache 基金会成为顶级开源项目，是一个分布式的发布/订阅消息系统。核心由 Broker、Topic、Partition、Consumer Group 组成。

Partition 与 Offset

Topic 是逻辑概念，Partition 是最小存储单元，每个 Partition 都是一个单独的 log 文件，每条记录以追加（append）形式写入。Partition 中每条记录被分配唯一递增、不可变的序号——Offset（偏移量），由 Kafka 自动维护。

Kafka 也常用于实时流处理，支持数据的过滤、转换、聚合，常结合 Flink / Spark Streaming 做进一步分析。生产者发布消息示例：

from kafka import KafkaProducer
import json
producer = KafkaProducer(
    bootstrap_servers=['localhost:9093'],
    value_serializer=lambda v: json.dumps(v).encode('utf-8'))
producer.send('test-topic', value={'key': 'value'}, partition=0)  # 指定分区
producer.flush(); producer.close()

from kafka import KafkaConsumer
consumer = KafkaConsumer('test-topic',
    bootstrap_servers=['localhost:9093'],
    group_id='test-consumer-group',     # 消费者组
    auto_offset_reset='earliest')        # 从最早消息开始消费
for msg in consumer:
    print(msg.value, 'from partition', msg.partition)

5RabbitMQ

RabbitMQ 是基于 AMQP（Advanced Message Queuing Protocol）协议实现的消息队列系统。AMQP 是广泛应用的开放标准协议，目标是为消息传递提供标准化方式，关键特性是可靠性、可扩展性、灵活性。

三种 Exchange 类型

生产者把消息发给 Exchange（而非直接发给 Queue），由 Exchange 按规则路由到一个或多个队列，便于解耦、扩展与灵活路由：

可靠性机制

• ACK 消息确认：消费者处理完消息后发 ACK 告知成功，只有确认后消息才被标记为已处理，确保不丢失。
• 消息持久化：持久化消息同时写入磁盘和内存；非持久化消息一般重启后丢失。
• 死信队列 DLQ：无法被正常消费的消息（死信）转移到的专门队列。常见原因：消息 TTL 过期、队列达最大长度被丢弃、消息被拒绝。
• 延迟消息：通过延迟交换机指定延迟时间，消息在指定时间后再被消费（如下单后限时未支付自动失效）。

6事件驱动架构（EDA）

事件驱动架构（Event-Driven Architecture, EDA）是一种基于异步处理的架构，通过事件来驱动系统行为，而非通过请求和响应。特点：松耦合、异步处理、高可扩展性。

事件溯源与 CQRS

7Redis Pub/Sub 与 Stream

Redis 是开源高性能键值对存储系统，常作数据库、缓存和轻量级消息中间件使用。核心思想是数据放内存（RAM）加快读写，优势是低延迟、高性能、高吞吐、轻量级。

Pub/Sub 模式

发布者发布消息，订阅者订阅消息。优点：松耦合、实时性、多对多通信；缺点：订阅者离线则消息丢失、不保证顺序、难以跟踪消息处理状态。

import redis
client = redis.StrictRedis(host='localhost', port=6379, db=0)
client.publish('chat_channel', 'hello')      # 发布
pubsub = client.pubsub(); pubsub.subscribe('chat_channel')  # 订阅
for message in pubsub.listen():
    if message['type'] == 'message':
        print('Received:', message['data'].decode())

Redis Stream

Redis Stream 是新特性，允许持久化存储消息，可对消息消费、确认和追踪，支持按时间排序确保有序消费。

⭐重点例题

🎯自测（点击展开）

📝强化题库

选择题点选即时判分；填空题输入后"检查"或"显示答案"。