Celery任务重试机制

问题：celery使用redis作为消息队列时，延时任务（delay/appley_async的eta/contdown）被重复执行多次

结论：celery的ack机制，原因是配置了如下：

1. 启用了task_acks_on_failure_or_timeout+ visibility_timeout，失败和超时会把任务push回queue中。

2. eta/countdown的时间 > visibility_timeout, redis中unacked的key中存写的task会被push回celery配置的对应的queue中供其他worker消费

>>> from celery_conf import app

>>> app.conf.task_acks_late

False

>>> app.conf.task_acks_on_failure_or_timeout

True

>>> app.conf.CELERY_BROKER_TRANSPORT_OPTIONS

{'socket_timeout': 5, 'visibility_timeout': 5}

Celery 任务确认（ACK）过程总结

Celery 通过任务确认机制（ACK）来确保任务在成功处理后从队列中移除。如果任务未成功处理（例如，因超时或异常），则任务会被重新推送到队列。理解 Celery 中任务确认的过程以及相关配置项对确保任务顺利执行至关重要。

1. ACK 过程概述

1. 任务发布：当你通过 apply_async 或 delay 等方法将任务发布到队列时，任务首先被发送到消息中间件（如 Redis、RabbitMQ）中等待消费。
2. 任务消费：Celery worker 从消息队列中取出任务并开始执行。如果任务执行时没有遇到异常，它会在执行完成后发送 ACK 信号，告诉消息队列任务已成功处理。
3. 任务确认：成功确认：当任务成功执行并返回结果时，Celery 会发送 ACK 信号，任务从队列中被移除。失败或异常：如果任务在执行过程中发生错误，任务不会立即发送 ACK。任务可能会根据配置被重新推送回队列（例如，重试或延迟重试）。超时确认：如果任务在规定的时间内没有完成，Celery 会将任务视为超时并重新推送到队列，直到任务被成功执行或达到重试次数限制。

2. ACK 过程的详细步骤

1. 任务拉取与执行：Celery worker 从消息队列中拉取任务并开始执行。在任务开始时，如果设置了 task_acks_late=False（默认），任务会在开始执行时确认，标记任务已从队列中移除。即使任务失败，队列也不会再推送该任务。
2. 任务执行完成后：任务成功：当任务成功执行时，Celery 会向消息队列发送 ACK 信号，标记任务已完成。此时任务会从队列中删除。任务失败：如果任务执行失败（例如抛出异常），Celery 不会立即发送 ACK 信号。失败的任务可以通过设置重试机制重新放回队列，等待重试执行。
3. 超时与 ACK：超时机制：如果任务执行时间超过 visibility_timeout（当使用 Redis 作为 broker 时），任务会被认为超时，并重新推送到队列中进行重试。
4. 任务确认的配置项：通过设置 Celery 配置项来控制 ACK 过程的行为。例如，task_acks_late 控制是否在任务完全成功后才发送 ACK，task_acks_on_failure_or_timeout 控制任务失败或超时是否重新推送到队列。

3. 相关配置项及其说明

Celery 提供了一些配置项来控制任务确认的行为，下面是与任务 ACK 相关的常见配置项：

3.1 task_acks_late

• 作用：控制任务是否在成功执行后才发送确认信号。如果设置为 True，任务会在成功执行后发送确认信号；如果为 False（默认值），任务会在开始执行时就发送确认信号，表示任务已从队列中移除。
• 配置：app.conf.task_acks_late = True # 只有任务成功执行后，才会确认 task_acks_late=True：只有在任务成功执行后才会发送 ACK。任务执行过程中，如果出现异常，任务不会被确认，确保任务在完全成功后才从队列中移除。task_acks_late=False（默认）：任务在开始执行时就发送 ACK，无论任务是否成功完成。

3.2 task_acks_on_failure_or_timeout

• 作用：控制任务失败或超时是否重新推送到队列。如果设置为 True，任务失败或超时后将被重新推送到队列。如果为 False（默认值），任务不会被重新推送。
• 配置：app.conf.task_acks_on_failure_or_timeout = True # 任务失败或超时时，重新推送到队列 task_acks_on_failure_or_timeout=True：任务在失败或超时时不会立即被确认，而是重新推送到队列中，等待重试。task_acks_on_failure_or_timeout=False（默认）：任务失败或超时后，任务不再推送到队列中。

3.3 visibility_timeout

• 作用：控制任务在被拉取后，等待确认的最大时间。如果任务在 visibility_timeout 设置的时间内没有完成，任务会被视为超时并重新推送到队列。
• 配置：app.conf.broker_transport_options = { 'visibility_timeout': 10 * 60 # 设置为 10 分钟，适用于长期运行的任务 } visibility_timeout：用于防止任务由于未确认而“卡住”，确保任务不会长时间阻塞在队列中。如果任务超时，Celery 会认为它没有被成功执行，并重新推送。

3.4 task_retries & max_retries

• 作用：控制任务失败后的重试机制。如果任务失败，并且设置了重试机制，Celery 会根据配置重试任务。
• 配置：app.conf.task_max_retries = 3 # 设置任务的最大重试次数 task_max_retries：定义任务失败后的最大重试次数。超过此次数后，任务将不再被重试。任务失败时可以通过 retry 方法来触发重试：@app.task(bind=True, max_retries=3) def add(self, x, y): try: return x + y except Exception as e: raise self.retry(exc=e)

3.5 prefetch_multiplier

• 作用：控制每个 worker 可以提前获取的任务数量。通过限制 worker 每次能拉取的任务数量，防止任务被重复消费或过多任务被拉取到 worker。
• 配置：app.conf.worker_prefetch_multiplier = 1 # 每个 worker 只获取一个任务 worker_prefetch_multiplier：配置 worker 每次预取的任务数量。如果设置为 1，worker 会只拉取一个任务并等待确认。通过合理设置此参数，可以避免任务被多个 worker 重复消费。

4. 总结

• 任务确认（ACK） 是确保任务成功执行并从队列中移除的重要机制。
• task_acks_late 配置控制任务是否在成功执行后才确认，避免任务在执行中被错误确认。
• task_acks_on_failure_or_timeout 控制任务在失败或超时后是否重新推送到队列，确保任务不会丢失。
• visibility_timeout 用于确保任务在一定时间内未完成时会重新推送到队列，防止任务卡住。
• task_max_retries 和 prefetch_multiplier 等配置项也间接影响任务的确认行为，确保任务的可靠执行。

理解和合理配置 Celery 的确认机制，可以帮助你确保任务的可靠性与稳定性。如果任务确认失败或存在异常，配置合适的重试策略和超时机制，确保任务不被丢失并能重新执行。