Apache Kafka Чтение из топиков

Простое чтение топика с нулевой позиции:

./kafka-console-consumer.sh --bootstrap-server $HOST:$PORT --topic $TOPIC_NAME --from-beginning

Для чтения с определённой позиции нужно знать максимальный оффсет:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list $HOST:$PORT --topic $TOPIC_NAME

Цифра, которую выдаст команда, это максимальное смещение.

./kafka-console-consumer.sh --bootstrap-server $HOST:$PORT --topic $TOPIC_NAME --offset $OFFSET_START --partition $PARTITION_NUMBER

$OFFSET_START — это максимальное смещение минус некая величина до позиции, с которой мы хотим вычитать топик.

Поделиться
Отправить