Как скачать и установить Apache Kafka [Windows and Linux]

Apache Kafka — это служба потоковой передачи сообщений, которая позволяет различным приложениям в распределенной системе обмениваться данными и обмениваться данными с помощью сообщений.

Он функционирует как публикационная/подсистема, в которой приложения-производители публикуют сообщения, а системы-потребители подписываются на них.

Apache Kafka позволяет использовать слабосвязанную архитектуру между частями вашей системы, которые производят и потребляют данные. Это упрощает проектирование и управление системой. Kafka использует Zookeeper для управления метаданными и синхронизации различных элементов кластера.

Особенности Apache Кафка

Apache Kafka стал популярным, в том числе, из-за своего существования.

• Масштабируемость за счет кластеров и разделов
• Высокая скорость до 2 миллионов операций записи в секунду
• Поддерживает порядок отправки сообщений
• Надежный благодаря своей системе реплик
• Его можно обновить без простоев

Теперь давайте рассмотрим некоторые распространенные варианты использования Kafka.

Распространенные варианты использования Apache Kafka

Kafka часто используется для обработки больших данных, записи и агрегирования событий, таких как нажатия кнопок для аналитики, и объединения журналов из разных частей системы в одно центральное место.

Это помогает обеспечить связь между различными приложениями в системе и обрабатывать данные с устройств IoT в режиме реального времени.

Теперь давайте подробно рассмотрим шаги по установке Kafka в Windows и Linux.

Установка Кафки в Windows

Во-первых, убедитесь, что на вашем компьютере установлена ​​Java, чтобы установить Apache Kafka в Windows. Откройте командную строку в режиме администратора и введите команду:

java --version

Если Java установлена, вы должны получить номер версии установленного JDK.

Если вы получаете сообщение об ошибке, в котором говорится, что команда не распознана, Java не установлена, и вам необходимо установить Java. Чтобы установить Java, перейдите на Adoptium.net и нажмите кнопку загрузки.

Это должно загрузить файл установки Java. После завершения загрузки запустите установщик. Это должно открыть окно установки.

Несколько раз нажмите «Далее», чтобы выбрать параметры по умолчанию. После этого должна начаться установка. Проверьте установку, закрыв командную строку, повторно открыв другую командную строку в режиме администратора и введя команду:

java --version

На этот раз вы должны получить только что установленную версию JDK. После завершения установки мы можем приступить к установке Kafka.

Чтобы установить Kafka, сначала перейдите на веб-сайт Kafka.

Нажмите на ссылку, и вы должны перейти на страницу загрузки. Загрузите последние доступные двоичные файлы.

Это загрузит сценарии и двоичные файлы Kafka, упакованные в файл .tgz. После скачивания вам необходимо извлечь файлы из архива .tgz. Для распаковки я буду использовать WinZip, который можно загрузить с веб-сайта WinZip.

После извлечения файла переместите его в папку C:, чтобы путь к файлу стал C:kafka.

Затем откройте командную строку в режиме администратора и запустите Zookeeper, сначала перейдя в каталог Kafka. И запустить файл zookeeper-server-start.bat с zookeeper.properties в качестве файла конфигурации.

cd C:kafka
binwindowszookeeper-server-start.bat configzookeeper.properties

После запуска Zookeeper нам нужно добавить исполняемый файл vmic, используемый Kafka, в нашу системную PATH,

set PATH=C:WindowsSystem32wbem;%PATH%;

После этого запустите сервер Apache Kafka, открыв другой сеанс командной строки в режиме администратора и перейдя в каталог C: kafka.

cd C:kafka

Затем запустите Kafka, запустив

binwindowskafka-server-start.bat configserver.properties

При этом Kafka должен работать. Вы можете настроить свойства сервера, например, куда записываются журналы, в файле server.properties.

Установка Кафки в Linux

Во-первых, убедитесь, что ваша система обновлена, обновив все пакеты

sudo apt update && sudo apt upgrade

Затем проверьте, установлена ​​ли Java на вашем компьютере, запустив ее

java --version

Если Java установлена, вы увидите номер версии. Однако, если нет, вы можете установить его с помощью apt.

sudo apt install default-jdk

После этого мы можем установить Apache Kafka, загрузив двоичные файлы с веб-сайта.

Откройте терминал и перейдите в папку, в которой сохранена загрузка. В моем случае мне нужно перейти в папку «Загрузки».

cd Downloads

Оказавшись в папке загрузок, извлеките загруженные файлы с помощью tar:

tar -xvzf kafka_2.13-3.3.1.tgz

Перейдите к извлеченной папке

cd kafka_2.13-3.3.1.tgz

Перечислите каталоги и файлы.

Оказавшись в папке, запустите сервер Zookeeper, запустив сценарий zookeeper-server-start.sh, расположенный в каталоге bin извлеченной папки.

Для скрипта потребуется файл конфигурации Zookeeper. Файл по умолчанию называется zookeeper.properties и находится в подкаталоге конфигурации.

Итак, для запуска сервера используйте команду:

bin/zookeeper-server-start.sh config/zookeeper.properties

Как только Zookeeper запущен и запущен, мы можем запустить сервер Apache Kafka. Скрипт kafka-server-start.sh также находится в каталоге bin. Команда также ожидает файл конфигурации. По умолчанию server.properties хранится в файле конфигурации.

bin/kafka-server-start.sh config/server.properties

Это должно запустить Apache Kafka. Внутри каталога bin вы найдете множество скриптов для таких вещей, как создание тем, управление производителями и потребителями. Вы также можете настроить свойства сервера в файле server.properties.

Заключительные слова

В этом руководстве мы рассмотрели, как установить Java и Apache Kafka. Хотя вы можете вручную устанавливать кластеры Kafka и управлять ими, вы также можете использовать управляемые варианты, такие как Amazon Web Services и Confluent.

Затем вы можете изучить обработку данных с помощью Kafka и Spark.