Apache Kafka est une plateforme de streaming distribuée qui permet de publier, de s’abonner à des flux de données, de les stocker et de les traiter en temps réel. Kafka est largement utilisé pour construire des architectures de traitement de données robustes et évolutives. Dans cet article, nous explorerons comment installer Apache Kafka sur Fedora 39, en fournissant des instructions claires et des exemples de commandes pour rendre le processus accessible aux débutants, tout en offrant une profondeur technique pour les utilisateurs avancés.

Prérequis

Avant de commencer, assurez-vous que votre système Fedora 39 est à jour. Ouvrez un terminal et exécutez :

sudo dnf update -y

Apache Kafka nécessite Java pour fonctionner. Assurez-vous que Java est installé sur votre système :

sudo dnf install java-11-openjdk -y

Étape 1 : Téléchargement d’Apache Kafka

1. Visitez le site officiel d’Apache Kafka pour obtenir le lien de téléchargement de la dernière version de Kafka.
2. Téléchargez Apache Kafka sur votre système Fedora en utilisant wget. Remplacez l’URL ci-dessous par l’URL de la dernière version disponible :

cd /tmp
wget https://downloads.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz

3. Extrayez le fichier téléchargé :

tar -xvzf kafka_2.13-3.0.0.tgz

4. Déplacez le dossier extrait dans un répertoire plus approprié, par exemple /opt :

sudo mv kafka_2.13-3.0.0 /opt/kafka

Étape 2 : Configuration de Kafka

Avant de démarrer Kafka, vous devez configurer Zookeeper, qui est utilisé pour gérer et coordonner le cluster Kafka.

1. Naviguez dans le répertoire Kafka :

cd /opt/kafka

2. Kafka utilise Zookeeper, donc démarrons d’abord Zookeeper :

bin/zookeeper-server-start.sh config/zookeeper.properties

Laissez ce terminal ouvert et ouvrez un nouveau terminal pour démarrer Kafka.

Étape 3 : Démarrage du serveur Kafka

Dans un nouveau terminal, démarrez le serveur Kafka en exécutant :

cd /opt/kafka
bin/kafka-server-start.sh config/server.properties

Votre serveur Kafka devrait maintenant être opérationnel.

Étape 4 : Création d’un sujet Kafka

Pour tester si Kafka fonctionne correctement, créez un sujet Kafka :

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

Vous pouvez lister les sujets pour voir si votre sujet a été créé :

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

Étape 5 : Tester la production et la consommation de messages

1. Ouvrez un terminal et lancez le producteur Kafka :

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

2. Tapez quelques messages dans le terminal du producteur.
3. Ouvrez un autre terminal et lancez le consommateur Kafka :

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

Vous devriez voir les messages tapés dans le terminal du producteur apparaître dans le terminal du consommateur.

Pour ceux qui recherchent une solution d’hébergement fiable et performante pour leur serveur Apache Kafka, Shape.host offre des services Cloud VPS adaptés à vos besoins. Nos VPS Linux SSD offrent les performances et la flexibilité nécessaires pour héberger Apache Kafka, assurant ainsi une gestion efficace des flux de données en temps réel et une scalabilité selon les besoins de votre projet.