Berikut adalah langkah-langkah untuk menginstal Apache Kafka di server Rocky Linux atau AlmaLinux 8 tentunya menggunakan command terminal.
Apache Kafka adalah perangkat lunak sumber terbuka yang memungkinkan penyimpanan dan pemrosesan aliran data melalui platform streaming terdistribusi. Dengan kata sederhana, Apache Kafka adalah platform streaming acara yang bertindak sebagai sistem pesan antara pengirim dan penerima dengan toleransi error dan kemampuan skalabilitas yang tinggi karena didasarkan pada arsitektur terdistribusi yang dioptimalkan untuk hal yang sama.
Nah, sistem ini awalnya dikembangkan oleh LinkedIn sebagai antrian pesan, namun, menjadi proyek dari Apache Software Foundation, ini adalah open source dan platform streaming yang kuat dengan berbagai fungsi. Ini menawarkan interface untuk menulis data ke cluster Kafka, untuk membaca data, atau untuk mengimpor dan mengekspor data ke dan dari sistem pihak ketiga. Karena latensi rendah dan throughput tinggi, ia dapat memproses streaming waktu nyata dengan mudah.
Interface juga memungkinkan user memuat aliran data dari sistem pihak ketiga atau mengekspornya ke sistem ini. Hal ini membuat Apache Kafka cocok untuk sejumlah besar data dan aplikasi di lingkungan data besar.
Ini dapat digunakan untuk berbagai aplikasi seperti melacak aktivitas situs web secara real-time, memantau aplikasi terdistribusi, menggabungkan file log dari berbagai sumber, sinkronisasi data dalam sistem terdistribusi, pelatihan model secara real-time membantu dalam pembelajaran engine, dan banyak lagi…
Apache Kafka menawarkan empat interface utama ini (API – Interface Pemrograman Aplikasi). Ketahui lebih banyak tentang setiap API di halaman dokumentasi resmi :
- API Admin
- API Produser
- API Konsumen
- API aliran
- Hubungkan API
Apa yang Anda butuhkan untuk mengikuti tutorial ini:
- Rocky atau AlmaLinux 8 atau server berbasis RHEL lainnya, jika memungkinkan, bersihkan.
- Seorang user dengan akses sudo.
Langkah-langkah untuk menginstal Apache Kafka di Rocky Linux 8
Panduan yang diberikan berlaku untuk semua sistem Linux berbasis RHEL 8 termasuk CentOS 8 dan Oracle Linux 8 untuk menginstal Kafka jika diperlukan.
1. Perbarui sistem
Nah, sebelum melangkah lebih jauh jalankan perintah pembaruan sistem untuk memastikan semua paket yang diinstal sudah terbaru. Untuk itu jalankan perintah di bawah ini, ini juga akan menyegarkan cache repositori.
pembaruan sudo dnf
2. Instal Java
Apache Kafka membutuhkan Java untuk dijalankan, maka pertama-tama kita perlu menginstalnya di lingkungan lokal kita dan itu harus sama atau lebih besar dari Java 8. Nah, kita tidak perlu menambahkan repositori ketiga karena paket untuk mendapatkan JAVA sudah ada di sana pada repo basis sistem, oleh karena itu, mari gunakan perintah yang diberikan.
Untuk Jawa 11
sudo dnf install java-11-openjdk
Nah, untuk versi terbaru seperti 16 gunakan perintah di bawah ini:
sudo dnf install epel-release
sudo dnf instal java-terbaru-openjdk
3. Download Apache Kafka terbaru di Rocky Linux 8 atau Almalinux
Apache Kafka tersedia sebagai file tarball di situs resminya. Karenanya, Buka situs web resmi dan unduh versi terbaru. Anda juga dapat menyalin tautan cermin apa pun dan menggunakan perintah wget untuk mengunduh menggunakan command line, seperti yang telah kita lakukan di sini:
sudo dnf instal wget nano
wget https://dlcdn.Apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
Ekstrak file yang didownload
tar -xf kafka_*tgz
Untuk melihat filenya:
ls
Pindahkan ke /usr/local/ hanya untuk memastikan kita tidak akan menghapus folder Kafka secara tidak sengaja.
sudo mv kafka_2.13-3.0.0/ /usr/local/kafka
4. Buat Layanan Sistem untuk Zookeeper dan Kafka
Meskipun hanya untuk pengujian Anda dapat menjalankan skrip service Zookeeper dan Kafka secara langsung, secara manual, namun untuk server produksi kita harus menjalankannya di latar belakang. Karenanya, buat unit systemd untuk kedua skrip.
Buat file sistem Zookeeper
Sesuai situs web resmi di masa depan, Kafka tidak membutuhkan Zookeeper, namun saat menulis artikel ini kita membutuhkannya. Jadi, buat file service terlebih dahulu untuk Zookeeper.
sudo nano /etc/systemd/system/zookeeper.service
Copy-Paste baris yang diberikan di bawah ini:
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.Apache.org Membutuhkan=network.target remote-fs.target After=network.target remote-fs.target [Layanan] Type=simple ExecStart=/usr/ bin/bash /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/bin/bash /usr/local/kafka/bin/zookeeper- server-stop.sh Restart=on-abnormal [Instal] WantedBy=multi-user.target
Simpan dan tutup file dengan menekan Ctr+O, tekan tombol Enter, lalu keluar menggunakan Ctrl+X.
Sekarang, buat File sistem Kafka
sudo nano /etc/systemd/system/kafka.service
Tempelkan baris berikut. Catatan – Ubah Java_Home, jika Anda menggunakan versi lain. Untuk menemukannya Anda dapat menggunakan perintah – sudo find /usr/ -name *jdk
[Unit] Description=Apache Kafka Server Documentation=http://kafka.Apache.org/documentation.html Membutuhkan=zookeeper.service [Layanan] Jenis=simple Environment=”JAVA_HOME=/usr/lib/jvm/jre-11- openjdk” ExecStart=/usr/bin/bash /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/bin/bash /usr/local /kafka/bin/kafka-server-stop.sh [Instal] WantedBy=multi-user.target
Simpan file dengan Ctrl+O, tekan tombol Enter, lalu gunakan Ctrl+X untuk keluar dari file yang sama.
Reload daemon
Untuk mencerminkan perubahan yang dibuat di atas ke dalam sistem dan menggunakan file service, reload daemon sistem sekali.
sudo systemctl daemon-reload
5. Mulai Zookeeper dan Server Kafka di Rocky Linux
Sekarang, mari kita mulai dan aktifkan kedua service server untuk memastikan keduanya juga akan aktif bahkan setelah sistem di-boot ulang.
sudo systemctl start zookeeper sudo systemctl start kafka
sudo systemctl aktifkan zookeeper Sudo systemctl aktifkan kafka
Periksa status service:
sudo systemctl status penjaga kebun binatang
sudo systemctl status kafka
6. Buat Topik Tes di Kafka – Rocky atau AlmaLinux
Kafka memungkinkan kita untuk membaca, menulis, menyimpan, dan memproses peristiwa di berbagai engine, namun, untuk menyimpan peristiwa ini kita memerlukan suatu tempat atau folder yang disebut ” Topik “. Jadi di terminal server Anda buat setidaknya satu topik menggunakan perintah berikut, menggunakan yang sama nanti Anda dapat membuat Topik sebanyak yang Anda inginkan.
Katakanlah nama Topik pertama kita adalah – testevent. Jadi untuk membuat proses yang sama:
Buka direktori Kafka Anda.
cd /usr/local/kafka/
Dan gunakan skrip Topik:
bin/kafka-topics.sh –create –bootstrap-server localhost:9092 –replication-factor 1 –partitions 1 –topic testevent
Setelah membuat topik sebanyak yang Anda inginkan, untuk mendaftar semuanya kita dapat menggunakan perintah berikut:
bin/kafka-topics.sh –list –bootstrap-server localhost:9092
7. Tulis beberapa acara menggunakan Kafka Producer dan baca bersama konsumen
Kafka menawarkan dua API – Produser dan Konsumen, karena keduanya menawarkan client command line. Produser bertanggung jawab untuk membuat acara dan Konsumen menggunakannya untuk menampilkan atau membaca data yang dihasilkan oleh Produser.
Buka Dua tab atau sesi terminal untuk memahami generator acara dan penyiapan pembaca secara real-time.
#Pada satu terminal pertama:
Untuk menguji mari kita buat beberapa acara menggunakan skrip Producer:
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic testevent
Ketik beberapa teks yang ingin Anda streaming dan tampilkan di sisi konsumen.
#Di terminal lain
Jalankan, perintah yang diberikan di bawah ini bersama dengan nama topik untuk memeriksa pesan atau data peristiwa yang dihasilkan secara real-time:
bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topik testevent –dari awal
Artikel lainnya:
• Cara Install LAMP di Server Rocky Linux 8 • Cara Install phpMyAdmin di Rocky Linux 8 dengan Apache • Install Apache, MySQL, dan PHP di Rocky atau AlmaLinux 8 • Cara Install InfluxDB di AlmaLinux atau Rocky 8