Dalam tutorial ini, Anda akan belajar cara memantau metrik sistem Linux dengan ELK Stack. ELK Stack, atau jika Anda suka, Elastic stack dapat digunakan untuk memantau metrik sistem Linux dengan bantuan Metricbeat. Metricbeat adalah pengirim ringan untuk metrik sistem. Itu dapat mengumpulkan useran CPU tingkat sistem, memori, sistem file, disk IO, dan statistik IO jaringan, serta statistik top-like untuk setiap proses yang berjalan di sistem Anda dan mengirimkannya ke Elasticsearch untuk pengindeksan guna mengaktifkan visualisasi melalui alat visualisasi seperti Kibana.
Pantau Metrik Sistem Linux dengan ELK Stack
Instal dan Siapkan ELK Stack
Agar dapat memantau metrik sistem Linux dengan ELK Stack, Anda harus menyiapkan dan menjalankan ELK stack. Pengaturan ELK Stack berada di luar cakupan panduan ini, namun Anda dapat mengikuti tautan di bawah ini untuk menginstal dan mengatur ELK Stack
Instal ELK Stack di Ubuntu 20.04
Menginstal ELK Stack di CentOS 8
Terapkan Cluster Stack Elastis Node Tunggal pada Kontainer Docker
Instal Elastic Stack 7 di Fedora 30/Fedora 29/CentOS 7
Instal Metricbeat di Sistem Linux
Dalam tutorial ini kita akan menggunakan sistem CentOS 8 dan Ubuntu 20.04 untuk demo.
Instal Metricbeat di Ubuntu 20.04
Anda dapat menginstal Metricbeat dari repo Elastis resmi atau langsung menggunakan biner Metricbeat DEB. Kami menggunakan metode sebelumnya dalam pengaturan ini.
Instal Elastic stack repo Public Signing Key:
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Instal repo stack elastis di Ubuntu 20.04;
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Perbarui cache paket;
apt update
Instal Metricbeat di Ubuntu 20.04;
apt install metricbeat
Instal Metricbeat di CentOS 8
Demikian pula, Anda dapat menginstal Metricbeat di CentOS 8 menggunakan biner RPM atau langsung dari repo stack Elastis. Demi kenyamanan, kami menginstalnya dari repo stack Elastis, oleh karena itu;
Instal Elastic stack repo Public Signing Key:
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
Instal repo stack Elastis di CentOS 8;
cat << EOL > /etc/yum.repos.d/elasticstack.repo [elastic-7.x] name=Elastic repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md EOL
Perbarui cache paket;
dnf update
Instal Metricbeat di Ubuntu 20.04;
dnf install metricbeat
Konfigurasikan Metricbeat untuk mengumpulkan berbagai metrik sistem
Setelah pemasangan metrik selesai, konfigurasikan untuk mengumpulkan berbagai metrik sistem dan kirimkan ke Elasticsearch atau Logstash tergantung pada pengaturan Anda.
Konfigurasikan Metricbeat di Linux
Untuk memulainya, konfigurasikan keluaran Metricbeat. Dalam pengaturan ini, kami mengirimkan data Metricbeat langsung ke Elasticsearch yang berjalan di host jarak jauh. Dengan demikian, edit file konfigurasi Metricbeat dan tentukan output Elasticsearch.
vim /etc/metricbeat/metricbeat.yml
... # ---------------------------- Elasticsearch Output ---------------------------- output.elasticsearch: # Array of hosts to connect to. #hosts: ["localhost:9200"] hosts: ["192.168.57.30:9200"]
Jika Anda mengirim data metrik ke Logstash, beri komentar pada konfigurasi keluaran Elasticsearch dan aktifkan keluaran Logstash sebagai berikut;
... # ---------------------------- Elasticsearch Output ---------------------------- #output.elasticsearch: # Array of hosts to connect to. #hosts: ["localhost:9200"] #hosts: ["192.168.57.30:9200"] # Protocol - either `http` (default) or `https`. #protocol: "https" # Authentication credentials - either API key or username/password. #api_key: "id:api_key" #username: "elastic" #password: "changeme" # ------------------------------ Logstash Output ------------------------------- output.logstash: # Logstash hosts #hosts: ["localhost:5044"] hosts: ["192.168.57.30:5044"]
Konfigurasikan Titik Akhir Kibana
Jika Anda ingin menggunakan dasbor Kibana bawaan Metricbeat dan Kibana serta Elasticsearch berjalan pada host yang terpisah, maka Anda perlu memuat dasbor secara manual. Untuk alasan ini, Anda perlu mengonfigurasi titik akhir Kibana. Jika tidak, jika Kibana dan Elasticsearch berjalan pada host yang sama, Anda tidak perlu mengonfigurasi titik akhir Kibana dan dapat mengabaikan konfigurasi ini dengan aman.
vim /etc/metricbeat/metricbeat.yml
... # =================================== Kibana =================================== # Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API. # This requires a Kibana endpoint configuration. setup.kibana: # Kibana Host #host: "localhost:5601" host: "192.168.57.30:5601"
Konfigurasikan pencatatan Metricbeat
Untuk memastikan bahwa Metricbeat masuk ke file spesifiknya alih-alih syslog (/var/log/syslog, /var/log/messages), masukkan baris berikut ke dalam file konfigurasi;
# ================================= Logging ==================================== logging.level: info logging.to_files: true logging.files: path: /var/log/metricbeat name: metricbeat keepfiles: 7 permissions: 0644
Simpan dan keluar dari konfigurasi.
Aktifkan dan konfigurasikan modul pengumpulan metrik
Metricbeat mengirimkan selusin modul yang memungkinkannya mengumpulkan metrik service tertentu. Anda dapat membuat daftar modul dengan menjalankan perintah di bawah ini;
metricbeat modules list
Perintah menunjukkan modul yang diaktifkan dan dinonaktifkan;
Enabled: system Disabled: activemq aerospike apache...
Untuk mengaktifkan modul, cukup jalankan;
metricbeat modules enable <module-name>
Dimana module-name bisa anda peroleh dari daftar di atas.
Demikian pula, untuk menonaktifkan modul;
metricbeat modules disable <module-name>
Dalam pengaturan ini, kami menggunakan modul sistem Metricbeat, yang sudah diaktifkan. Modul ini mengumpulkan metrikset berikut; cpu,load,memory,network,process,process_summary,socket_summary,entropy,core,diskio,socket,service,users.
Jika Anda ingin memodifikasi modul, cukup buka file, /etc/metricbeat/modules.d/system.yml, untuk diedit.
Muat Dasbor Kibana Metrik/Template Indeks Elasticsearch
Anda dapat memuat template indeks yang direkomendasikan untuk menulis ke Elasticsearch dan menerapkan dasbor sampel untuk memvisualisasikan data Metricbeat di Kibana dengan menjalankan perintah di bawah ini;
metricbeat setup -e
Jika Anda menggunakan Logstash atau engine pemroses lainnya alih-alih menggunakan Elasticsearch sebagai output, Anda perlu memuat template indeks secara manual ke Elasticsearch. Ini membutuhkan koneksi langsung ke Elasticsearch. Perintah di bawah ini digunakan untuk memuat template indeks secara manual ke Elasticsearch (Menonaktifkan Logstash Output untuk sementara).
metricbeat setup -e -E output.logstash.enabled=false -E output.elasticsearch.hosts=['192.168.57.30:9200'] -E setup.kibana.host=192.168.57.30:5601
Menjalankan Metricbeat di Sistem Linux
Setelah instalasi dan konfigurasi Metricbeat selesai, Anda dapat memulai dan mengaktifkan service Metricbeat untuk berjalan pada boot sistem;
systemc tl enable --now metricbeat
Untuk memeriksa statusnya;
systemctl status metricbeat
● metricbeat.service - Metricbeat is a lightweight shipper for metrics. Loaded: loaded (/lib/systemd/system/metricbeat.service; enabled; vendor preset: enabled) Active: active (running) since Thu 2020-11-26 20:03:35 UTC; 2s ago Docs: https://www.elastic.co/products/beats/metricbeat Main PID: 95897 (metricbeat) Tasks: 9 (limit: 2281) Memory: 23.6M CGroup: /system.slice/metricbeat.service └─95897 /usr/share/metricbeat/bin/metricbeat --environment systemd -c /etc/metricbeat/metricbeat.yml --path.home /usr/share/metricbeat --path.config /etc/metr> Nov 26 20:03:35 solr.kifarunix-demo.com systemd[1]: Started Metricbeat is a lightweight shipper for metrics..
Lihat Data Metricbeat di Kibana
Navigasikan ke dasbor stack Elastis Anda dan buat indeks Kibana Metricbeat untuk memungkinkan Anda melihat dan memvisualisasikan data metrik. Seharusnya sudah ada jika Anda memuat denganmetricbeat setup perintah di atas;
Data Mentah Metricbeat
Di bawah navigasi Temukan, pilih metricbeat-*indeks untuk melihat data mentah Metricbeat. Sesuaikan rentang waktu yang sesuai.
Dasbor Ikhtisar Sistem Metricbeat
Di navigasi samping, klik Dashboard, lalu pilih dasbor yang ingin dibuka. Sebagai contoh,[Metricbeat System] Host overview ECS.
Melihat Visualisasi Aplikasi Metrik
Di navigasi samping, navigasikan ke Observability > Metrics. Di bawahInventory, Anda melihat host tersedia.
Klik pada host tertentu untuk melihat metriknya;
Dan itu menandai akhir dari tutorial kami tentang cara memantau Metrik sistem Linux dengan ELK Stack.
Referensi
Metricbeat mulai cepat: instalasi dan konfigurasi
Tutorial Terkait
Pantau Metrik Sistem dengan TICK Stack di Ubuntu 20.04
Pantau Metrik Sistem Linux dengan Pengekspor Node Prometheus
Instal Alat Pemantau Metrik Grafana di Debian 9
Visualisasikan Log Aktivitas Pengguna WordPress di ELK Stack
Memproses dan Memvisualisasikan Log ModSecurity di ELK Stack