Cara Menggunakan Wget untuk Mengunduh Apapun dari Internet

Wget adalah utilitas baris perintah yang dapat digunakan untuk mengunduh hampir semua hal yang tersedia di internet. Tangkapannya, adalah bahwa itu harus tersedia melalui protokol HTTP, HTTPS, atau FTP; jika tidak, Wget tidak akan dapat mengunduhnya. Ada beberapa cara di mana Wget dapat digunakan, misalnya, Anda dapat menggunakan Wget untuk mengunduh setiap gambar di situs web, atau Anda juga dapat mengunduh satu file. Wget bahkan mampu melanjutkan unduhan, jika memungkinkan. Jadi, jika Anda bertanya-tanya bagaimana cara kerja Wget, dan apa yang dapat dilakukannya untuk Anda, berikut adalah cara menggunakan Wget :

Menginstal Wget

1. Menginstal Wget di macOS Sierra

Sebelum kita mulai menggunakan Wget, kita perlu menginstalnya di sistem kita. Sekarang, untungnya, sebagian besar distribusi Linux datang dengan Wget yang sudah diinstal sebelumnya, jadi Anda tidak perlu melakukan pekerjaan tambahan apa pun. Namun, jika Anda menggunakan Mac, Anda harus menginstal Wget. Ini dapat dilakukan dengan mudah menggunakan Homebrew ( unduh ). Jika Anda memerlukan bantuan, berikut adalah langkah-langkah yang harus Anda ikuti:

  • Pertama, Anda harus menginstal Homebrew di Mac Anda, agar dapat mengunduh Wget. Untuk melakukan ini, cukup luncurkan Terminal , dan ketik perintah berikut:

/usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”

  • Setelah perintah selesai, Homebrew akan diinstal pada sistem Anda. Anda sekarang dapat menggunakan Homebrew untuk menginstal paket, seperti Wget. Di Terminal, jalankan saja perintah berikut:

brew install wget

  • Homebrew akan secara otomatis mulai mengunduh, membongkar, dan menginstal Wget di sistem Anda. Langkah ini mungkin memakan waktu, tergantung pada kecepatan jaringan Anda, jadi bersabarlah. Setelah perintah selesai, Anda seharusnya dapat menggunakan Wget di Mac Anda. Untuk memeriksa apakah sudah diinstal, cukup gunakan perintah:

wget -V

2. Menginstal Wget di Windows

Menginstal Wget di Windows membutuhkan sedikit usaha, tetapi dapat dengan mudah dilakukan. Jika Anda ingin menginstal Wget di PC Windows Anda, cukup ikuti langkah-langkah di bawah ini:

  • Pertama, unduh Cygwin, lalu jalankan file penyiapan yang diunduh .
  • Ketika meminta sumber unduhan default , pilih opsi yang mengatakan ” Instal dari Internet “, dan klik “Berikutnya”.

  • Pilih direktori instalasi untuk Cygwin, serta direktori tempat ia akan menyimpan file paket untuk instalasi utilitas.

  • Di layar berikutnya, Anda diminta untuk memilih koneksi internet Anda. Jika Anda menggunakan Proxy, pilih jenis Proxy itu, dan isi detailnya. Namun, bagi sebagian besar pengguna, pilihannya adalah ” Koneksi Langsung “.

  • Anda kemudian akan diperlihatkan daftar cermin , pilih salah satu dari ini untuk mengunduh Cygwin. Jika unduhan gagal, Anda dapat mencoba lagi dengan mirror yang berbeda.

  • Di jendela berikutnya, cari “wget”, dan klik tanda tambah di sebelah “web” dalam daftar yang muncul. Di sini, kotak centang di sebelah ” wget ” akan dipilih secara otomatis. Cukup klik “Selanjutnya”.

  • Layar berikutnya akan menunjukkan kepada Anda paket yang perlu diunduh. Cukup klik “Selanjutnya”.

  • Setelah penginstalan selesai, Anda akan ditanya apakah ingin membuat ikon desktop , dan/atau menambahkan entri ke menu mulai . Ini sepenuhnya masalah preferensi pribadi, tetapi saya sarankan Anda setidaknya menambahkannya ke menu mulai, sehingga Anda dapat menemukannya dengan mudah.

Itu dia. Wget sekarang diinstal pada PC Windows Anda. Namun, Anda tidak akan dapat menjalankannya dari command prompt. Sebagai gantinya, Anda harus meluncurkan Terminal Cygwin, dan menggunakan Wget dari sana .

Cara Menggunakan Wget

Sekarang setelah Wget aktif dan berjalan di sistem kita, mari jelajahi semua cara keren di mana kita dapat menggunakan Wget untuk mengunduh file, folder, dan bahkan seluruh situs web dari internet. Berikut adalah beberapa hal menarik yang dapat Anda lakukan dengan Wget di sistem Anda.

Catatan: Saya menggunakan Wget di MacBook Air yang menjalankan macOS Sierra 10.12.3 beta. Namun, karena utilitas yang kita gunakan sama (Wget), perintahnya akan sama pada sistem operasi mana pun yang mungkin Anda gunakan untuk Wget.

1. Gunakan Wget untuk Mengunduh File

Anda dapat menggunakan Wget untuk mendownload file dari internet dengan mudah. Cukup gunakan perintah berikut

wget <url>

  • Unduh File dan Simpan dengan Nama File Tertentu

File di server terkadang memiliki nama yang paling aneh, dan Anda mungkin ingin mengunduh file tersebut, dan meminta Wget secara otomatis mengganti namanya menjadi sesuatu yang lebih masuk akal bagi Anda. Untuk melakukan ini, cukup gunakan perintah berikut

wget -o <output_file.extension> <url_to_download>

  • Unduh Hanya Jenis File Tertentu

Sebuah server web mungkin meng-hosting sejumlah file yang berbeda. Jadi, bagaimana jika Anda hanya ingin mengunduh semua PDF di server, atau mungkin semua GIF? Cukup gunakan dengan perintah berikut:

wget -r -A pdf <url_to_download>

Perintah khusus ini digunakan oleh Mark Zuckerberg di kamar asramanya di Harvard, untuk mengunduh semua gambar hanya dengan satu perintah, dan membangun situs web terkenal “facesmash.com”.

wget -r -A jpg, jpeg, png, bmp <url_to_download>

2. Unduh File dari Beberapa URL dengan Wget

Katakanlah Anda perlu mengunduh file dari sejumlah lokasi berbeda di internet. Mungkin ada file PDF di url1 , file ZIP penting di url2 , dan sesuatu yang lain di url3 . Jika Anda menggunakan Wget dengan cara tradisional, Anda harus menjalankannya tiga kali. Namun, ada cara yang jauh lebih mudah untuk melakukan ini.

  • Pertama, buat file dengan semua URL yang Anda butuhkan untuk mengunduh data. Pastikan Anda menyimpan setiap URL di barisnya masing-masing . Simpan file tersebut, dan pastikan Anda mengingat namanya.

  • Di Terminal, gunakan perintah berikut untuk mengunduh file dari semua URL:

wget -i <nama_file>

di mana ” file_name ” adalah nama file yang Anda buat dengan semua URL yang Anda butuhkan untuk mengunduh barang.

3. Unduh Seluruh Situs Web dengan Wget

Ya, Anda membacanya dengan benar. Anda juga dapat menggunakan Wget untuk mengunduh konten seluruh situs web. Jelas, jika situs web terlalu besar, perintah ini akan memakan banyak waktu untuk diselesaikan, belum lagi itu akan memakan banyak ruang di sistem Anda . Yang mengatakan, jika Anda ingin menggunakan Wget untuk mengunduh seluruh situs web, cukup gunakan perintah berikut:

wget –mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL

Ini akan mengunduh seluruh situs web, ke dalam folder ” LOCAL-DIR ” di dalam direktori kerja Anda. File situs web akan disimpan dalam folder dengan nama yang sama dengan situs web, berkat ” WEBSITE-URL “.

4. Gunakan Wget sebagai Web Spider

Anda juga dapat membuat Wget bertindak seperti perayap web (atau laba-laba web). Ini berguna saat Anda ingin mengonfirmasi bahwa URL untuk file yang ingin Anda unduh valid . Untuk menggunakan Wget sebagai web spider, dan memeriksa validitas URL, cukup gunakan perintah berikut:

wget –spider <url>

Ini akan memeriksa apakah URL yang Anda sebutkan ada, dan Anda akan mendapatkan respons yang memberi tahu Anda hasil pemeriksaan.

  • Respon Positif:

  • Tanggapan Negatif:

5. Lanjutkan Unduhan Tidak Lengkap

Ini adalah hal keren lainnya yang bisa dilakukan Wget . Katakanlah Anda sedang mengunduh file dengan Wget, tetapi untuk beberapa alasan, Anda harus mematikan laptop Anda. kali Anda ingin mencoba men-download file yang sama, Wget benar-benar dapat melanjutkan download untuk Anda. Anda hanya perlu memastikan bahwa Anda berada di folder yang sama tempat Anda mengunduh file terakhir kali , lalu gunakan perintah berikut:

wget -c <url>

Ketika Wget melihat bahwa bagian dari file sudah ada di sistem Anda, itu akan secara otomatis melanjutkan pengunduhan.

Catatan: Jika file di server telah diubah sejak terakhir kali Anda mencoba mengunduhnya, maka sebaiknya Anda tidak menggunakan perintah ini, karena akan mengakibatkan file yang rusak dan tidak dapat Anda baca.

Juga, jika server tidak mengizinkan unduhan lanjutan, maka Wget akan menolak untuk memulai unduhan dari awal. Jika Anda ingin memulai pengunduhan dari awal, Anda harus menghapus berkas yang diunduh sebagian dari sistem Anda terlebih dahulu.

Ada beberapa kondisi lagi untuk menggunakan argumen ini, dan Anda dapat membaca lebih lanjut tentangnya di halaman manual Wget .

6. Batasi Kecepatan Unduh

Jika Anda menggunakan Wget untuk mengunduh file, dan menjelajahi internet di sampingnya, Anda mungkin tidak ingin semua bandwidth Anda digunakan oleh Wget. Untungnya, Wget menyertakan argumen yang dapat Anda gunakan untuk membatasi jumlah bandwidth yang dapat digunakan Wget untuk mengunduh file di sistem Anda:

wget –limit-rate=<kecepatan> <url>

Catatan: Perlu diingat bahwa kecepatan disebutkan dalam Bytes, dan bukan Bits. Jadi, jika Anda menggunakan Wget –limit-rate=20k, itu akan membatasi penggunaan bandwidth menjadi 20 kB, dan bukan 20 kb.

7. Gunakan Wget untuk Mengunduh File dari Server FTP

Jika Anda perlu mengunduh file dari server FTP, Anda juga dapat melakukannya dengan Wget. Cukup gunakan perintah berikut untuk mengunduh file dari server FTP:

wget <ftp_url>

  • Unduh File dari server FTP dengan Login

JIKA server FTP Anda memerlukan login untuk mengizinkan file unduhan, Anda juga dapat meneruskan kredensial dengan Wget. Cukup gunakan perintah berikut:

wget –ftp-username=NAMA PENGGUNA –ftp-password=PASSWORD <ftp_url>

LIHAT JUGA: 30 Perintah Terminal Mac untuk Mengakses Fitur Tersembunyi

Gunakan Wget dengan Mudah untuk Mengunduh File dari Internet

Anda dapat menggunakan Wget untuk mengunduh file dari mana saja di internet. Namun, sementara Wget hampir selalu berfungsi, ada server tertentu yang mencegah akses ke Wget, dalam hal ini, Anda dapat mencoba mengubah –user-agent untuk perintah Wget Anda. Namun, itu bukan tindakan yang disarankan, kecuali jika Anda benar-benar tahu apa yang Anda lakukan. Untuk sebagian besar, Wget akan memungkinkan Anda mengunduh file apa pun dari internet, selama Anda memiliki akses ke sana, dan URL-nya.

Nah, apakah Anda pernah menggunakan Wget untuk mendownload file dari internet? Beri tahu kita tentang pengalaman Anda menggunakan Wget untuk mengunduh file, melalui protokol HTTP, HTTPS, dan FTP. Juga, jika Anda mengetahui beberapa kegunaan lain dari Wget yang menurut Anda pantas ada di daftar ini, beri tahu kita tentangnya di bagian komentar di bawah.