it-swarm.asia

Bagaimana saya bisa mengunduh seluruh situs web?

Bagaimana saya bisa mengunduh semua halaman dari situs web?

Platform apa pun baik-baik saja.

346
joe

HTTRACK berfungsi seperti jagoan untuk menyalin konten seluruh situs. Alat ini bahkan dapat mengambil bagian yang diperlukan untuk membuat situs web dengan konten kode aktif berfungsi offline. Saya kagum pada hal-hal yang dapat ditiru secara offline.

Program ini akan melakukan semua yang Anda butuhkan.

Selamat berburu!

323
Axxmasterr

Wget adalah alat baris perintah klasik untuk tugas semacam ini. Itu datang dengan sebagian besar sistem Unix/Linux, dan Anda bisa mendapatkannya untuk Windows juga. Pada Mac, Homebrew adalah cara termudah untuk menginstalnya (brew install wget).

Anda akan melakukan sesuatu seperti:

wget -r --no-parent http://site.com/songs/

Untuk detail lebih lanjut, lihat Wget Manual dan contohnya , atau mis. ini:

266
Jonik

Gunakan wget:

wget -m -p -E -k www.example.com

Opsi menjelaskan:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
143
user9437

Internet Download Manager memiliki utilitas Site Grabber dengan banyak opsi - yang memungkinkan Anda mengunduh situs web apa pun yang Anda inginkan, seperti yang Anda inginkan.

  1. Anda dapat mengatur batas ukuran halaman/file yang akan diunduh

  2. Anda dapat mengatur jumlah situs cabang untuk dikunjungi

  3. Anda dapat mengubah cara script/popup/duplikat berperilaku

  4. Anda dapat menentukan domain, hanya di bawah domain itu semua halaman/file yang memenuhi pengaturan yang diperlukan akan diunduh

  5. Tautan dapat dikonversi ke tautan offline untuk menjelajah

  6. Anda memiliki template yang memungkinkan Anda memilih pengaturan di atas untuk Anda

enter image description here

Perangkat lunak ini tidak gratis - lihat apakah itu sesuai dengan kebutuhan Anda, gunakan versi evaluasi.

8
Lazer

Anda harus melihat pada ScrapBook , ekstensi Firefox. Ini memiliki mode tangkapan mendalam .

enter image description here

8
webjunkie

itsucks - itulah nama programnya!

7
kmarsh

Saya akan membahas buffering online yang digunakan browser ...

Biasanya sebagian besar peramban menggunakan cache perambanan untuk menyimpan file yang Anda unduh dari situs web sekitar sebentar sehingga Anda tidak perlu mengunduh gambar dan konten statis berulang-ulang. Ini dapat mempercepat beberapa hal dalam beberapa keadaan. Secara umum, sebagian besar cache browser dibatasi untuk ukuran yang tetap dan ketika mencapai batas itu, itu akan menghapus file tertua di cache.

ISP cenderung memiliki server caching yang menyimpan salinan situs web yang sering diakses seperti ESPN dan CNN. Ini menyelamatkan mereka dari masalah memukul situs-situs ini setiap kali seseorang di jaringan mereka pergi ke sana. Ini dapat menghasilkan penghematan yang signifikan dalam jumlah permintaan yang digandakan ke situs eksternal ke ISP.

5
Axxmasterr

Saya suka Penjelajah Offline .
Ini adalah shareware, tetapi sangat bagus dan mudah digunakan.

5
Eran

Saya belum melakukan ini selama bertahun-tahun, tetapi masih ada beberapa utilitas di luar sana. Anda mungkin ingin mencoba Web Snake . Saya percaya saya menggunakannya bertahun-tahun yang lalu. Saya langsung ingat nama itu ketika saya membaca pertanyaan Anda.

Saya setuju dengan Stecy. Tolong jangan palu situs mereka. Sangat buruk.

4
Bobby Ortiz

WebZip juga merupakan produk yang bagus.

4
Herb Caudill

Untuk Linux dan OS X: Saya menulis ambil-situs untuk pengarsipan seluruh situs web ke WARC file. File WARC ini dapat diramban atau diekstraksi. grab-site memungkinkan Anda mengontrol URL mana yang dilewati menggunakan ekspresi reguler, dan ini dapat diubah ketika perayapan berjalan. Itu juga datang dengan seperangkat default yang luas untuk mengabaikan URL sampah.

Ada dasbor web untuk memantau perayapan, serta opsi tambahan untuk melewatkan konten video atau tanggapan melebihi ukuran tertentu.

3
Ivan Kozik

DownThemAll adalah add-on Firefox yang akan mengunduh semua konten (file audio atau video, misalnya) untuk halaman web tertentu dalam satu klik. Ini tidak mengunduh seluruh situs, tetapi ini mungkin semacam pertanyaan yang dicari.

3
Will M

Teleport Pro adalah solusi gratis lain yang akan menyalin semua dan semua file dari apa pun target Anda (juga memiliki versi berbayar yang akan memungkinkan Anda untuk menarik lebih banyak halaman konten).

3
Pretzel

Coba Browser BackStreet .

Ini adalah peramban offline yang kuat dan gratis. Program pengunduhan dan penayangan situs web multi-threading berkecepatan tinggi. Dengan membuat beberapa permintaan server secara bersamaan, BackStreet Browser dapat dengan cepat mengunduh seluruh situs web atau bagian dari suatu situs termasuk HTML, grafik, Java Applet, suara dan file yang dapat ditentukan pengguna lainnya, dan menyimpan semua file dalam hard drive Anda, baik dalam format asli mereka, atau sebagai file Zip terkompresi dan lihat offline.

enter image description here

3
joe

Yang Mulia FreeDownloadManager.org juga memiliki fitur ini.

Free Download Manager memilikinya dalam dua bentuk dalam dua bentuk: Site Explorer dan Spider Situs :

Penjelajah Situs
Site Explorer memungkinkan Anda melihat struktur folder situs web dan mengunduh file atau folder yang diperlukan dengan mudah.
HTML Spider
Anda dapat mengunduh seluruh halaman web atau bahkan seluruh situs web dengan HTML Spider. Alat ini dapat disesuaikan untuk mengunduh file dengan ekstensi yang ditentukan saja.

Saya menemukan Site Explorer berguna untuk melihat folder mana yang akan dimasukkan/dikecualikan sebelum Anda mencoba untuk mengunduh seluruh situs - terutama ketika ada seluruh forum yang bersembunyi di situs yang tidak ingin Anda unduh misalnya.

1

Power wget

Sementara wget sudah disebutkan sumber daya ini dan baris perintah sangat mulus saya pikir itu layak disebutkan: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Lihat kode ini dijelaskan di menjelaskanshell

1
Shwaydogg