Berapa anggaran perayapan

Sebuah istilah yang banyak disebutkan hari ini di komunitas SEO adalah crawl budget. Jika kami menerjemahkannya, itu akan dibaca sebagai "anggaran pelacakan". Ini adalah jalan tengah yang langka, tetapi ini adalah konsep yang sangat lama di bidang SEO.

Mereka yang bekerja dengan proyek skala besar seperti e-commerce besar, portal konten, dan spesialis SEO, memahami anggaran perayapan sebagai waktu yang dihabiskan Google membaca halaman situs web Anda pada hari tertentu.

Indeks isi

Ini adalah waktu yang dibutuhkan perayap Google untuk membaca halaman-halaman situs web. Tetapi kali ini crawler menghabiskan di situs web Anda tergantung pada beberapa faktor; seperti otoritas situs web, persentase konten duplikat, kesalahan halaman, dan banyak lagi.

Namun, menurut blog webmaster resmi Google, dinyatakan bahwa tidak semua orang harus khawatir tentang masalah ini biaya perayapan. Artinya, jika mereka memiliki situs web dengan beberapa lusin halaman, tidak perlu khawatir tentang perayapan halaman ini, karena Google akan melakukannya tanpa masalah.

Tetapi jika Anda memiliki toko online atau proyek web lainnya dengan beberapa ribu halaman, Anda harus memperhatikan dan mengoptimalkan anggaran perayapan terkait situs web Anda.

Merayapi anggaran dan penentuan posisi web

Dari Google mereka menegaskan bahwa anggaran perayapan tidak memengaruhi penentuan posisi, tetapi meskipun demikian ia dapat memengaruhi, dan terkadang mengontrol, secara negatif selain dari lebih dari 200 faktor yang diperingkatkan dalam mesin pencari.

Tetapi mengapa kita ingin Google merayapi halaman situs web kita lebih sering? Di sisi lain, kami menemukan beberapa pakar SEO yang memastikan bahwa memiliki anggaran perayapan yang baik akan meningkatkan posisi keseluruhan halaman situs web di peringkat dan dengan demikian meningkatkan lalu lintas organik.

Pada dasarnya, Google memiliki waktu tertentu untuk dihabiskan di dalam situs Anda, karena ia harus memutuskan berapa banyak waktu yang akan dihabiskan untuk masing-masing situs di seluruh dunia, di mana ia harus menghitung berapa banyak koneksi simultan yang akan dapat dibuat untuk dapat baca halaman situs web Anda.

Kualitas situs web

Google menghabiskan waktu untuk dapat terhubung di situs web, membaca halaman ini dan berhenti membaca ini. Ulangi ini sepanjang hari, tetapi selalu ada sebagian kecil dari waktu. Sepersekian waktu itu, biasanya sebanding dengan otoritas situs web Anda, jumlah halaman baru, dan relevansinya terhadap Google.

Ini diberikan oleh kualitas konten Anda dan tautan yang mengarah ke situs, yaitu, jika Anda memiliki banyak tautan berkualitas yang menunjuk, mungkin Google memahami Anda dengan lebih berkualitas dan menghabiskan lebih banyak waktu di situs web Anda, selama ada volume halaman yang lebih tinggi.

Secara umum, anggaran perayapan tidak banyak berubah untuk situs 10, 50 atau 100 halaman, jadi dalam beberapa halaman tidak ada banyak perbedaan. Tetapi untuk situs besar, jika Google memiliki waktu untuk menelusuri situs Anda dan Anda memberi tahu apa yang harus dibaca, itu akan sangat berguna bagi perayap, menyelesaikan tugas perayapan mereka lebih cepat.

Atur halaman mana yang penting

Pertama, Anda harus memetakan arsitektur informasi situs yang lebih terorganisir, menetapkan halaman mana yang tidak perlu, dan tidak membiarkan halaman tertentu diindeks dengan memeriksa file robots.txt.

Google tidak boleh menghabiskan waktu di bagian pencarian situs web atau bahkan di bagian di mana ada navigasi filter, misalnya, seperti di toko online, di mana Anda dapat memilih ukuran sepatu, ukuran apartemen atau warna baju. Filter ini adalah apa yang orang biasa sebut "navigasi berwajah" atau "filter navigasi".

Beberapa webmaster cenderung memblokir filter ini dan pencarian di file robots.txt, hanya agar Google tidak menghabiskan waktu membaca halaman-halaman ini, karena, pada kenyataannya, mereka berfokus pada pengguna yang mencari pengalaman itu, dan mereka adalah konten yang sudah tersedia di halaman internal lain dari situs.

Kami merekomendasikan membaca: Kesalahan yang harus dihindari saat membuat situs web

Baris lain adalah dengan menetapkan halaman mana yang penting di situs Anda, Anda menghemat waktu Google di halaman yang memiliki duplikat konten, seperti kasus navigasi yang dihadapi, halaman kebijakan privasi, syarat dan ketentuan, dan tidak Anda ingin mereka dibaca. Halaman-halaman ini hanya akan tersedia untuk pengguna yang ingin melihat halaman-halaman ini.

Waktu tidak boleh terbuang sia-sia pada halaman-halaman bernilai rendah ini, karena Anda tidak ingin membuat peringkat untuk mereka dan mereka tidak membuat perbedaan sedikitpun dalam hidup Anda, tetapi mereka harus ada di sana karena beberapa pengguna tetap berkonsultasi informasi ini.

Cara kerja anggaran perayapan secara internal

Secara umum, anggaran perayapan didasarkan pada arsitektur. Anda menentukan tautan ke halaman-halaman yang akan dapat dibaca dan diprioritaskan oleh Google berdasarkan tingkat kepentingannya.

Lagi pula, tautan yang keluar dari halaman-halaman ini adalah yang cenderung diprioritaskan oleh Google. Jadi, ada baiknya logika untuk berpikir sangat baik tentang tautan internal dan cara struktur halaman Anda.

Anggaran perayapan adalah waktu yang dihabiskan Google untuk dapat membaca, memahami informasi di situs web dan mengevaluasi elemen-elemen seperti organisasi arsitektur dan memblokir di robots.txt. Menggunakan tag nofollow pada tautan mencegah Google untuk menindaklanjuti tautan itu. Misalnya, jika suatu tautan memiliki atribut nofollow, tetapi tautan internal lain tidak memiliki satu untuk sampai ke halaman, maka Google akan mengambil jalur kedua, membuat Anda menghabiskan lebih sedikit waktu.

Manfaat situs yang dioptimalkan

Ada hal-hal yang akan membantu Anda membaca lebih banyak halaman setiap hari, yang dapat berguna untuk situs web apa pun. Misalnya, jika server Anda lebih cepat, Google akan, pada waktu itu, meminta lebih banyak halaman.

Jika halaman Anda dikompresi, Google akan, dalam permintaan ini, meminta lebih banyak halaman. Dan jika Anda memiliki kode yang bersih dan memadai, Google juga akan menerima halaman yang lebih padat di akhir hari, dengan bit yang lebih baik. Artinya, optimalisasi situs web, kecepatan situs dan server, sangat mempengaruhi masalah anggaran perayapan.

Cara menghitung anggaran perayapan situs Anda

Frekuensi spider mesin pencari Google merayapi situs web Anda dalam alokasi waktu tertentu adalah apa yang kami sebut "anggaran perayapan". Karenanya, jika Googlebot mengunjungi situs Anda 32 kali sehari, kami dapat mengatakan bahwa anggaran pelacakan Google adalah sekitar 960 sebulan.

Anda dapat menggunakan alat seperti Google Search Console dan Bing Webmaster Tools untuk menghitung perkiraan anggaran perayapan situs web Anda. Cukup masuk dan menuju ke Pelacakan> Pelacakan Statistik untuk melihat jumlah rata-rata halaman yang dilacak per hari.

Anggaran perayapan dan SEO: apakah keduanya sama?

Ya dan tidak Sementara kedua jenis pengoptimalan bertujuan untuk membuat halaman Anda lebih terlihat dan berdampak pada SERP Anda, SEO lebih menekankan pada pengalaman pengguna, sementara pengoptimalan laba-laba sepenuhnya tentang menarik bot.

Optimisasi mesin pencari (SEO) lebih fokus pada proses optimasi untuk permintaan pengguna. Alih-alih, pengoptimalan Googlebot berfokus pada cara perayap Google mengakses situs Anda.

Cara mengoptimalkan anggaran perayapan

Ada beberapa cara untuk mengoptimalkan anggaran perayapan situs web mana pun, tergantung pada setiap proyek web, jumlah halaman, dan masalah lainnya, berikut adalah beberapa hal yang perlu dipertimbangkan:

Pastikan halaman Anda dapat dilacak

Halaman Anda dapat dilacak jika spider mesin pencari dapat menemukan dan mengikuti tautan di dalam situs web Anda, jadi Anda harus mengonfigurasi file.htaccess dan robots.txt agar mereka tidak memblokir halaman-halaman penting di situs Anda. Anda mungkin juga ingin memberikan versi teks dari halaman yang sangat bergantung pada file media yang kaya, seperti Flash dan Silverlight.

Tentu saja, kebalikannya benar jika Anda ingin mencegah halaman muncul di hasil pencarian. Namun, mengatur file robots.txt ke "disallow" tidak cukup jika Anda ingin mencegah halaman diindeks. Menurut Google, aturan "larang" tidak menjamin bahwa halaman tidak muncul dalam hasil.

Jika informasi eksternal (misalnya, tautan masuk) terus mengarahkan lalu lintas ke halaman yang Anda tolak, Google dapat memutuskan bahwa halaman tersebut masih relevan. Dalam hal ini, Anda harus secara manual memblokir pengindeksan halaman menggunakan meta tag noindex atau header HTTP X-Robots-Tag.

- Noa meta tag: masukkan tag meta ini di bagian halaman Anda untuk mencegah sebagian besar perayap web mengindeks halaman Anda:

noindex "/>

- X-Robots-Tag - Tempatkan yang berikut dalam respons tajuk HTTP untuk memerintahkan perayap agar tidak mengindeks halaman:

X-Robots-Tag: noindex

Harap dicatat bahwa jika Anda menggunakan meta tag noindex atau X-Robots-Tag, Anda tidak boleh melarang halaman dalam robots.txt. Halaman harus dirayapi sebelum tag dilihat dan dipatuhi.

Penggunaan file media kaya secara hati-hati

Ada saat ketika Googlebot tidak bisa menjelajah konten seperti JavaScript, Flash, dan HTML. Masa-masa itu sudah lama berlalu (meskipun Googlebot masih memiliki masalah dengan Silverlight dan beberapa file lainnya).

Namun, bahkan jika Google dapat membaca sebagian besar file media, mesin pencari lain mungkin tidak dapat, yang berarti Anda harus menggunakan file-file ini dengan bijaksana, dan Anda mungkin ingin menghindarinya sepenuhnya pada halaman yang Anda inginkan. posisi.

Hindari string redirect

Setiap URL yang Anda arahkan menyebabkan Anda membuang sedikit anggaran perayapan Anda. Saat situs web Anda memiliki string redirect yang panjang, mis. Sejumlah 301 dan 302 pengalihan berturut-turut, spider seperti Googlebot mungkin mogok sebelum mencapai halaman arahan, artinya halaman itu tidak akan diindeks. Praktik terbaik dengan pengalihan adalah memiliki pengalihan sekecil mungkin di situs web, dan tidak lebih dari dua berturut-turut.

Perbaiki tautan yang rusak

Ketika John Mueller ditanya tentang apakah tautan rusak memengaruhi penentuan posisi atau tidak, ia menjawab bahwa tautan itu agak lebih terfokus pada pengalaman pengguna daripada untuk tujuan penentuan posisi.

Ini adalah salah satu perbedaan mendasar antara pengoptimalan SEO dan Googlebot, karena itu berarti tautan yang terputus tidak memainkan peran penting dalam pemeringkatan, meskipun mereka sangat menghambat kemampuan Googlebot untuk mengindeks dan memberi peringkat situs web.

Dengan itu, Anda harus mengikuti saran Mueller mengingat algoritma Google telah meningkat secara substansial selama bertahun-tahun, dan apa pun yang memengaruhi pengalaman pengguna cenderung memengaruhi SERP.

Tetapkan parameter dalam URL dinamis

Laba-laba memperlakukan URL dinamis yang mengarah ke halaman yang sama dengan halaman terpisah, yang berarti Anda mungkin tidak perlu membuang-buang anggaran perayapan Anda. Anda dapat mengelola parameter URL dengan mengakses Search Console dan mengklik Tracking> Parameter URL. Dari sini, Anda dapat memberi tahu Googlebot jika CMS Anda menambahkan parameter ke URL Anda yang tidak mengubah konten halaman.

Bersihkan sitemap

Peta Situs XML membantu pengunjung dan robot laba-laba, membuat konten lebih teratur dan lebih mudah ditemukan. Oleh karena itu, cobalah untuk selalu memperbarui sitemap dan membersihkannya dari segala kekacauan yang dapat merusak kegunaan situs Anda, termasuk 400 halaman level, redirect yang tidak perlu, halaman non-kanonik dan halaman yang diblokir.

Cara termudah untuk membersihkan peta situs adalah dengan menggunakan alat seperti Auditor Situs Web. Anda dapat menggunakan generator sitemap XML Website Auditor untuk membuat sitemap bersih yang mengecualikan semua halaman yang diblokir dari pengindeksan. Selanjutnya, dengan masuk ke opsi "Audit Situs" Anda dapat menemukan dan memperbaiki semua kesalahan 4xx, 301 dan 302 pengalihan dan halaman non-kanonik.

Manfaatkan feed

Baik umpan, RSS, XML dan Atom memungkinkan konten dikirimkan kepada pengikut ketika mereka tidak menjelajahi situs. Ini memungkinkan pengguna untuk berlangganan ke situs favorit mereka dan menerima pembaruan rutin setiap kali konten baru diterbitkan.

Selain fakta bahwa umpan RSS telah lama menjadi cara yang baik untuk meningkatkan jumlah pembaca dan keterlibatan, mereka juga termasuk di antara situs yang paling banyak dikunjungi oleh Googlebot. Ketika situs web Anda menerima pembaruan (misalnya, produk baru, posting blog, pembaruan halaman, dll.), Kirimkan ke Google Feed Burner untuk memastikannya diindeks dengan benar.

Buat tautan eksternal

Membangun tautan tetap menjadi topik hangat, dan tidak ada pandangan sekilas bahwa itu akan hilang dalam waktu dekat.

Menumbuhkan hubungan online, menemukan komunitas baru, membangun nilai merek; Kemenangan kecil ini seharusnya sudah dicetak dalam proses perencanaan tautan Anda. Meskipun ada unsur-unsur khas dari pembangunan tautan yang sekarang demikian pada tahun 1990, kebutuhan manusia untuk terhubung dengan orang lain tidak akan pernah berubah.

Saat ini, kami sudah memiliki bukti bahwa tautan eksternal berkorelasi erat dengan jumlah kunjungan laba-laba yang diterima situs web Anda.

Pertahankan integritas tautan internal

Meskipun membuat tautan internal tidak memainkan peran penting dalam kecepatan perayapan, itu tidak berarti dapat sepenuhnya diabaikan. Struktur situs yang terpelihara dengan baik membuat konten Anda mudah ditemukan oleh robot pencarian tanpa menghabiskan anggaran Anda.

Struktur tautan internal yang terorganisir dengan baik juga dapat meningkatkan pengalaman pengguna, terutama jika pengguna dapat menjangkau area mana pun dari situs web Anda dengan tiga klik. Membuat segala sesuatu lebih mudah diakses secara umum berarti bahwa pengunjung akan tinggal lebih lama, yang dapat meningkatkan SERP.

Kesimpulan apa yang kita ambil?

Sekali lagi, memperkuat apa yang telah disebutkan di atas, masalah anggaran perayapan ini akan menjadi penting bagi situs web besar dengan ratusan dan ribuan halaman web, jika tidak, tidak perlu dikhawatirkan, karena Google akan melacak Anda situs web dengan lancar.

Kita tidak boleh menyulitkan perayapan halaman situs kita ke Google. Ada banyak situs web dengan cukup banyak kesalahan, dan bahkan dengan hambatan yang dibuat oleh file robots.txt dan sitemap.xml yang mencegah Google mengakses konten. Jika kami ingin meningkatkan posisi di peringkat Google, maka kami harus mengotorisasi dan menyederhanakan halaman situs web sehingga Google dapat dengan cepat mengakses, mengindeks, dan memposisikan. Sangat sederhana.

Saat ini, Anda mungkin telah memperhatikan tren dalam artikel ini: Praktik terbaik untuk keterlacakan juga cenderung meningkatkan kemampuan penelusuran. Jadi jika Anda bertanya-tanya apakah optimisasi anggaran crawl penting bagi situs web Anda, jawabannya adalah ya.

Sederhananya, jika Anda membuatnya lebih mudah bagi Google untuk menemukan dan mengindeks situs web Anda, Anda akan menikmati lebih banyak perayapan, yang berarti pembaruan lebih cepat ketika Anda memposting konten baru. Anda juga akan meningkatkan pengalaman pengguna secara keseluruhan, meningkatkan visibilitas dan, pada akhirnya, peringkat SERPs.

Ini hanyalah beberapa poin, di antara banyak poin lainnya, untuk meningkatkan dan mengoptimalkan anggaran perayapan situs web.