Crawling

Definisi: Proses di mana bot mesin pencari (crawler/spider) mengunjungi dan membaca halaman-halaman website untuk diindeks. Konten yang tidak bisa di-crawl tidak akan muncul di hasil pencarian.

Contoh: Googlebot melakukan crawling ke blog kamu setiap hari untuk menemukan artikel baru yang bisa ditampilkan di hasil pencarian.

Istilah Terkait: Indexing, Robots.txt, Sitemap, SEO