Pengertian Spider adalah :Istilah yang biasan digunakan untuk mesin pencari di Internet.  Spider bertugas untuk menggali informasi dari sebuah blog. Spider merupakan yang menentukan relevansi dari suatu blog dan menentukan blog dapat tampil di Search Engine Result Page (SERP). Dengan mempelajari bagaimana mengontrol arah spider, maka anda bisa mengontrol peningkatan ranking di search engine.  Mungkin dalam benak pikiran Anda mengontrol search engine spider adalah suatu hal yang mustahil, namun sebenarnya itu adalah hal yang bisa dilakukan dengan memanfaatkan sebuah file yang bernama robots.txt.