کاربرد فایل روبوت در افزایش سئو

کنترل ربات ها یا اسپایدر موتورهای جستجو در افزایش سئو و بهینه سازی سایت کاربرد بسزایی دارند. در فایل robots.txt از دستور user-agent استفاده می کنیم. با این دستور روبوت ها مشخص می شوند. روبوت هر موتورجستجو یک نام مشخص دارد.

نام ربات user-agent: robot name ==> Robot Name
کرالر گوگل user-agent: Googlebot ==> Google Crawler
ربات یاهو user-agent: Yahoo! Slurp ==> Yahoo Robots
همه موتورهای جستجو user-agent: * ==> All Engines