فایل robots.txt
افزایش سئو و بهینه سازی سایت با استفاده از فایل robots.txt
موتور جستجو قبل از آنکه وارد سایتی شود، ابتدا فایل robots.txt را از سرور درخواست می کند تا از تمام محدودیت های پیش روی خود در آن سایت آگاه شود. استفاده از فایل robots.txt در افزایش سئو و بهینه سازی سایت کاربرد فراوانی دارد با این فایل می توانید ربات یا crawler های موتور جستجو را کنترل کنید که به کدام شاخه یا فایل ها دسترسی داشته، یا نداشته باشند.
پروتکل robots تنها دو دستور دارد:
1. کدام اسپایدرها محدود شوند.
2. کدام مسیرها محدود شوند.
در ادامه به توضیح دستورات مورد استفاده در فایل robots.txt می پردازیم:
• uset-agent
• disallow-allow
آدرس فایل robots.txt : این فایل در ریشه ی سایت قرار می گیرد و نه در جای دیگری. مثال
http://www.seokhane.com/robots.txt
برای اطلاعات بیشتر در مورد فایل robots.txt سایت های زیر را مطالعه فرمایید:
http://user-agent.org
http://robotstxt.org/db.html