دستور allow / disallow

بهینه سازی سایت با استفاده از فایل htaccess

کنترل ربات ها یا اسپایدر موتورهای جستجو در افزایش سئو و بهینه سازی سایت کاربرد بسزایی دارند. از این دو دستور disallow / allow برای محدود کردن یا دسترسی دادن به یک پوشه استفاده می شود.

محدود کردن <== /disallow:/path
دسترسی داشتن <== /allow:/path

نوشتن کلی درون فایل robots.txt به این طریق اشتباه است:

/disallow:/Sales/ , /Shopping
allow:/site/search

دستور زیر یعنی هیچ روبوتی حق ورود ندارد:

*:user-agent
/:disallow

نوشتن توضیحات در فایل robots.txt با علامت # می باشد:

all robots are allowed#

محدود کردن دسترسی به فایل های خاص:

$disallow:/*.gif
$disallow:/*.eps

منع کردن ربات (دستور مخصوص موتور گوگل) از خواندن تمام پوشه هایی است که نام آنها با private شروع می شوند:

/*disallow:/private

منع کردن ربات (گوگل) از بخش هایی که بلافاصله بعد از نام سایت هرچیزی آمده و بعد از آن علامت سؤال و بعد از علامت باز هر چیز دیگری آمده است:

?*/:disallow
مثال <== Mysite.com/step?finish

نکته: به آدرس هایی که می دهید دقت داشته باشید که بزرگی و کوچکی حروف را رعایت فرمایید.