دستور allow / disallow
بهینه سازی سایت با استفاده از فایل htaccess
کنترل ربات ها یا اسپایدر موتورهای جستجو در افزایش سئو و بهینه سازی سایت کاربرد بسزایی دارند. از این دو دستور disallow / allow برای محدود کردن یا دسترسی دادن به یک پوشه استفاده می شود.
محدود کردن <== /disallow:/path
دسترسی داشتن <== /allow:/path
نوشتن کلی درون فایل robots.txt به این طریق اشتباه است:
/disallow:/Sales/ , /Shopping
allow:/site/search
دستور زیر یعنی هیچ روبوتی حق ورود ندارد:
*:user-agent
/:disallow
نوشتن توضیحات در فایل robots.txt با علامت # می باشد:
all robots are allowed#
محدود کردن دسترسی به فایل های خاص:
$disallow:/*.gif
$disallow:/*.eps
منع کردن ربات (دستور مخصوص موتور گوگل) از خواندن تمام پوشه هایی است که نام آنها با private شروع می شوند:
/*disallow:/private
منع کردن ربات (گوگل) از بخش هایی که بلافاصله بعد از نام سایت هرچیزی آمده و بعد از آن علامت سؤال و بعد از علامت باز هر چیز دیگری آمده است:
?*/:disallow
مثال <== Mysite.com/step?finish
نکته: به آدرس هایی که می دهید دقت داشته باشید که بزرگی و کوچکی حروف را رعایت فرمایید.