فایل robots.txt
- نوشته شده توسط Seyyed Amir Tekyeh
- منتشرشده در بهینه سازی سئو پارامترهای درونی سایت (On-Page Factors)
- دیدگاه (2)
افزایش سئو و بهینه سازی سایت با استفاده از فایل robots.txt
موتور جستجو قبل از آنکه وارد سایتی شود، ابتدا فایل robots.txt را از سرور درخواست می کند تا از تمام محدودیت های پیش روی خود در آن سایت آگاه شود. استفاده از فایل robots.txt در افزایش سئو و بهینه سازی سایت کاربرد فراوانی دارد با این فایل می توانید ربات یا crawler های موتور جستجو را کنترل کنید که به کدام شاخه یا فایل ها دسترسی داشته، یا نداشته باشند.
پروتکل robots تنها دو دستور دارد:
1. کدام اسپایدرها محدود شوند.
2. کدام مسیرها محدود شوند.
در ادامه به توضیح دستورات مورد استفاده در فایل robots.txt می پردازیم:
• uset-agent
• disallow-allow
آدرس فایل robots.txt : این فایل در ریشه ی سایت قرار می گیرد و نه در جای دیگری. مثال
http://www.seokhane.com/robots.txt
برای اطلاعات بیشتر در مورد فایل robots.txt سایت های زیر را مطالعه فرمایید:
http://user-agent.org
http://robotstxt.org/db.html
برچسب‌ها
موارد مرتبط
- نمونه کارها و مشتریان تیم سئوخانه
- معرفی سایت به Directory List ها
- Flash (فلش)
- Frame (قاب)
- محتوای تکراری
- بهینه سازی بیش از حد
- بررسی آمار سایت
- اصطلاحات آماری
- ابزارهای تحلیل آمار سایت
- قرارگذاری دکمه های skip-button به صورت مخفی
- اضافه کردن قابلیت Focus به object های درون سایت
- اضافه کردن قابلیت Focus کردن زیر منوها در سایت
- PDF File Seo
- MetaData File PDF
- CDN - Content Delivery Network
- ابزارهای کاربردی برای بهینه سازی موتورهای جستجو
- سایت های کاربردی برای بهینه سازی موتورهای جستجو
- استفاده از تگ های H1 و H2 برای معرفی سایت
- ارزیابی کدهای HTML
- چک کردن استاندارد کدهای سایت (Valid Code)
دیدگاه‌ها
با سلام و احترام فراوان
منظور از مسیر یک شاخه یا دایرکتوری میباشد. مثلا در CMS وردپرس نیازی نیست که ربات موتورجستجو برود و شاخه ی wp-admin را بررسی نماید ما در فایل robots.txt از پیمایش این شاخه توسط ربات را جلوگیری میکنیم.
موفق و سربلند باشید
یعنی چی مسیری رو محدود کنیم .
خوراک‌خوان (آراس‌اس) دیدگاه‌های این محتوا