فایل Robots.txt چیست؟ چه کاربردی در سئو دارد؟

فایل Robots.txt

موتور های جستجو و در راس ان ها گوگل، به کمک فایل Robots.txt تمامی اطلاعات در اینترنت را مورد کاوش قرار می دهند. سپس با الگوریتم هایی که دارند اطلاعات را رتبه بندی می کنند. ربات ها پر رنگترین نقش برای معرفی کامل یک سایت در موتور جستجو را ایفا می کنند. در این مقاله می خواهیم به موضوعاتی از قبیل کاربرد فایل txt، تاثیر ان برسئو سایت، نحوه ایجاد، انواع ان و غیره بپردازیم.

فایل Robots.txt چیست؟

فایل متنی txt یک فرمت ذخیره سازی و نگهداری اطلاعات در سیستم است. در واقع فایل متنی ساده است که در مسیر اصلی فضای سایت شما قرار دارد. برای هدایت ربات های موتور جستجو و نحوه خزیدن و ایندکس صفحات مورد استفاده قرار می گیرد.

Robots.txt یک فایل ساده در عین حال مهم است. با این فایل ها می توان با ربات ها صحبت کرد و دستورالعمل های خاصی به ان ها داد. بیشتر وب سایت ها دارای این ربات ها هستند اما بسیاری از مدیران سایت ها نمی دانند چه هستند و چه کاربردی دارند.

اگر در سایت فایل txt به درستی آپلود نشده باشد چه اتفاقی می افتد؟

اگر با فرمت استاندارد ایجاد نشده باشد یا اطلاعات داخل ان قادر به شناسایی نباشند، ربات های موتور جستجو به اطلاعات سایت شما دسترسی پیدا کرده و ان ها را ایندکس می کنند. ربات ها به صورت طبیعی رفتار کرده و به بررسی و ایندکس تمام صفحات سایت می پردازد. ربات ها زمانی تغییر رفتار می دهند که دستوراتی دقیق و منطبق با ان رفتار ها از داخل این فایل ها دریافت کنند.

چگونه فایل Robots.txt بسازیم؟

اول باید مطمئن باشید که در سرور سایت شما چنین فایلی ایجاد نشده است. برای این کار باید ادرس سایت خود را وارد و انتهای ان robots.txt/ بیاورید.

برای مثال  Www.novinbin/robots.txt

درصورت مواجه شدن با ارور ۴۰۴، به این معنا است که چنین فایلی در سرور شما وجود ندارد. برای ساخت این فایل باید یک فایل txt را در Notpad ساخته، دستورات مورد نظر خود را تایپ و فایل را با نام robot ذخیره کنید. در نتیجه فایل اماده شده را در روت اصلی سایت آپلود کنید.

اما در صورت مواجه شدن با کد های User-agent یعنی در سایت شما فایل txt موجود است. از طریق FTP یا کنترل پنل هاست سایت به قسمت مدیریت فایل رفته در روت اصلی فایل robots.txt را پیدا و ان را ویرایش کرده ذخیره کنید. فایل ویرایش شده را با فایل قبلی جایگزین کنید.

تست فایل Robot.txt

بهتر است بعد از ساخت فایل txt ان را تست و از صحت عملکرد ان مطمئن شوید. با باز کردن ادرس فایل robots.txt می توان به بررسی دستوراتی که داخل ان درج کردید بپردازید. راه دیگری نیز وجود دارد و ان هم استفاده از ابزار robots.txt گوگل است. برای استفاده از این ابزار لازم است در مرحله اول وارد سایت google search console شوید سپس روی robots.txt Tester کلیک کرده و گذینه text را انتخاب کنید. در صورت عدم وجود مشکل دکمه قرمز text به دکمه سبز Allowed تغییر پیدا می کند. اما اگر مشکلی وجود داشته باشد دستور مشکل دار هایلایت شده و مشخص می شود.

کاربرد و دلایل نیاز سایت به  فایل Robots.txt

ربات های گوگل برای هر وب سایتی سهمیه خزیدن دارند. استفاده بهینه از این سهمیه اهمیت بالایی دارد، برای گوگل مشخص می کند با چه کیفیتی سایت شما را دنبال کند و در نتیجه با چه کیفیتی به سایت شما رتبه بدهد. این موضوع در سئو بسیار مهم است.

بهتر است به موتورهای جستجو اجازه خزیدن در صفحات غیر ضروری وب سایت خود را ندهید. اگر در سایت خود فایل txt نداشته باشید راهی برای فهماندن این موضوع به ربات ها ندارید. در نتیجه موتور جستجو تمام صفحات شما را ایندکس می کند.

دلیل دیگر استفاده از فایل txt، متوقف کردن موتور جستجو برای ایندکس برگه یا نوشته است. مطمئن ترین راه برای پنهان کردن نیست ولی به شما کمک می کند محتوای مورد نظر را نمایش ندهد.

نحوه استفاده از فایل txt

این فایل ها انعطاف پذیر و بسیار مورد استفاده هستند. مهم ترین و اصلی ترین قابلیت این فایل ها این است که چندین صفحه را به صورت همزمان و بدون نیاز به دسترسی کد هر صفحه از ایندکس شدن جلوگیری می کنند. برای جلوگیری از ایندکس شدن کافیست یک فایل متنی با دستور User-agent بسازید.

در هر فایل متنی txt از ۳ دستور استفاده می شود.

1. در ابتدا و قبل نوشتن هر دستوری باید عبارت :User-agent را بنویسید.
2. سپس نام رباتی که می خواهید به ان دستور دهید می نویسید.
3. پس از مشخص کردن ربات هدف، دستور مورد نظر را می دهید.

نکته

اگر بخواهید تمام ربات های گوگل را مورد هدف قرار دهید باید جلوی متن :User-agent علامت * بزارید. برای مثال *:User-agen

برای اجازه دادن به ربات های خزنده برای خزش از دستور Allow و برای جلوگیری از ربات های خزنده برای خزش از دستور Disallow استفاده می کنیم.

دلایل استفاده از فایل txt

• محدود کردن ربات های خزنده در دسترسی به فایل هایی مانند pdf و …
• تعیین موقعیت فایل
• مخفی کردن قسمت های مختلف خاصی از دید ربات های خزنده
• عدم دسترسی ربات های خزنده به محتوا های تکراری
• مدیریت دسترسی موتور جستجو
• عدم استفاده از این فایل موجب افت عملکرد بهینه سایت می شود.
• کاربردی برای مدیریت لینک ها

محدودیت های فایل Robots.txt

• دستورات برای همه ربات یکسان نیست.
• درک متفاوت هزر ربات از دستورات. یعنی ممکن است ۲ ربات متعلق به یک موتور جستجو، یکی از دستور پیروی کند دیگری نه
• ممکن است اجازه دسترسی یک صفحه را به دستورات یک ربات نداده باشیم اما امکان دارد گوگل ان را ایندکس کند و در نتایج ظاهر شود.

چه صفحاتی را می توان توسط فایل robots.txt مخفی کرد؟

• صفحات ادمین
• صفحات گفتگوی کاربران
• صفحات تشکر از کاربران
• صفحات پروفایل کاربران
• صفحات محتوای تکراری
• صفحات دوم به بعد دسته بندی ها

حرف اخر

نیاز به صرف زمان زیاد برای پیکربندی فایل robots.txt نیست. بهتر است بعد از ساخت وب سایت یک فایل کامل ونهایی از robots.txt تهیه کنید. این فایل ها را نباید زیاد بروزرسانی کرد. شاید به ظاهر تاثیری بر روند فعالیت سایت شما نداشته باشد اما منجر به پیچیدگی فرایند دسترسی خزندگان و ربات ها به سایت شما می شود و اینده در هنگام بررسی سئو سایت مورد توجه قرار می گیرد.

شرکت دیجیتال مارکتینگ نوین بین آماده ارائه خدمات در زمینه سئو و طراحی سایت در اکثر نقاط ایران می باشد.