آشنایی با فابل ربات robots.txt
اجازه دهید برای درک سهل وآسانتر فایل Robots.txt از یک مثال بی آلایش آغاز کنیم.
فرض فرمایید نخسین بار برای اجرا یک عمل اداری وارد سازمان بزرگی میشوید؛ هیچ آموزش سئو مشهد جایی را هم نمیشناسید. مدیران این سازمان هم چون میدانند مراجعه کنندهها همهجا را نمیشناسند، پس کنار در ورودی یک باجه اطلاعات درست کردهاند و یک یا چندین نفر را مسئول ارشاد و امان گذاشتهاند. در حالتی که این افراد راهنما و نگهبان نباشند، کل سازمان دچار سروصدا میشود. هرکسی برای انجام کارهایش راهروها را بالا و پایین میکند و پرسنل هم نمیتوانند کارها را به صدق اجرا دهند.
فولدر Robots.txt در سایتها نقش همین راهنماها و نگهبانان را دارد البته نه برای کاربرانی که وارد سایت میشوند، بلکه برای رباتهایی که برای رسیدگی وبسایت یا هر کار دیگری میخواهند در قسمتهای مختلف سایت سرک بکشند.
ربات؟!
خب بله دیگه. تنها آدمها بازدید کننده وب سایت شما نیستند که. رباتهایی هستند که به دلایل مختلفی به وبسایت شما سر می زنند.
رباتها در واقع نرمافزارهایی هستند که به صورت خودکار آموزش سئو در مشهد کاغذهای مختلف را باز و تفحص میکنند.
رباتهای موتور جستجوی گوگل مهم ترین رباتهایی می باشند که در اینترنت میچرخند. این رباتها هر روز چند بار ورقههای تارنما شما را تفحص میکنند. در حالتی که وبسایت بزرگی داشته باشید، قابلیت و امکان دارااست رباتهای گوگل تا چند ده هزار بار در روز کاغذهای سایت را تحقیق کنند.
هرمورد از این رباتها کار خاصی میکنند. مثلاً مهم ترین ربات گوگل یا همان Googlebot کارش پیدا کردن صفحههای جدید در اینترنت و دریافت آن برای رسیدگیهای بیشتر توسط الگوریتمهای جایگاهبندی کننده میباشد. پس رباتها نه تنها ضرری برای وبسایت شما ندارند، بلکه بایستی خیلی هم از آنان استقبال کرد.
اما بایستی حواستان باشد که این رباتها لهجه آدمیزاد سرشان نمیشود! یعنی همینطور مثل چی سرشان را میندازند زیر و سر تا پای تارنما را تفحص میکنند. برخی وقتها هم رباتها گوگل چیزهایی را که دوست نداریم هر کسی ببیند را برمیدارا هستند میبرند در سرورهای گوگل ذخیره میکنند و به فقید و انسان علامت می دهند. خب پس می بایست راهی باشد که جلوی آنها را بگیریم.
خوشبختانه دسترسی رباتها به ورقهها یا پوشهها را خواهیم توانست در دست گرفتن کنیم.
میتوانید با نوشتن دستورهایی معمولی در یک فایل به نام Robots.txt جلوی ورود ربات را به قسمتهایی از سایت بگیرید، به آنان بگویید اجازه ندارند وارد بخشی از تارنما شوند یا دستوراتی خاص بدهید تا سرور صاحب خانه وبسایت شما الکی مشغول رباتها نشود و همینطور وبسایت خود را از نگاه تکنیکال هم seo کنید.
پیرو می خواهیم با جزئیات بی نقص درباره همین فایل مهم کلام کنیم. گام به گام جلو میرویم تا ببینیم چطور میتوان از فایل Robots.txt استفاده کرد؛ چطور میتوانیم رباتها را محدود کنیم، چطور از ایندکس شدن ورقهها غربت کنیم و در نهایت یک فایل Robots.txt خوب بسازیم.