فایل Robots.txt چیست؟

فایل Robots.txt چیست؟

یکی از موارد اولیه مورد نیاز برای بهینه سازی سایت که متخصصان سئو در اصفهان  و شهرهای دیگر هنگام کار بر روی سئوی فنی سایت در نظر می گیرند، ایجاد فایل Robots.txt است. اما فایل Robots.txt چیست؟  

Robots.txt یک فایل متنی است که در وب سرور شما قرار دارد و توسط خزنده های وب مثل موتورهای جستجو برای درک نحوه جستجوی وب سایت شما استفاده می شود. به بیان دیگر این فایل به خزنده های موتور های جستجوگر دستور می دهد که چگونه محتویات و صفحات داخل سایت شما را بخزند. بنابراین داشتن یک فایل Robots.txt مناسب یکی از عناصر اساسی SEO برای وب سایت شما است.

به یاد داشته باشید فایل Robots.txt به شدت مستعد خطا است به طوری که یک اشتباه ساده یا یک پیکربندی غلط و ناخواسته می تواند باعث خرابی در سئوی سایت و از دست رفتن رتبه بندی سایت شما شود. بنابراین قبل از ایجاد و بهینه سازی فایل Robots.txt حتما نکات لازم را فرا بگیرید. در ادامه در وهله اول بررسی خواهیم کرد که فایل Robots.txt چیست و چه کاربردی دارد؟ سپس راحت ترین روش ایجاد آن را توضیح خواهیم داد.

همچنان با آژانس دیجیتال مارکتینگ بهیدو ارائه دهنده خدمات طراحی سایت در اصفهان ، طراحی فروشگاه اینترنتی و خدمات سئو در اصفهان  همراه باشید. برای کسب اطلاعات بیشتر و دریافت مشاوره رایگان طراحی سایت با ما تماس بگیرید.

فایل Robots.txt چیست؟  

Robots.txt فایلی است که در دایرکتوری اصلی وب سایت شما قرار دارد. این فایل در واقع یک دستورالعمل برای خزنده موتورهای جستجو است که بر اساس آن تصمیم می گیرند کدام صفحات یا فایل های یک سایت را درخواست کنند.

اولین چیزی که موتورهای جستجو هنگام بازدید از یک سایت به دنبال آن هستند، جستجو و بررسی محتوای فایل robots.txt است. سپس بسته به دستورالعمل های مشخص شده در این فایل، آنها لیستی از URL هایی را که می توانند در آن وب سایت خزنده و فهرست شوند، ایجاد می کنند. فرمت اصلی برای یک فایل Robots.txt به شکل زیر است:

فرمت اصلی فایل Robots.txt

مفهوم دستورهای فایل Robots.txt

User-agent: به یک ربات خاص اشاره دارد (به عنوان مثال موتور جستجو) که به آن دستورالعمل های خزیدن را می دهید. برای مراجعه به همه خزنده ها یا تعیین نام خزنده می توانید از یک * استفاده کنید. به مثال های زیر توجه کنید:

بیشتر بدانید :  فیچر اسنیپت چیست؟

(شامل تمام خزنده ها است)    User-agent: *

(دستورالعمل ها فقط برای ربات گوگل است.) User-agent: Googlebot

Disallow: فرمانی است که به ربات می گوید URL خاصی را خزنده نکند.

Allow: فرمانی است که به ربات می گوید تا یک URL خاص را حتی در یک فهرست غیر مجاز نیز خزش کند. به عنوان مثال، می توانید دسترسی به فهرست عکس خود را ممنوع کنید اما اجازه دسترسی به زیر پوشه BMW را بدهید که در زیر عکس قرار دارد:

کد دستوری Allow در فایل Robots.txt

 

Sitemap: به تعیین محل نقشه سایت در ربات کمک می کند. (بهترین روش برای این کار قرار دادن دستورالعملهای نقشه سایت در انتهای یا ابتدای پرونده robots.txt است.) البته حتی اگر مکان نقشه سایت XML را در ربات ها مشخص نکنید، موتورهای جستجو همچنان قادر به یافتن آن هستند.

Crawl-delay: به تعیین تعداد ثانیه هایی که خزنده باید قبل از خزیدن صفحه منتظر بماند، کمک می کند. معمولا یاهو و بینگ این دستورالعمل را اجرا می کنند و تاخیر خزش توسط Googlebot در نظر گرفته نمی شود.

نکته: Robots.txt به حروف کوچک و بزرگ حساس است و در صورت اشتباه دستورالعمل شما اجرا نمی شود.

فایل Robots.txt را در کجای وب سایت قرار دهیم؟

از نظر فنی ، می توانید robots.txt را در هر یک از دایرکتوری های اصلی وب سایت خود قرار دهید. اما کارشناسان سئو در اصفهان توصیه می کنند که همیشه این فایل را در ریشه دامنه خود قرار دهید. به عنوان مثال ، اگر دامنه شما www.xyz.com است، پس robots.txt شما باید در www.xyz.com/robots.txt پیدا شود.

اهمیت فایل Robots.txt چیست؟

مهم نیست وب سایت شما کوچک باشد و یا دارای یک وب سایت بزرگ باشید، در هر صورت داشتن یک فایل robots.txt برای سئو سایت شما مهم است. زیرا به گفته کارشناسان سئو در اصفهان این فایل به شما امکان کنترل بیشتر حرکت موتورهای جستجو در وب سایتتان را می دهد. مهم ترین موارد اهمیت فایل Robots.txt برای سایت شما عبارتند از:

  • از اضافه بار سرور جلوگیری می کند.
  • از قرار گرفتن موتورهای جستجو در معرض اطلاعات حساس سایت جلوگیری می کند.
  • کمک می کند تا بخش هایی از وب سایت شما خصوصی بماند.
  • از خزیدن محتوای تکراری جلوگیری می کند.
  • از نمایه سازی فایل های غیرضروری در وب سایت شما (به عنوان مثال تصاویر ، ویدئو ، PDF) جلوگیری می کند.
  • از خزیدن برای صفحات نتایج جستجوی داخلی جلوگیری می کند.
بیشتر بدانید :  چگونه محتوای وب را برای جستجوی صوتی بهینه سازی کنیم؟

فایل Robots.txt در حال خزش در صفحات وب

فایل Robots.txt چگونه کار می کند؟

به طور کلی موتورهای جستجو دو کار اساسی انجام می دهند که عبارتند از:

  1. پیدا کردن محتوای جدید در وب
  2. فهرست کردن محتوای یافت شده برای کاربرانی که به دنبال آن اطلاعات هستند.

بنابراین، خزنده پس از ورود به یک وب سایت، به دنبال یک فایل robots.txt می گردد. هنگامی که فایل robots.txt را پیدا کرد، خزنده ابتدا آن را مرور می کند و جستجوی محتوا در وب سایت شما را بر اساس دستورالعمل های آن انجام می دهد. همچنین اگر در مورد بخشنامه هایی که فعالیت خرنده را ممنوع می کنند، اشاره خاصی در این فایل نشده باشد، خزنده شروع به خزیدن سایر اطلاعات در سایت می کند.

چگونه یک robots.txt ایجاد کنیم؟

ایجاد یک فایل robots.txt آسان است. همه آنچه شما نیاز دارید یک ویرایشگر متن (مانند notepad) و دسترسی به پرونده های وب سایت خود (از طریق FTP یا صفحه کنترل) است. اما قبل از شروع به کار در ایجاد فایل ربات ها، اولین کاری که باید انجام دهید این است که بررسی کنید آیا قبلاً این فایل را ساخته اید یا خیر. آسانترین راه برای انجام این کار، باز کردن یک پنجره مرورگر جدید و رفتن به https://www.yourdomain.com/robots.txt است

اگر چیزی مشابه دستورالعمل های فایل robots.txt که قبلا به آن اشاره شد را مشاهده کردید، به این معنی است که شما در حال حاضر یک فایل robots.txt دارید و می توانید به جای ایجاد یک پرونده جدید، فایل موجود را ویرایش کنید.

  • نحوه ویرایش robots.txt

از سرویس گیرنده FTP مورد علاقه خود استفاده کنید و به فهرست ریشه وب سایت خود متصل شوید. Robots.txt همیشه در پوشه اصلی قرار دارد. فایل را در رایانه خود بارگیری کنید و آن را با یک ویرایشگر متن باز کنید. تغییرات لازم را انجام دهید و پرونده را مجددا در سرور خود بارگذاری کنید.

  • نحوه ایجاد یک robots.txt جدید

    اگر از قبل این فایل را ندارید با استفاده از ویرایشگر متن، یک فایل .txt جدید ایجاد کنید ، دستورالعمل های خود را اضافه کنید، آن را ذخیره کرده و در پوشه اصلی وب سایت خود بارگذاری کنید. حتما مطمئن شوید که نام پرونده شما robots.txt است و نه چیز دیگری.  همچنین، به خاطر داشته باشید که نام پرونده به حروف کوچک و بزرگ حساس است و باید همه آنها کوچک باشد.

robots.txt باید همیشه در ریشه وب سایت شما باشد و در هیچ پوشه ای قرار نگیرد.

  • یک مثال معمولی از robots.txt

در یک سناریوی معمول ، پرونده robots.txt شما باید دارای محتوای زیر باشد:

سناریوی معمولی برای ایجاد robots.txt

این کد به همه ربات ها اجازه می دهد بدون هیچگونه انسداد و محدودیت به وب سایت شما دسترسی داشته باشند. همچنین مکان نقشه سایت را تعیین می کند تا مکان یابی آن برای موتورهای جستجو آسان تر باشد.

  • چگونه robots.txt خود را آزمایش و اعتبار سنجی کنیم؟

در حالی که می توانید با رفتن به URL robots.txt ، محتوای robots.txt خود را مشاهده کنید ، بهترین روش برای تست و اعتبار سنجی آن از طریق robots.txt Tester ابزار Google Search Console است.

چگونه robots.txt خود را آزمایش و اعتبار سنجی کنیم؟

به ابزار تستر Robots.txt بروید و روی دکمه Test کلیک کنید. اگر همه چیز خوب باشد ، دکمه Test سبز می شود و برچسب به مجاز تغییر می کند. اما اگر مشکلی وجود داشته باشد، خطی که باعث عدم اجازه می شود برجسته می شود.

برای دریافت خدمات طراحی سایت در اصفهان ، طراحی فروشگاه اینترنتی و خدمات سئو در اصفهان با ما همراه باشید. جهت کسب اطلاعات بیشتر و دریافت مشاوره رایگان طراحی سایت با ما تماس بگیرید.

بیشتر بدانید :  راهنمای کامل ساختن بک لینک

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

مشاوره رایگان

در بهیـدو مشـاوره رایگـــان دریافت کنیـد

شماره تماس : ۰۳۱۳۲۷۵۱۹۸۸۰۳۱۳۲۷۵۱۹۸۹

پشتیبانی فروش : ۰۹۹۰۸۰۶۰۸۳۵۰۹۳۷۶۱۳۹۳۰۶

آدرس پستی : خیابان هشت بهشت شرقی، نرسیده به چهارراه هشت بهشت ، ساختمان فراز طبقه دوم

×

در بهیـدو مشـاوره رایگـــان دریافت کنیـد

شماره تماس : ۰۳۱۳۲۷۵۱۹۸۸۰۳۱۳۲۷۵۱۹۸۹

پشتیبانی فروش : ۰۹۹۰۸۰۶۰۸۳۵۰۹۳۷۶۱۳۹۳۰۶

آدرس پستی : خیابان هشت بهشت شرقی، نرسیده به چهارراه هشت بهشت ، ساختمان فراز طبقه دوم

×

در بهیـدو مشـاوره رایگـــان دریافت کنیـد

شماره تماس : ۰۳۱۳۲۷۵۱۹۸۸۰۳۱۳۲۷۵۱۹۸۹

پشتیبانی فروش : ۰۹۹۰۸۰۶۰۸۳۵۰۹۳۷۶۱۳۹۳۰۶

آدرس پستی : خیابان هشت بهشت شرقی، نرسیده به چهارراه هشت بهشت ، ساختمان فراز طبقه دوم

×

در بهیـدو مشـاوره رایگـــان دریافت کنیـد

شماره تماس : ۰۳۱۳۲۷۵۱۹۸۸۰۳۱۳۲۷۵۱۹۸۹

پشتیبانی فروش : ۰۹۹۰۸۰۶۰۸۳۵۰۹۳۷۶۱۳۹۳۰۶

آدرس پستی : خیابان هشت بهشت شرقی، نرسیده به چهارراه هشت بهشت ، ساختمان فراز طبقه دوم

×

در بهیـدو مشـاوره رایگـــان دریافت کنیـد

شماره تماس : ۰۳۱۳۲۷۵۱۹۸۸۰۳۱۳۲۷۵۱۹۸۹

پشتیبانی فروش : ۰۹۹۰۸۰۶۰۸۳۵۰۹۳۷۶۱۳۹۳۰۶

آدرس پستی : خیابان هشت بهشت شرقی، نرسیده به چهارراه هشت بهشت ، ساختمان فراز طبقه دوم

×