noindex و disallow چه تفاوتی با هم دارند؟
دستور دیگری تقریباً مشابه دستور نو ایندکس وجود دارد با عنوان disallow. اما تفاوت اینجاست که با دستور disallow به خزنده ها می گویید «صفحه مورد نظر را نخزند و اطلاعات آن را نخوانند». این در حالی است که با دستور noindex به خزنده ها اجازه خزیدن صفحه داده می شود؛ اما از آن ها می خواهیم که «اطلاعات صفحه را در فهرست نتایج گوگل نشان ندهند یا به عبارت دیگر آن را ایندکس نکنند».
فایل robots.txt نوعی فایل متنی حاوی نقشه سایت و یک سری دستورات برای خزنده ها است. وقتی خزنده ها به یک سایت می رسند، ابتدا این فایل را چک کرده و بر اساس مقررات آن عمل می کنند.
شما می توانید با قرار دادن دستور نو ایندکس در فایل robots.txt صفحاتی که نباید ایندکس شوند را به اطلاع خزنده ها برسانید.
مزیت استفاده از فایل robots.txt این است که به وسیله آن می توانید علاوه بر ممنوع کردن یک صفحه از ایندکس شدن، یک دایرکتوری کامل، یک تصویر یا فایل را به حالت نو ایندکس دربیاورید.
کافی است در این فایل دستور no index را نوشته و سپس آن را در گوگل کنسول ثبت کنید. در زیر یک نمونه دستور نو ایندکس را مشاهده می کنید:noindex: /robots-txt-noindexed-page/مشکل استفاده از فایل robots.txt برای نو ایندکس کردن صفحات این است که گوگل اعلام کرده الزامی برای استفاده از این فایل برای خود نمی بیند. بنابراین ممکن است با اینکه ایندکس شدن صفحه ای را در این فایل ممنوع اعلام کنید، خزنده های گوگل بی توجه به دستور، آن صفحه را در فهرست نتایج نمایش دهند.