تگ کنونیکال چیست؟
گوگل روی صفحات با محتوای تکراری یا بسیار مشابه حساس است. با این حال این مشکل ممکن است به دلایلی برای هر سایتی به خصوص سایت های قدیمی با تعداد صفحات زیاد رخ دهد. راه حل های مختلفی برای حل این مشکل ارائه شده که یکی از آن ها استفاده از تگ کنونیکال است.
تگ کنونیکال را باید در صفحه ای که یک نسخه مشابه کامل تر دارد قرار دهید و با این کار به گوگل می گویید که نسخه اصلی این صفحه در کدام url قرار دارد. به این وسیله گوگل هم در صفحات نتایج آن نسخه اصلی را نمایش خواهد داد و رتبه به آن صفحه تعلق می گیرد.برای کسب اطلاعات بیشتر در مورد تگ canonical مقاله تگ کنونیکال چیست را مطالعه نمایید.
تمام خزنده ها و روبات ها قبل از بررسی سایت به این فایل مراجعه می کنند و بر اساس دستورات نوشته شده در آن اقدام خواهند کرد. شما باید خزیدن صفحاتی را که از نظر جستجو ارزشی برای سایتتان ندارند (کسی آن ها را سرچ نمی کند) برای ربات های موتورهای جستجو ممنوع کنید تا باعث افت رتبه کلی سایتتان نشوند.
از طرف دیگر از ترافیک سایتتان بالاست، می توانید در این فایل به روبات ها بگویید صفحات را با تأخیر بخزند تا در بازدید کاربران از سایت مشکلی ایجاد نشود.
قرار دادن نقشه سایت در این فایل نیز می تواند کمک بزرگی به خزیدن تمام صفحات سایت باشد. برای کسب اطلاعات بیشتر در مورد فایل robots.txt مقاله فایل robots.txt چیست را مطالعه نمایید.