اگر در حوزه سئو فعالیت میکنید یا مدیریت یک وبسایت را بر عهده دارید، احتمالاً بارها با این پرسش روبهرو شدهاید که چرا باید بعضی صفحات را عمداً از دید موتورهای جستوجو پنهان کرد. در نگاه اول، هدف اصلی سئو نمایش هرچه بیشتر صفحات در نتایج گوگل به نظر میرسد؛ اما در عمل، نمایش بیقاعدهٔ همهٔ صفحات میتواند به رتبهٔ کلی سایت آسیب بزند. ابزار اصلی برای کنترل این موضوع، تگ noindex است.
برای درک درست تگ noindex ابتدا باید بدانیم منظور از «ایندکس شدن» چیست. وقتی موتور جستوجویی مانند گوگل یک صفحه را شناسایی، بررسی و در پایگاه دادهٔ خود ذخیره میکند، آن صفحه ایندکس شده است و امکان نمایش در نتایج جستوجو را پیدا میکند. در واقع ایندکس شدن نخستین گام سئو است؛ اما همین که صفحهای ایندکس شد، الزاماً به معنای کسب رتبهٔ خوب نیست و ممکن است در صفحات بسیار پایین نتایج قرار بگیرد. کار اصلی سئو پس از ایندکس شدن آغاز میشود.
نکتهٔ مهم اینجاست که ایندکس شدن همیشه مطلوب نیست. برخی صفحات اساساً برای جذب مخاطب از مسیر جستوجو ساخته نشدهاند و حضورشان در نتایج گوگل نهتنها سودی ندارد، بلکه میتواند به اعتبار کلی دامنه لطمه بزند. اینجاست که یک متخصص سئو باید با شناخت دقیق ساختار سایت تصمیم بگیرد کدام صفحات ایندکس شوند و کدام صفحات با تگ noindex از نتایج کنار گذاشته شوند. خبر خوب این است که برای انجام این کار به دانش برنامهنویسی نیاز ندارید؛ افزونههای سئو این فرآیند را به چند کلیک ساده تبدیل کردهاند.
تگ noindex چیست و چه کاری انجام میدهد؟
تگ noindex یک دستور (directive) برای موتورهای جستوجوست که اعلام میکند: «این صفحه را در نتایج جستوجو نمایش نده.» این تگ معمولاً بهصورت یک متا تگ در بخش head صفحه قرار میگیرد و خزندههای گوگل، بینگ و سایر موتورها پس از خواندن آن، صفحه را از ایندکس خود حذف میکنند یا اساساً ایندکس نمیکنند.
توجه داشته باشید که noindex با مفهوم «بلاک کردن خزش» تفاوت دارد. صفحهای که noindex دارد همچنان توسط رباتها بازدید (crawl) میشود؛ ربات وارد صفحه میشود، تگ noindex را میبیند و سپس تصمیم میگیرد آن را در نتایج نشان ندهد. به همین دلیل برای اینکه این دستور اثر کند، صفحه نباید در فایل robots.txt مسدود شده باشد؛ در ادامه به این نکتهٔ پرتکرار و مهم میپردازیم.
اما چرا باید بعضی صفحات از تیررس رباتهای موتور جستوجو خارج شوند؟ هدف از حضور در نتایج جستوجو، جذب ترافیک مرتبط است؛ کاربری که با نیاز واقعی وارد سایت میشود، زمان میگذراند، خرید میکند یا با کسبوکار آشنا میشود. اگر کاربری از مسیری نامرتبط وارد صفحهای بیارزش شود، خیلی زود از آن خارج میشود. این رفتار، سیگنالهای منفی به موتور جستوجو میفرستد و در عمل کیفیت کلی سایت را در ارزیابی الگوریتمها پایین میآورد. بنابراین حذف هدفمند صفحات کمارزش از نتایج، به نفع سلامت سئوی کل دامنه است.
گوگل چگونه صفحات را ایندکس میکند؟
فرآیند ایندکس شدن در گوگل سه مرحلهٔ اصلی دارد. ابتدا خزنده (Googlebot) آدرسها را کشف و صفحه را خزش میکند، سپس محتوای صفحه را پردازش و رندر میکند و در نهایت در صورت واجد شرایط بودن، آن را در ایندکس ذخیره مینماید. تنها صفحهای که این چرخه را کامل طی کند، شانس نمایش در نتایج جستوجو را دارد.
به همین دلیل است که متخصصان سئو با ابزارهایی مانند گوگل سرچ کنسول تلاش میکنند ایندکس شدن صفحات مهم را سریعتر و مطمئنتر کنند. در سرچ کنسول میتوانید با ابزار URL Inspection وضعیت دقیق هر صفحه را ببینید و بفهمید آیا گوگل آن را ایندکس کرده، چرا ایندکس نشده، یا اینکه بهخاطر تگ noindex از ایندکس کنار گذاشته شده است.
نکتهٔ کلیدی این است که ایندکس شدن پایان کار نیست، بلکه آغاز آن است. فرض کنید صفحهای با موضوع «روشهای نوین سئو» منتشر کردهاید؛ تنها زمانی این صفحه شانس دیده شدن دارد که ایندکس شده باشد، اما رسیدن به رتبههای بالا نیازمند کیفیت محتوا، تجربهٔ کاربری مناسب و اعتبار دامنه است. به بیان ساده، ایندکس شدن یعنی گوگل محتوای صفحهٔ شما را در پایگاه دادهٔ خود ذخیره کرده است، نه اینکه آن را در صدر نتایج قرار داده باشد.
چه زمانی باید از تگ noindex استفاده کنیم؟
دلایل استفاده از noindex از پروژهای به پروژهٔ دیگر متفاوت است، اما چند موقعیت پرتکرار وجود دارد که تقریباً در همهٔ سایتها مصداق دارد. در ادامه مهمترین آنها را بررسی میکنیم.
محتوای تکراری (Duplicate Content)
یکی از مشکلات شناختهشده در سئو، محتوای تکراری است؛ یعنی زمانی که دو یا چند آدرس متفاوت، محتوای یکسان یا بسیار مشابهی را نمایش میدهند. ایندکس شدن همزمان همهٔ این نسخهها باعث میشود اعتبار و قدرت یک کلیدواژه میان چند صفحه پخش شود و در نهایت رتبهٔ همان کلیدواژه افت کند.
رایجترین مثال، صفحات فیلتر و مرتبسازی در فروشگاههای اینترنتی است. صفحهٔ محصولاتی که بر اساس قیمت مرتب شده با همان صفحه که بر اساس امتیاز یا محبوبیت مرتب شده، محتوای تقریباً یکسانی دارد. اگر همهٔ این حالتها ایندکس شوند، بودجهٔ خزش و توان رتبهگیری سایت بهجای تمرکز روی یک صفحهٔ اصلی، میان دهها نسخهٔ مشابه تقسیم میشود. در عمل خودتان شانس دیده شدن صفحهٔ اصلی را کاهش دادهاید.
- صفحات فیلتر و مرتبسازی محصولات در سایتهای فروشگاهی
- صفحات صفحهبندی (pagination) که محتوای مشابه دارند
- نسخههای چاپی یا نسخههای مخصوص پارامترهای URL
- محتوای یکسانی که از طریق چند دستهبندی یا برچسب در دسترس است
نکتهٔ تکمیلی این است که برای محتوای تکراری همیشه noindex بهترین انتخاب نیست؛ در بسیاری از موارد تگ canonical راهحل دقیقتری است، چون به گوگل میگوید کدام نسخه «اصلی» است و در عین حال اعتبار صفحات مشابه را به همان نسخه منتقل میکند. انتخاب میان noindex و canonical به هدف شما بستگی دارد.
محتوای کمارزش یا کاربردی برای کاربر
در هر سایت صفحاتی وجود دارد که صرفاً برای بهبود تجربهٔ کاربری ساخته شدهاند و ارزش سئویی ندارند. صفحهٔ تشکر پس از خرید، صفحهٔ تأیید ثبتنام، صفحات نتیجهٔ پرداخت و پیامهای اطلاعرسانی، نمونههای روشن این دستهاند. هیچ کاربری در گوگل به دنبال «صفحهٔ تشکر از خرید» نمیگردد؛ پس ایندکس شدن این صفحات نهتنها فایدهای ندارد، بلکه با افزودن صفحات بیکیفیت به ایندکس، تصویر کلی سایت را نزد گوگل ضعیفتر میکند.
برخی صفحات دیگر نیز به دلایل محرمانگی یا حریم خصوصی باید noindex شوند؛ برای نمونه صفحات پروفایل کاربران، صفحات داخلی حساب کاربری، نتایج جستوجوی داخلی سایت و بخشهایی که محتوای محافظتشده دارند. این صفحات نباید در نتایج عمومی گوگل ظاهر شوند.
محتوای موقتی و کمپینهای زماندار
گاهی صفحهای برای یک مناسبت یا کمپین کوتاهمدت ساخته میشود؛ مثل صفحهٔ ویژهٔ تخفیف روز مادر یا یک فروش فصلی محدود. پس از پایان کمپین، دلیلی برای نمایش این صفحه در نتایج وجود ندارد، چون محصول یا پیشنهاد دیگر در دسترس نیست. اگر این صفحه را با noindex از نتایج خارج نکنید، کاربری که از گوگل وارد آن میشود با پیشنهادی منقضیشده روبهرو میشود و این تجربهٔ ناخوشایند میتواند برداشت او از برند شما را خراب کند.
تگ noindex را کجا و چگونه اضافه کنیم؟
روش استاندارد و دستی برای noindex کردن یک صفحه، افزودن متا تگ زیر در بخش head همان صفحه است. کد به این شکل است:
<meta name="robots" content="noindex">
اگر بخواهید همزمان از دنبال شدن لینکهای داخل صفحه هم جلوگیری کنید، میتوانید مقدار آن را به noindex, nofollow تغییر دهید. همچنین برای اطمینان بیشتر میتوانید این دستور را بهجای متا تگ، از طریق هدر HTTP و با استفاده از X-Robots-Tag ارسال کنید؛ این روش مخصوصاً برای فایلهای غیر HTML مانند PDF کاربرد دارد که امکان افزودن متا تگ به آنها وجود ندارد.
یک هشدار مهم: تگ noindex فقط زمانی کار میکند که خزندهٔ گوگل بتواند صفحه را ببیند. اگر همان صفحه را در فایل robots.txt مسدود کرده باشید، ربات اصلاً وارد صفحه نمیشود تا متا تگ noindex را بخواند و در نتیجه دستور شما نادیده میماند. بنابراین برای حذف یک صفحه از نتایج، باید به ربات اجازهٔ خزش بدهید و فقط noindex را تنظیم کنید، نه اینکه مسیر را در robots.txt ببندید.
تفاوت noindex با robots.txt در چیست؟
این دو ابزار اغلب با هم اشتباه گرفته میشوند، در حالی که کارکرد متفاوتی دارند. فایل robots.txt درباره خزش صفحه است و تگ noindex درباره نمایش در نتایج.
- robots.txt با دستور Disallow: به ربات میگوید این مسیر را خزش نکن. اما اگر صفحه از طریق لینکهای سایتهای دیگر کشف شود، گوگل ممکن است آن آدرس را بدون توضیحات در نتایج نمایش دهد، چون اجازهٔ ورود برای خواندن محتوا را نداشته است.
- تگ noindex: به ربات اجازهٔ خزش میدهد، اما اعلام میکند صفحه را در نتایج نمایش نده. این روش، راه مطمئن برای حذف کامل یک صفحه از نتایج جستوجوست.
به همین دلیل گوگل بهصراحت توصیه کرده است که برای حذف یک صفحه از نتایج، از noindex استفاده کنید و آن را با robots.txt مسدود نکنید. ترکیب اشتباهِ «Disallow در robots.txt بهعلاوهٔ noindex» باعث میشود گوگل هرگز متا تگ noindex شما را نبیند و دستور بیاثر بماند.
noindex کردن صفحات با افزونههای سئو
اگر با وردپرس کار میکنید، نیازی به ویرایش دستی کد ندارید. افزونههای سئو مانند رنک مث (Rank Math) و یواست (Yoast) امکان noindex کردن صفحات را بهسادگی فراهم میکنند.
در افزونهٔ Rank Math هنگام ویرایش هر نوشته یا برگه، در پنل افزونه به سربرگ Advanced یا بخش تنظیمات سئوی همان صفحه بروید و در قسمت Robots Meta گزینهٔ No Index را فعال کنید. بهمحض ذخیرهٔ صفحه، Rank Math تگ noindex را بهصورت خودکار در خروجی HTML آن صفحه قرار میدهد. مزیت Rank Math این است که میتوانید برای کل یک نوع محتوا یا یک تاکسونومی (مثلاً همهٔ صفحات نویسنده یا برچسبها) بهصورت یکجا قانون noindex تعریف کنید تا نیازی به تنظیم تکتک صفحات نباشد.
در افزونهٔ Yoast نیز روند مشابهی وجود دارد. در بخش Advanced افزونه پرسشی با عنوان «آیا به موتورهای جستوجو اجازهٔ نمایش این نوشته را میدهید؟» مطرح میشود. مقدار پیشفرض روی «بله» است و اگر آن را به «نه» تغییر دهید، تگ noindex بهطور خودکار به کد صفحه افزوده میشود.
این قابلیت محدود به وردپرس نیست؛ هر سیستم مدیریت محتوا یا فریمورک، ابزار خودش را برای کنترل متا تگهای ربات دارد. آنچه اهمیت دارد، شناخت درست سیستمی است که با آن کار میکنید تا بدانید این تنظیمات را از کجا اعمال کنید.
جمعبندی
تگ noindex یک متا تگ ساده اما کلیدی است که به موتورهای جستوجو میگوید یک صفحهٔ مشخص را در نتایج نمایش ندهند. این تگ مستقیماً رتبهٔ صفحات دیگر را تغییر نمیدهد، اما با حذف صفحات کمارزش، تکراری یا موقتی از ایندکس، به مدیریت بهتر بودجهٔ خزش و حفظ کیفیت کلی سایت کمک میکند.
برای استفادهٔ درست از noindex سه نکته را به یاد داشته باشید: نخست، صفحه را در robots.txt مسدود نکنید تا گوگل بتواند تگ را بخواند؛ دوم، میان noindex و canonical آگاهانه انتخاب کنید؛ و سوم، پس از اعمال تغییرات، وضعیت ایندکس را در گوگل سرچ کنسول بررسی کنید تا مطمئن شوید دستور شما درست اجرا شده است. با همین رویکرد ساده میتوانید کنترل دقیقی روی آنچه گوگل از سایت شما به کاربران نشان میدهد، بهدست آورید.
سؤالات متداول
تگ noindex چیست؟
تگ noindex یک متا تگ یا دستور است که به موتورهای جستوجو اعلام میکند یک صفحهٔ مشخص را در نتایج جستوجو نمایش ندهند. این تگ معمولاً در بخش head صفحه قرار میگیرد و برای صفحاتی به کار میرود که نباید از مسیر جستوجو دیده شوند؛ مثل صفحهٔ تشکر پس از خرید یا صفحات کاربری.
تفاوت noindex با robots.txt چیست؟
robots.txt دربارهٔ خزش صفحه است و به ربات میگوید آیا اجازهٔ ورود به یک مسیر را دارد یا نه، در حالی که noindex دربارهٔ نمایش در نتایج است. برای حذف کامل یک صفحه از نتایج گوگل باید از noindex استفاده کنید و آن صفحه را در robots.txt مسدود نکنید؛ در غیر این صورت گوگل تگ noindex را نمیبیند و دستور بیاثر میماند.
در رنک مث چگونه صفحه را noindex کنیم؟
هنگام ویرایش صفحه، در پنل Rank Math به بخش Advanced یا Robots Meta بروید و گزینهٔ No Index را فعال کنید. پس از ذخیرهٔ صفحه، افزونه تگ noindex را بهصورت خودکار به کد صفحه اضافه میکند. همچنین میتوانید برای کل یک نوع محتوا قانون noindex سراسری تعریف کنید.
آیا noindex باعث افت رتبهٔ سایت میشود؟
خیر. noindex بهدرستی استفادهشده به سئو آسیب نمیزند، بلکه با حذف صفحات کمارزش و تکراری از ایندکس، به سلامت کلی سایت کمک میکند. مشکل تنها زمانی پیش میآید که بهاشتباه روی صفحات مهم و درآمدزا اعمال شود.
چه صفحاتی را باید noindex کنیم؟
بهطور معمول صفحات با محتوای تکراری (مانند فیلترهای فروشگاهی)، صفحات کاربردی بدون ارزش سئو (مثل صفحات تشکر و نتیجهٔ پرداخت)، صفحات حساب کاربری و نتایج جستوجوی داخلی، و صفحات موقتی مربوط به کمپینهای منقضیشده باید noindex شوند.
