آیا با انتشار محتوای تکراری توسط گوگل جریمه می شوید؟

یکی از بزرگترین چالش هایی که در اقدامات سئو یک سایت با آن مواجهیم پدیده ای با عنوان محتوای تکراری یا Duplicate Content است. هر چند در خصوص این موضوع اطلاعات ضد و نقیض و بعضا نادرستی وجود دارد ولی این حقیقت که محتوای تکراری جدای از نتایج منفی که ممکن است در نتایج سئو داشته باشد یک چالش جدی برای مدیران سایت ها محسوب می شود، غیر قابل انکار است.

اگر چه تعاریف واضحی در مورد محتوای مشابه و تکراری وجود دارد ولی به دلیل برخی باورهای اشتباه در مورد این مسأله و تأثیراتی که در سئو بوجود می آورد لازم است ابعاد و زوایای قضیه را به شکل کامل بررسی کنیم. هر چند خود گوگل در بعضی از اطلاعاتی که منتشر می کند ضمن توضیح در مورد محتواهای تکراری به صراحت اشاره می کند هر چند این پدیده می تواند تأثیر بدی بر رتبه بندی سایت داشته باشد ولی باورهایی که در مورد جریمه های سنگین وجود دارد اشتباه است.   

در این مقاله آموزشی سعی داریم ضمن تعریف محتوای تکراری و دلایل بوجود آمدن، حقایق اشتباهی را در مورد محتوای تکراری بیان کنیم. در پایان نیز برای خلاص شدن از داستان جرایم احتمالی گوگل، راه حل هایی را برای نحوه شناسایی و مرتفع کردن این چالش از زوایای مختلف ارائه دهیم.  

محتوای تکراری یا Duplicate Content چیست؟

مطابق گفته گوگل، تعریف محتوای تکراری یا Duplicate Content عبارت است از محتواهایی که داخل یک سایت و یا بین دو سایت مختلف، کاملا با هم مطابقت دارند و یا به شکل زیادی با هم مشابهت دارند. به دیگر بیان، به محتوای یکسان (یا همه یا بخش های زیائی از آن) که در دو صفحه با آدرس URL متفاوت نمایش داده شوند، محتوای تکراری می ‌گویند.

مطابق این تعریف، محتوای مشابه ممکن است در یک سایت استفاده شود و یا ممکن است محتوایی باشد که شما از وب سایت دیگری برداشته و در سایت و یا وبلاگ خود استفاده کرده و یا سایت دیگری محتوای سایت شما را منتشر کرده است.

مطابق این تعاریف، هنوز اطلاعات کامل و جامعی در دست نیست که تا چه اندازه مشابهت بین دو محتوا می تواند عنوان محتواهای تکراری را به آنها اطلاق کند. مثلا در بسیاری از موارد دیده شده محتواهای نزدیک به هم و دارای کلماتی که معنی آنها یکسان است را به عنوان محتوای مشابه شناخته اند.

باورهای نادرست در مورد محتوای تکراری چیست؟

اگرچه همانطور که اشاره کردیم در مورد تعداد و حدود محتواهای تکراری و جرایم آن اطلاعات جامعی در دست نیست ولی باورهای نادرستی از این پدیده رایج است که در اینجا قصد داریم به برخی از آنها اشاره کنیم.

• اگر چه برآورد تعداد محتواهای تکراری کار دقیقی نیست ولی پیش بینی می شود این عدد رقمی بین ۲۰ تا ۳۰ درصد باشد. در سایت خود شما هم این درصد قطعا وجود دارد و این یک امر طبیعی است. ولی اگر این مقدار از یک حد مشخص بیشتر شود باید چاره ای برای آن اندیشیده شود.
• بر خلاف باور عموم، گوگل هیچ جریمه‌ خاصی برای محتوای تکراری و کپی در نظر نگرفته است. اگر چه محتواهای تکراری با تأثیرات سوئی که بر اقدامات سئو سایت می گذارند می توانند به نوعی باعث افت رتبه های محتواهای سایت شوند ولی گوگل به طور مستقیم جریمه خاصی برای این پدیده در نظر نگرفته است.
• بر خلاف باور عمومی، گوگل محتوای کپی و تکراری را ایندکس می کند. ربات های گوگل با ایندکس کردن محتواهای تکراری و مشابه، یکی از آنها را در صفحه نتایج نشان می ‌دهند. از آنجا که گوگل تشخیص نمی دهد کدام محتوا اصلی است در صورت وجود محتوای تکراری در یک سایت همه آنها ایندکس شده ولی یکی از آنها در نتایج نشان داده می شو‌د.
• بر خلاف تصور، محتوای تکراری و کپی تنها با تکرار مشابه یک متن یا قسمتی از آن به وجود نمی‌ آید.
• شاید شما فکر کنید تولید محتوا هر چند تکراری باشد، می تواند با ایجاد ترافیک به سایت باعث افزایش اعتبار و ارزش سایت شود ولی در حقیقت این یک تفکر اشتباه است. تولید محتواهای تکراری هیچ ارزشی را به سایت شما اضافه نخواهد کرد.  

محتوای تکراری با محتوای کپی چه تفاوتی دارد؟

محتوای تکراری و محتوای کپی اگر چه در ظاهر شبیه به یکدیگرند اما با یکدیگر تفاوت های زیادی دارند. محتوای کپی شده بخشی یا تمامی از یک محتوای سایت دیگر است که شما در سایت خود قرار می دهید. هر چند مطابق قانون کپی رایت این کار جرم محسوب شده و عواقب بدی را برای شخص کپی کننده به دنبال خواهد داشت ولی بسیاری از محتواهای موجود از این قانون تبعیت نمی کنند. 

از طرفی، محتوای تکراری یا Duplicate Content محتواهای مشابه در آدرس URL متفاوت است و در هنگام بارگذاری مطلب در سایت اتفاق می‌افتد و خیلی از اوقا ت به دلیل یک خطای فنی و ساختاری به وجود می ‌آید. این بدان معنی است که یک صفحه محتوایی با چند آدرس مختلف بارگذاری می شود.

از دلایل دیگر ایجاد محتوای تکراری به اشتباه تصادفی، کپی عمدی محتوا توسط دیگران و انتشار محتوای مشابه در چندین وب سایت اشاره کرد. از این رو می توان گفت تمام محتوای کپی شده یک محتوایی تکراری است، اما همه محتواهای تکراری کپی شده نیستند.

ارتباط کنیبالیزیشن با محتوای تکراری

کنیبالیزیشن به معنی استفاده بیش از یک بار از یک کلمه کلیدی اصلی در محتواهای مختلف سایت است. در واقع کلمه کلیدی شما، کلید واژه ای است که شما در محتوای خود از آن استفاده کرده تا آن کلمه در نتایج موتورهای جستجو رتبه و امتیاز بگیرد. اگر شما قصد دارید سایت و محتوای خود را بر اساس یک کلمه کلیدی خاص در نتایج گوگل بهینه کنید قاعدتا اولین راهکاری که به ذهنتان می رسد این است که تعداد زیادی از مطالب و محتواهای خود را بر اساس همان کلمه کلیدی  بهینه سازی کنید.

اما این کار موجب به وجود آمدن پدیده ای به نام cannibalization یا همخواری کلمات کلیدی می شود. در واقع شما باید در هر محتوا فقط از یک کلمه کلیدی منحصر به فرد استفاده کنید.

اما همانطور که در پاراگراف های قبل توضیح دادیم محتوای تکراری محتواهایی هستند که اگر چه ممکن است کلمات کلیدی یکسانی ندارند اما خود محتوا یا بخش هایی از آن با محتواهای دیگر یکسان است.

تأثیر منفی محتوای تکراری در سئو سایت

محتوای یونیک به دلیل متمایز بودن آن از محتواهای کپی و تکراری ارزش بیشتری برای موتورهای جستجو دارد. بطور کلی گوگل تلاش دارد تا محتواهایی با اطلاعات متمایز را در فهرست نتایج خود نمایش دهد و صفحاتی با محتوای تکراری را رتبه بندی نمی کند. بنابراین اگر در سایت خود محتوای غیر متمایزی دارید که تمام یا بخشی از آن به شکلی کپی برداری شده است، می تواند سئو سایت را تحت تأثیر قرار دهد.

همانطور که در مقالات متعددی به بررسی جدیدترین الگوریتم های گوگل پرداختیم کیفیت محتوای تولید شده یکی از فاکتورهایی است که گوگل توجه جدی به آن دارد. از آنجایی که وجود محتوای تکراری در یک سایت بر خلاف خط مشی کیفی گوگل است، گوگل با سایت هایی که از این محتوا استفاده می کنند برخورد می کند.

بنا به دلایل مختلفی که اشاره شد تکرار یک محتوا می تواند باعث سردرگمی مخاطب شود و از این راه یک تجربه بد کاربری ایجاد کند. به همین دلیل است که محتواهای تکراری می تواند اعتماد کاربران به سایت را کاهش دهد.

​​مشکل دیگری که در سایت های با محتواهای تکراری زیاد بوجود می آید پایین آمدن ترافیک ارگانیک است. این قضیه بدان سبب است که گوگل نمی خواهد محتوایی که از محتواها و سایت های دیگر کپی شده را در فهرست نتایج رتبه بندی کند. این مورد حتی در مورد محتوای مشابه در یک سایت هم صادق است. توجیه گوگل در مورد عدم رتبه بندی این محتواها این است که نمی داند محتوای اصلی کدام است بنابراین آنها را رتبه بندی نمی کند.

آیا گوگل سایت های حاوی محتواهای تکراری را جریمه می کند؟

گوگل بارها اعلام کرده است که جریمه خاصی را برای محتوای کپی و تکراری ندارد. اما، این بدان معنی نیست که شما می توانید به راحتی محتواهای تکراری و کپی ایجاد کنید. اگر محتوای تکراری شما نتیجه یک فرایند تصادفی باشد و به دستکاری عمدی در نتایج جستجو و تولید محتوای اسپم گونه مربوط نباشد، جریمه نخواهید شد.

در موارد دیگر وقتی که گوگل تشخیص دهد محتواهای تکراری ممکن است به قصد فریب گوگل و یا کاربران ایجاد شده باشد در اینصورت در نتایج رتبه‌بندی سایت‌ درگیر با این موضوع تجدید نظر می شود. در نتیجه، ممکن است رتبه های سایت تغییر کند یا سایت به طور کامل از فهرست نتایج موتورهای جستجو حذف شود.

ممکن است شما این سؤال را داشته باشید که چه اقدامی به عنوان فریب کاربران و یا گوگل به حساب می آید؟

اگر چه اطلاعات دقیق و تجربه شده ای از این موضوع در دسترس نیست ولی اطلاعاتی که از خود گوگل منتشر می شود به این سوال تا حد زیادی پاسخ می دهد. مواردی مانند ایجاد تعمدی چندین صفحه، زیر دامنه یا دامنه هایی با محتوای تکراری زیاد، انتشار مقدار زیادی از محتوای کپی شده، انتشار محتوای کاملا منتشر شده در سایت های دیگر که هیچ ارزش خاصی را به کاربر اضافه نکرده و می تواند به اقدامات سئو آسیب برساند مشمول اقدامات فریبکارانه خواهد شد.

دلایل ایجاد محتواهای تکراری

همانگونه که اشاره شد محتواهای تکراری یا به صورت عمدی و یا به علت مسائل و مشکلات ساختاری ایجاد می شوند. در بیشتر موارد، مدیران وبسایت ها عامدانه به ایجاد محتوای تکراری اقدام نمی کنند اما معنی این جمله این نیست که هیچ شکلی از محتواهای تکراری در سایت آنها وجود ندارد.

در حقیقت، در بسیاری از مواقع سایت ها نمی خواهند محتواهای تکراری ایجاد کنند و این محتواها ناخواسته به وجود می آیند. همین مسأله باعث می شود که وجود این محتواها را دلیلی بر اشتباهات مرسوم در اقدامات سئو بدانیم.

در ادامه این مقاله رایج ترین مواردی که باعث بوجود آمدن محتواهای تکراری می شوند را مرور می‌ کنیم.

• تغییرات URL ها: برخی پارامترهای مرتبط با آدرس های سایت مانند متغییرهایی که برای پیگیری و ردیابی کلیک ها و کدهای تحلیلی هستند می توانند باعث خلق پدیده محتوای تکراری در سایت شوند. این مشکل نه فقط با قرار گیری پارامترها در URL به وجود می‌ آید، بلکه نحوه قرارگیری متغیرها نیز معمولا می تواند در ایجاد محتوای تکراری نقش ایفا کند. همچنین ثبت حروف کوچک و بزرگ در آدرس ها نیز می تواند باعث شود محتواهای سایت تکراری به نظر آیند.
• وجود نسخه های مختلف از سایت و صفحات HTTP در مقابل HTTPS :اگر سایت‌ شما چند نسخه بر روی دامنه های  www.yoursite.com و yoursite.com داشته باشد و محتواهای شما بر روی هر دو نسخه موجود باشد، در اینصورت هر یک از محتواهای سایت شما یک محتوای تکراری را برای خود ایجاد کرده‌ است. این قصیه در مورد سایت هایی که هم در نسخه http و هم در نسخه https  فعالند نیز صدق می ‌کند. بدین ترتیب اگر سایتی در دو نسخه از امن و نا ایمن موجود و در موتورهای جستجو قابل دسترس باشد، گوگل محتواهای این سایت را مشمول محتوای تکراری می داند.
• سایت های چند زبانه: سایت های چند زبانه هم گاهی می توانند باعث بوجود آمدن محتوای تکراری شوند. اگر تمایل دارید نسخه ای از سایت خود را به زبان دیگر طراحی کنید باید به گوگل اعلام کنید که این نسخه از سایت شما برای زبانی دیگر طراحی شده است. مثلا می توانید بر اساس ویژگی زبانی که در  hreflang تعریف شده زبان دیگری را تنظیم کنید. اینگونه محتوای شما از نظر گوگل تکراری محسوب نمی‌ شود.
• فیلتر محصولات برای سایت های فروشگاهی: یکی از مواردی که باعث ایجاد محتواهای تکراری می شود فیلتر رنگ، سایز و ویژگی های یک محصول است.
• صفحاتی که قابلیت پرینت در اختیار کاربر قرار می دهند
• محتواهای سایت های فروشگاهی که در چند دسته بندی مختلف قرار دارند
• صفحات مربوط به نظرات کاربران هم می تواند در ایجاد محتواهای تکراری نقش داشته باشد.

چگونه محتوای تکراری را شناسایی و کشف کنیم؟

با توجه به توضیحاتی که تا اینجا برای شما ارائه شد احتمال مهمترین سؤالی که برای شما پیش می‌آید این است که چطور می ‌توانید وجود محتواهای تکراری را در یک سایت کشف کنید؟

ابزارهای متعددی برای کشف و شناسایی محتواهای تکراری وجود دارد که شما می ‌توانید از آنها استفاده کنید.

یکی از بهترین این ابزارها، سایت Siteliner.com است. در این سایت، شما می ‌توانید با وارد کردن آدرس سایتی که قصد بررسی وجود محتواهای تکراری در آن را دارید فهرستی از محتواهای مشابه و تکراری را دریافت کنید.

سایت Copyscape نیز یکی دیگر از ابزارهایی است که وجود محتوای کپی را برایتان مشخص می کند. به طور کلی این ابزار به شما کمک می کند تا اگر محتوای سایت شما در اینترنت کپی شده باشد، آن را پیدا کنید.

چگونه مشکل محتوای تکراری را حل کنیم؟

حل کردن مشکل محتوای تکراری نیاز به راه حل هایی دارد که در این قسمت به آنها می پردازیم. هر چند استفاده از یک روش به خصوص الزامی نیست ولی این که استفاده از کدام مورد بر دیگری برتری دارد باید در شرایط خاص خود تجزیه و تحلیل شود.

انجام ریدایرکت ۳۰۱ (۳۰۱ Redirect) یا ریدایرکت دائم

در بیشتر موارد خاص، مناسب ترین روش برای رفع مشکل محتواهای تکراری، ریدایرکت از صفحه حاوی محتوایی تکراری به صفحه محتوای اصلی است. وقتی که صفحات کپی و تکراری مختلف با یکدیگر ادغام می شوند، نه تنها در نتایج رتبه بندی با یکدیگر رقابت نمی کنند بلکه این سیگنال را برای موتورهای جستجو ارسال خواهند کرد که محتوای اصلی شما کدام صفحه است که ارزش بیشتری دارد.

ریدایرکت ۳۰۱ بازدیدکنندگان سایت و ربات های موتورهای جستجوگر را به صورت دائمی به آدرس جدید منتقل می‌کند. تغییر آدرس یک صفحه موجب می‌شود که ربات های گوگل آن را به عنوان محتوای جدیدی شناسایی کند و مشکل محتوای تکراری با این روش حل خواهد شد.

برای انجام ریدایرکت ۳۰۱ روش‌های مختلفی در دسترس شماست که با توجه به سیستم مدیریت محتوای سایت و پنل مدیریت هاست می توانید یک روش را انتخاب کنید. 

نکته ای که باید در تکمیل این بحث اشاره کنیم این است که بر خلاف باور خیلی ها، ریدایرکت ۳۰۱ به تنهایی برای بهبود سئو سایت کافی نیست بلکه از این قابلیت فقط می توانید برای حفظ جایگاه یا اعتبار یک صفحه استفاده کنید. در مشکل محتوای تکراری چون شما مجبور هستید یک صفحه از سایت را به آدرس دیگری منتقل کنید، ریدایرکت ۳۰۱ بهترین راه برای حفظ اعتبار آن صفحه است.

استفاده از تگ کنونیکال ( “Rel=”Canonical)

استفاده از تگ کنونیکال مشابه ریدایرکت ۳۰۱ است و این مفهوم را به گوگل می رساند که با وجود محتواهای تکراری در سایت، صفحه اصلی یا کنونیکال شده کدام صفحه است. در اینصورت نسخه های تکراری محتوا دیگر اهمیتی ندارند. این اقدام اعتبار محتوای اصلی را بالا برده و اگر اعتباری برای یک محتوا ایجاد شود (مثلا از طریق ارسال بک لینک ها) آن اعتبار، دیگر بین محتواهای تکراری پخش نمی شود.

 لازم به توضیح است که تگ “Rel=Canonical” در قسمت هد HTML سایت به شکل زیر قرار داده می شود.

<link href=”https://www.example.com/canonical-version-of-page/” rel=”canonical” />

مدیریت و تنظیم پارامترها در گوگل وبمستر یا سرچ کنسول

گوگل وبمستر تولز ابزاری است که به شما این امکان را می‌ دهد دامنه مورد نظر خود را برای یک مورد تنظیم کنید و نسخه های متعددی از پارامترهای URL را به صورت متفاوت در آن تنظیم و مدیریت نمایید. مثلا شما می توانید به گوگل اعلام کنید سایت ارائه شده در این ابزار باید به همراه www یا بدون آن در گوگل نشان داده شود.

یکی از معایب اصلی این روش این است که فقط برای موتور جستجوی گوگل  قابل استفاده است. این یعنی که قوانینی که با استفاده از Google Search Console  ایجاد شده اند ، تاثیری در سایر موتورها مثل Bing ندارند.

استفاده از کد های Noindex, Nofollow

در واقع با استفاده از این کدها در هر محتوا شما به ربات های گوگل اعلام می کنید که این محتوا را نباید ایندکس کنند. ربات‌های گوگل هم با دریافت این موضوع، آن صفحات در نتایج جستجو نمایش نمی ‌دهند.

این کدها به شکل برچسب های متا و یا روبات های متا (meta robots) تعریف می شوند که با مقادیر “Noindex” ، “Nofollow” استفاده می شوند.

 این کدها هم در head HTML هر صفحه قرار گرفته و به گوگل اعلام می کند که می تواند حتی این صفحه را دنبال کند ولی در فهرست نتایج نشان ندهد.

وجود محتوای کپی و تکراری گاهی اوقات اجتناب ناپذیر است

مطابق گفته های گوگل همه سایت ها به نحوی دارای محتوای کپی و تکراری هستند. به طور مثال زمانی که شما یک جمله ای را از شخصی در محتوای خود نقل قول می‌ کنید، به شکلی دارید محتوای  تکراری ایجاد می‌ کنید. یکی دیگر از جاهایی که محتواهای تکراری زیادی دارد سایت های خبری هستند که محتواهای مشابه زیادی در آن ها مشاهده می‌ شود. اما به دلایلی، این سایت‌ها که محتوای تکراری و کپی دارند در رتبه برتر باقی می مانند. مهم‌ترین دلیل این موضوع دامین آتوریتی بالا سایت‌های خبری است.

این ‌طور که بیان شد می توانیم نتیجه بگیریم که محتواهای تکراری در سایت ها امری اجتناب ‌ناپذیر است. فقط کشف و کنترل این محتواها و جلوگیری از اثرات سوء آنها مهم است.

جمع بندی پایانی

بوجود آمدن محتواهای تکراری در سایت ها امری شایع است. هر چند در بسیاری از مواقع این مشکل به دلیل خطاهای فنی به وجود می‌ آید ولی نقش عامل انسانی نیز در این مسأله را نباید نادیده گرفت. شما نمی توانید سایتی را پیدا کنید که بیش از ۱۰۰۰ صفحه محتوا داشته باشد ولی مشکل محتوای تکراری نداشته باشد.

محتوای تکراری با تأثیرات منفی که در اقدامات سئو ایجا می کند باعث افت رتبه های سایت می شود. وجود محتوای تکراری در واقع ربات های گوگل را در تشخیص صفحه اصلی و تفکیک آن از محتواهای مشابه دچار اشتباه می کنند. اما رفع کردن این پدیده با انجام روش های خاصی که در این مقاله به آنها اشاره شد امکان پذیر است.

شما می ‌توانید از طریق اعمال دستوراتی به رفع محتواهای تکراری در وبسایت خود اقدام کنید و با معرفی محتوای اصلی رتبه ‌بندی آن را افزایش دهید. در حقیقت آنچه برای شما مهم به نظر می رسد، در مرحله اول شناسایی وجود چنین محتواهایی در سایت و سپس برطرف کردن آنها از روش هایی که اشاره شد می باشد.

به یاد داشته باشید رها شدن از پدیده محتوای کپی و تکراری در سایت، ارزش محتواهای با کیفیت در سایت شما بالا رفته و این امر می تواند رتبه بندی شما را افزایش دهد.