نحوه عملکرد موتورهای جستجو چگونه است؟

نحوه عملکرد موتورهای جستجو سوال خیلی از افراد است. حتی کسانی که در حوزه سئو فعالیت می کنند نیز از این که گوگل چطور کار می کند بی اطلاع هستند. تعداد زیادی از متخصصان سئو بیشتر اوقات تلاش خود را روی مواردی مانند بهینه‌سازی کدها، ری‌دایرکت‎های 301، رفع خطاهای 404، بهینه‌سازی هدینگ‌های سایت و سایر مسائل مشابه می‌گذارند. در واقع، آن‌ها از یاد می‌برند هدف اصلی سئو سایت چیست.

علت این قضیه به این بر می‌گردد که این افراد سئو را به صورت حرفه‌ای یاد نگرفتند و دانش آ‌ن‌ها حاصل آزمون و خطا و بدون شک تجربی است. بنابراین، نباید تعجب کنیم مسائل مهمی مانند نحوه عمل موتورهای جستجو و هدف استفاده از تکنیک‌های سئو را ندانند.

جای دوری نرویم، خود شما به عنوان کسی که به مسائل سئو علاقه دارد، تا حالا در مورد این موضوع فکر کردید؟ شاید بگویید همیشه الگوریتم‌های مختلف گوگل برای تعیین رتبه سایت‌ها را دنبال می‌کنید، ولی منظور ما بررسی عمیق چگونگی عمل موتورهای جستجو و تحقیق در مورد آن است.

اجازه دهید بیشتر حرف نزنیم و برای کمک به شما و سایر دوستان سئوکار خود تصمیم گرفتیم این مطلب را به نحوه عمل موتورهای جستجو اختصاص دهیم. پس تا انتها با ما باشید.

دو مفهوم کراول و ایندکس شدن

برای درک بهتر نحوه عملکرد موتورهای جستجو ابتدا باید مفهوم کراول کردن و ایندکس شدن را فرابگیرید. تمام افرادی که در اینترنت شروع به فعالیت می‌کنند خیلی زود با اصطلاح ایندکس آشنا می‌شوند، ولی دقیقا معنای آن چیست؟ زمانی می‌گوییم یک سایت یا لینک ایندکس شده است که آن را در صفحات نتایج موتورهای جستجو پیدا کنیم. برای بررسی این موضوع عبارت site:www.yourdomain.com (بعد از site: نام سایت خود را قرار دهید) را در گوگل یا هر موتور جستجو دیگری جستجو کنید تا وضعیت ایندکس سایتتان در آن موتور جستجو مشخص شود.

در صورتی که نتایجی به شما نشان داده شد، مشخص است ربات‌های گوگل سایت شما را ایندکس کردند. نتایجی که پس از جستجوی این عبارت خواهید دید، صفحات سایت شما را نشان می‌دهد که در دیتابیس گوگل ثبت شده اند.

ولی باید دقت کنید با آن که این صفحات ایندکس شدند، ولی الزاما ربات گوگل آن‌ها را کراول نکرده است. شاید بپرسید بین ایندکس و کراول کردن سایت چه تفاوتی وجود دارد؟

برای فهم بهتر ماجرا، باید بگوییم صفحات سایت پیش از کراول، باید کشف و پیش از ایندکس باید کراول شوند. به گفته یکی از سخنگویان گوگل ایندکس کردن به شکل مستقل، بررسی اطلاعات و اسناد را در بر نمی‌گیرد، بلکه در حقیقت فهرستی از کلماتی است که برای هر یک از آن‌ها اسناد مرتبط نشان داده می‎شود. شاید ما اصطلاح ایندکس را به کار ببریم، ولی در واقع فقط بعضی از کلمات مرتبط با اطلاعات صفحه مورد نظر جمع‌آوری شدند که به محتوای صفحه اشاره می‌کنند.

«ونسا فاکس» یکی از کارمندان پیشین گوگل در مورد نحوه عمل موتورهای جستجو می‎گوید «شیوه عمل گوگل ابتدا با شناسایی آدرس‌ صفحات شروع می‌شود و سپس آن‌ها را به سیستم برنامه‌ریزی ربات‌ها برای کراول اضافه می‌کند.

به عبارت دیگر، یک فهرست شکل می‌گیرد و در مرحله بعد خزنده‌های گوگل آدرس‌های داخل آن را براساس اولویت مرتب کرده و عمل کراول کردن آن‌ها را تکمیل می‌کند.» در مورد خود این اولویت باید اشاره کنیم به چند عامل وابسته است. پس از کراول صفحه، گوگل به کمک الگوریتم‌های دیگری بررسی می‌کند به عنوان مثال صفحه سایت شما ایندکس شود یا نه.  

پس برای جمع‌بندی تفاوت این دو مفهوم باید بگوییم کراول شدن یک صفحه تضمینی برای ایندکس شدن آن نیست و صفحات قرار گرفته در فهرست ایندکس، ممکن است کراول نشده باشند.  

تگ Canonical و noindex صفحات

برای درک نحوه عمل موتورهای جستجو باید دو نکته قابل توجه دیگر دقت کنید:

فایل Robot.txt فقط جلوی کراول شدن یک صفحه از سایت را می‌گیرد. به همین علت ممکن است در صفحات نتایج جستجوی گوگل، صفحاتی مانند تصویر بالا وجود داشته باشند.

این موتور جستجو قدرتمند قادر است صفحات را در ارتباط با لینک‎های داخلی آن قرار دهد، ولی نمی‌تواند محتوای صفحه را کراول کند.

استفاده از تگ‌های Noindex تضمین کاملی برای جلوگیری از ایندکس شدن نیست. گوگل حتی قادر به کراول این صفحات و بررسی ارتباط بین لینک‌های حاضر در آن است.

فقط نتیجه نهایی حضور نداشتن آدرس این صفحات در صفحه نتایج موتورهای جستجو است (البته برای تمام صفحات این موضوع صحت ندارد).

تگ‌های کنونیکال (Canonical) و چند عامل دیگر روی تصمیم ربات گوگل برای کراول یک صفحه تاثیر می‌گذارند و بنابراین در مراحل کلی عملکرد موتور جستجو نقش دارند.

لینک‌ها و نمودارهایشان

به عنوان یک سئوکار یا فردی که به این مباحث علاقه دارد، گام دوم برای درک نحوه عمل موتورهای جستجو، آشنایی با ماهیت لینک‌ها و شیوه پردازششان است.

اول از هر چیزی باید بگوییم پردازش لینک‌ها در حین کراول شدن، رخ نمی‎دهد. به عبارت دیگر، خزش ربات گوگل در سایت شما تاثیری روی پیج رنک آن ندارد و عملیات مربوط به رتبه‌بندی سایت شما کاملا جداگانه انجام می‌شود. خود این صحبت‌ها باید نکات مهمی را نشان دهد که اجازه دهید بیان کنیم.

پیج رنک (Page Rank) شاخصی است که به کمک آن کیفیت و کمیت لینک‎های یک صفحه اندازه‌گیری می‌شود و بین آن و محتوا ارتباطی نیست. قبلا پیج رنک سایت‌ها قابل مشاهده بود، ولی گوگل آن را از حالت عمومی خارج کرد.

مقاله نحوه عملکرد موتورهای جستجو ادامه دارد … .