موتورهاي جستجو چگونه کار مي کنند؟
براي بسياري اين سوال پيش مي آيد که يک موتور جستجو مانند گوگل چگونه در کثري از يک ثانيه کل اينترنت را جستجو کرده و بهترين نتايج را ارائه مي دهد؟ در واقع اينطور نيست! موتورهاي جستجو پايگاه داده (Data Base) خود را جستجو مي کنند و نه کل اينترنت را! آن ها از قبل پايگاه داده خود را آماده مي کنند (جمع آوري داده ها از اينترنت) و در هنگام جستجو نتايج حاصل از جستجوي آن را ليست مي کنند.
يک موتور جستجو از بخش هاي زير تشکيل شده است:
· Spider (عنکبوت)
· Crawler (خزنده)
· Indexer (بايگاني کننده)
· Data Base (پايگاه داده)
· Ranker (رتبه بندي کننده)
Spider (عنکبوت)
Spider يا روبوت (Robot)، بخش نرم افزاري يک موتور جستجو مي باشد که وظيفه جمع آوري اطلاعات مورد نياز از روي اينترنت، براي پايگاه داده موتور جستجو را بر عهده دارد. Spider با دستور فرمانده خود (Crawler) وارد يک سايت يا لينک يک صفحه شده و محتواي آن را بررسي و جمع آوري مي کنند و در اختيار ساير بخش هاي موتور جستجو قرار مي دهند. Spider ها هم مانند کاربران اينترنت صفخات را بررسي مي کنند و مي خوانند. البته آن ها صفحات را آنگونه که شما مي بينيد نمي بينند. آنها کد صفحات (Source) يک صفحه HTML را مي خوانند. شما نيز مي توانيد با استفاده از آدرس زير در مرورگر خود اين کد را مشاهده کنيد:
View > Source
Spider ها علاوه بر وظيفه خواندن صفحات وظايف ديگري نير از جمله بررسي فعال بودن لينک هاي يک سايت يا صفحه، وجود ايميل، وجود آدرس پستي و ... را هم بر عهده دارند.
Crawler (خزنده)
در واقع Crawler است که به Spider مي گويد کدام صفحات مورد بررسي قرار گيرند. صاحبان سايت ها نيز مي توانند تا حدي رفتار Crawler ها را کنترل کنند. مي توان بوسيله پروتکل robot.txt دسترسي به صفخاتي را آزاد گذاشت يا محدود کرد و يا بوسيله sitemap.xml و انواع روش هاي معرفي ديگر، صفحاتي را به Crawler شناساند. همچنين ممکن است Crawler توسط خود نويسندگان موتورهاي جستجو براي اجازه فرمان ديدن و يا نديدن بعضي صفحات به Spider برنامه ريزي شده باشد. Page Rank در گوگل براي تمام صفحات مورد خزش واقع شده (Crawled) وجود دارد که ممکن است با PR (Page Rank) صفحه اصلي سايت متفاوت باشد.
Indexer (بايگاني کننده)
در واقع Spider تمام اطلاعاتي که بدست مي آورد را در Indexer قرار مي دهد. Indexer جهت کاهش حجم اطلاعات از کلمات بسيار رايج مانند the، an، a، is، are، www و .. صرف نظر مي کند. به همين دليل وارد کردن يا نکردن چنين کلماتي در هنگام جستجو تاثيري در نتايج ارائه شده ندارد. (مانند بزرگي و کوچکي حروف انگليسي در عبارات مورد جستجو که در نتايج جستجو تاثيري ندارد). Indexer صفحات را به پارامتر هائي نظير حجم، کلمات کليدي و جايگاه و تعداد آنها در صفحه، خرد مي کند و تمام آنها را به مقياس عددي تبديل مي کند تا در زمان ارائه ليست نتايج در الگوريتم موتور جستجو مورد استفاده قرار گيرند.
Data Base (پايگاه داده)
داده ها و پارامترها پس از آن که در Indexer توليد مي شوند به پايگاه داده ارسال مي گردند. در اين بخش داده ها با حجم فشرده تر و بصورت طبقه بندي شده کدگذاي و ذخيره مي شوند.
يکي از نقاط تمايز موتورهاي جستحو از يکديگر حجم پايگاه داده و بروز بودن آن مي باشد. در حال حاظر گوگل بزرگ ترين پايگاه داده را در بين موتورهاي جستجو دارا مي باشد.
در برخي تقسيم بندي ها بخش Data Base را در Indexer ادغام کرده و در نتيجه يک موتور جستجو را شامل 4 بخش مي دانند.
Ranker (رتبه بندي کننده)
درواقع مهم ترين نقطه تمايز موتورهاي جستجو از يکديگر همين بخش مي باشد. يک موتور جستجوي قدرتمند هرقدر هم که پايگاه داده گسترده و حجيمي داشته باشد ولي نتايج خوبي ارائه نکند موتور جستجوي ضعيفي به حساب مي آيد زيرا چيزي که کاربر نهائي مشاهده مي کند و براي آن به يک موتور جستجو مراجعه کرده نتايج حاصل از جستجوي يک موتور جستجو است و نه ديتابيس آن!
هنگامي که کاربري کلمه يا عبارت مورد نظر خود را در جعبه جستجو (Search Box) وارد مي کند نتياج مختلفي براي او ليست مي شود. رتبه بندي اين انبوه نتايج وظيفه اين بخش مي باشد که بايد بتواند بهترين و مرتبط ترين نتايج را با استفاده از پارامتر هاي خود (که در الگوريتم موتور جستجو بکار مي روند) به کاربر ارئه دهد. در حال حاظر قوي ترين Ranker (سيستم رتبه بندي) متعلق به موتور جستجوي گوگل مي باشد
