זחלן - Crawler

זחלן או "עכביש" (Spider), היא תוכנה שמבצעת סריקה של הרשת עבור מנוע החיפוש, תוך התקדמות מאתר לאתר בעקבות הקישורים. הזחלנים מבצעים מיפוי של דפי רשת, של התכנים ושל הקישורים, לצורך רענון מתמיד של האינדקסים המשמשים את מנועי החיפוש.

מנועי החיפוש המודרניים מפעילים, לפי הערכות שונות, מאות זחלנים במקביל, כדי להגיע לכיסוי מהיר ויעיל יחסית של הרשת. חלק מהזחלנים מצטיינים בפעולה מהירה יותר, שנועדה לזהות בעיקר שינויים בדפי הבית של אתרים ידועים ולגלות אתרים חדשים; אחרים מתאפיינים בפעולה יסודית וממושכת יותר, וזוחלים עמוק יותר לתוך הדפים הפנימיים של כל אתר.

למנגנוני חיפוש שונים ישנם אינדקסים נפרדים וזחלנים נפרדים. לדוגמא, מנוע חיפוש התמונות של Google מבוסס על אינדקס שונה מזה של מנוע החיפוש הרגיל של החברה, ויש לו זחלנים משלו. מספרם, אגב, קטן בהרבה, ולכן הזמן שלוקח ל-Google למפות תמונות חדשות ארוך משמעותית מהזמן שנדרש לו כדי לזהות דפים חדשים או שינויים בדפים קיימים.

בנייה נכונה של אתר, מבחינה לוגית וטכנולוגית, חיונית כדי לאפשר זחילה יעילה. עיצוב שגוי או שימוש בטכנולוגיות מסויימות (דפים דינמיים, Frames, Ajax ועוד) עלולים להקשות על הזחלנים להגיע לכל דפי ותכני האתר, ולפגוע בביצועיו במנוע החיפוש.

מונחים קשורים: דף תוצאות חיפוש, קישורים חיצוניים
מאמרים קשורים: אתר נגיש לזחלנים
לקריאה נוספת: How Google crawls my site, GoogleGuide: How Google Works
חזרה ל: מילון מונחים