تصویر الهه عربیان
crawler به چه معناست ؟ Crawler برای چه کاری استفاده میشود ؟

شاید شما هم تا به حال اسم خزنده یا عنکبوت وب را شنیده باشید. در این مطلب یک آشنایی ابتدایی در مورد crawle کردن و کاربرد یک خزنده وب را بیان میکنیم.

خزنده در واقع یک ربات است که با ورود به آدرس یک سایت لینک های مربوط به آن سایت را جستجو می کنند . در دیتا بیس مربوط به خود اطلاعات  مورد نیاز را ذخیره می کنند.

امروزه تمامی موتور های جستجو با استفاده از همین ربات ها صفحات رو ایندکس میکنند و در لیست جستجوی خود قرار میدهند.

این امر حتی با رتبه سایت شما در موتورهای جستجو هم در ارتباط است.

این ربات ها در واقع هیچ کاری با طراحی سایت شما ندارند و فقط به کاوش قلب وب سایت شما میپردازند. پس اسکلت سایت مهم نیست مهم مطالب شماست و لینکهای مربوط در سایت شما.

گاهی حتی از یک خزنده با نام عنکبوت هم یاد میشود این امر شاید بخاطر این امر است که تمام صفحات سایت شما و تمام اینترنت مانند تارهای در هم تنیده هستند.

در مطالب بعدی نوشتن یک خزنده ساده را توضیح می دهیم.

 

 

افزودن نظر جدید