Semalt Islamabad Expert: 10 populaarseimat veebiandurit ja robotit
Internetis on kahte tüüpi robotid, mida nimetatakse headeks ja halbadeks robotiteks. Peaksite võtma halbade robotite vastu tõsiseid meetmeid, kuna need võivad DDN-i ribalaiust kiiresti ära kasutada. Lisaks sellele varastavad negatiivsed või halvad robotid teie veebisisu ja kulutavad serveriressursse. Teisest küljest tuleks häid roboteid (mida nimetatakse ka veebianduriteks) hoolikalt käsitseda, kuna need aitavad indekseerida teie veebisaiti otsingumootori tulemustes , näiteks Bing, Google ja Yahoo.
Semalti juhtiv ekspert Michael Brown kinnitab, et Internetis küürivaid roboteid ja veebiautoreid on sadu kuni tuhandeid, kuid kõige populaarsemad on järgmised.
1. GoogleBot
Googlebot on seni üks parimaid ja kuulsamaid veebisirjutajaid. Seda kasutatakse laialdaselt veebisisu ja artiklite indekseerimiseks Google'i otsingutulemustes. Googleboti parim omadus on see, et see pakub kasutajatele palju tööriistu ja valikuid. Täpsemalt ütleb Googlebot Google'ile, millised lehed indekseeritakse ja millised tuleks maha jätta.
2. Bingbot
Nii nagu Googlebot, on ka Bingbot Microsofti poolt populaarne veebiröövel. See on kestnud juba aastaid ja on mõeldud veebisaitide indekseerimiseks Bingi otsingutulemustes. Bingbot on MSN-i boti ideaalne asendaja. Selle kõige silmapaistvamat varianti nimetatakse Fetch as Bingbot, mis on Bingi veebimeistri tööriistades. See suvand võimaldab teil taotleda lehtede indekseerimist ja kuvamist Bingi tulemustes.
3. Slurp Bot
Slurp Bot on Yahoo veebiandur, kuid selle toiteallikaks on Bing. Veebisaidid peaksid lubama Yahoo Slurpil pääseda juurde oma lehtedele, et kuvada neid Yahoo mobiiliotsingu tulemustes. Seda veebiröövikut kasutatakse partnerite veebisaitidelt sisu kogumiseks Yahoo News, Yahoo Sports ja Yahoo Finance jaoks lisamiseks.
4. DuckDuckBot
DuckDuckBot on DuckDuckGo kuulus ja parim veebiandur. See otsingumootor on tuntud oma privaatsuse tõttu ja ei jälgi kasutajat ilma tema loata. Keskmiselt tegeleb see iga päev kümne miljoni päringuga. DuckDuckGo hangib tulemusi rohkem kui 400 allikast, sealhulgas mitmest vertikaalsest allikast, mis pakuvad vastuseid kiir vastuste, Wikipedia ja DuckDuckBoti kohta. See tegeleb ka päringutega, mis pärinevad sellistest allikatest nagu Yandex, Bing ja Yahoo.
5. Baiduspider
Baiduspider on Hiina otsimootori veebisirvija või ämbliku ametlik nimi. See saab indekseerida palju veebisaite iga päev ja tagastada värskendused oma Baidu indeksisse. Baidu on üks juhtivaid Hiina otsingumootoreid. Sellel on rohkem kui kaheksakümmend protsenti kogu Mandri-Hiina otsinguturgudest.
6. Yandex Bot
YandexBot on konkreetne Venemaa otsingumootori Yandex veebibrawer. Meediaväljaanded väidavad, et see robot tekitas 2015. aastal üle 57% kogu Venemaal otsimootorite liiklusest.
7. Sogou ämblik
Sogou ämblik on Sogou.com kuulus veebiandur. See juhtiv Hiina otsingumootor käivitati 2004. aastal ja selle positsioon on Alexal 103. kohal. Peaksite meeles pidama, et veebis ämblik Sogou ei austa kunagi robot.txt Interneti-standardeid ja on liigse indekseerimise tõttu keelatud erinevatel saitidel.
8. Exabot
Seda veebiröövlit haldab Prantsuse otsingumootor Exalead. See asutati mõni aasta tagasi ja selle otsingutulemustes on indekseeritud üle kuusteist miljardit veebilehte.
9. Facebooki väline hitt
Sotsiaalmeedia hiiglane Facebook laseb oma kasutajatel jagada huvitavaid linke teiste Facebooki kasutajatega. Facebooki väline hitt täidab mitmesuguseid funktsioone, sealhulgas mitme pildi, mõne põneva video ja mõne veebilehe kuvamist. Üks peamisi ja kuulsaid indekseerivaid roboteid on Facebot, mis aitab parandada reklaamide toimivust.
10. Alexa roomik
Alexa Crawlerit haldab Amazoni Alexa ja seda kasutatakse kümnete veebilehtede indekseerimiseks. Ta kogub teavet veebisaitide kohta ja reastab need kohalike ja rahvusvaheliste eelistuste põhjal.
Viimane märkus
Veeb indekseerijaid ja robotid on mitmesuguseid, nii et mõne kahtlase veebisaidi blokeerimisel veenduge, et te ei blokeeriks häid robotid, mis teie veebilehti indekseerivad otsingumootori tulemustes.