Darhol asosiy skript kodi bilan boshlaylik:
#!/usr/bin/perl
# which-forum.pl skripti
№ (c) 2010 Aleksandr A Alekseev, http://site/
qat'iy foydalaning;
# sharhlangan satr - qat'iylik uchun
# agar vazifa dvigatel statistikasini yig'ish bo'lsa, uni shunday qoldiring
# agar siz forumlar ro'yxatini tuzsangiz - izohni bekor qiling
mening $ma'lumotlarim;
$ma'lumotlar .= $_while (<>
)
;
# phpBB tomonidan qancha quvvatlanganligini pastki qismdagi havolasiz tekshiring Siz ushbu va postda eslatib o'tilgan boshqa skriptlarni ushbu arxivda topasiz. Skript which-forum.pl HTML sahifa kodini tekshiradi, unda forum mexanizmi imzolari mavjudmi yoki yo'qmi. WordPress va Joomla-ni belgilashda biz shunga o'xshash texnikadan foydalanganmiz, ammo bir nechta farqlar mavjud. Birinchidan, skriptning o'zi sahifa kodini yuklamaydi, balki uni stdin yoki argument sifatida uzatilgan fayldan o'qiydi. Bu sizga sahifani bir marta yuklab olish imkonini beradi, masalan, wget-dan foydalanib, keyin bir nechta analizatorlar orqali, agar bizda bir nechta bo'lsa. Ikkinchidan, ushbu skriptda imzoning mavjudligi dvigatelning 100% belgisidir. Oxirgi marta, imzoning mavjudligi faqat mos keladigan dvigatelga va eng katta vaznga ega bo'lgan dvigatelga "yutdi". Men bu holatda bunday yondashuv kodni keraksiz ravishda murakkablashtiradi, deb qaror qildim. Skriptni sinab ko'rish uchun men biroz tadqiqot qildim. Men bir necha ming forumlar ro'yxatini tuzdim va ularning har birini o'z skriptim orqali ko'rib chiqdim, shu bilan dastur javoblarining foizini va turli dvigatellarning mashhurligini aniqladim. Forumlar ro'yxatini olish uchun men Google tahlilchisidan foydalandim. Qidiruv mexanizmi kabi so'rovlar sayt: forum.*.ru va hokazo. To'liq kod faylda so'rovlar generatorini topasiz gen-forumsearch-urls.pl. Zone.ru dan tashqari .su .ua .kz va .by ham ishlatilgan. O'tgan safar bunday tadqiqotni o'tkazish qiyin bo'ldi, chunki WordPress va Joomla saytlarining URL manzilida bunday imzolar yo'q. Cmsmagazine.ru/catalogue/ kabi kataloglar etarli namuna hajmini ta'minlamaydi. 600 Drupal saytlari nima? Tan olaman, tajriba natijalari meni xafa qildi. O'rganilgan 12 590 ta saytdan dvigatel faqat 7 083 tasida, ya'ni faqat 56% hollarda muvaffaqiyatli aniqlangan. Ehtimol, men qandaydir dvigatelni hisobga olmadim? Forumlarning yarmi Bitrix o'rnatilgani haqiqatan ham rostmi? Yoki imzolarni qidirishga ko'proq vaqt sarflashim kerakmidi? Umuman olganda, bu erda qo'shimcha tadqiqotlar talab qilinadi. Muvaffaqiyatli aniqlangan 56% dvigatellar orasida eng ommaboplari, kutganidek, IPB (31%), phpBB (26,6%) va vBulletin (26,5%) edi. Ulardan keyin katta kechikish bilan SMF (5,8%) va DLEForum (5,3%) bormoqda. Mening sevimli punBB faqat 6-o'rinda edi (1,64%). Men bu raqamlarga ko'p ishonishni maslahat bermayman (ular RuNet-dagi har uchinchi forum IPB-da ishlaydi, deyishadi), lekin, albatta, ma'lum xulosalar chiqarish mumkin. Misol uchun, agar siz forum dvigatelida sayt yaratmoqchi bo'lsangiz va forumni o'zgartirishni rejalashtirmoqchi bo'lsangiz, masalan, haftada bir marta pul mablag'larini avtomatik yechib olish bilan har bir xabar uchun foydalanuvchilarga $ 0,01 to'lang, unda siz eng mashhur uchta dvigateldan birini tanlashingiz kerak. Forum qanchalik mashhur bo'lsa, uni yaxshi biladigan dasturchini topish imkoniyati shunchalik katta bo'ladi. Agar dvigatelda sezilarli o'zgarishlar kutilmasa, unchalik mashhur bo'lmagan dvigatelni tanlash mantiqan to'g'ri kelishi mumkin, masalan, SMF yoki punBB. Bu sizning forumingizga xakerlik hujumlari sonini va unga avtomatik ravishda yuboriladigan spam miqdorini kamaytiradi. Forumlarni qidirish/identifikatsiyalash uchun skriptlarni bir nechtasida ham topish mumkin amaliy qo'llash. Xayolimga kelgan birinchi narsa, aniqlangan forumlarni TIC bo'yicha saralash va mening saytlarimdan biriga havolalar bilan birinchi yuzta xabarga joylashtirish edi. Biroq, yuzlab forum dofollow havolalari TCIga hech qanday ta'sir ko'rsatmadi (2 ta yangilanish o'tdi), shuning uchun bu erda vaqtni behuda sarflamaslik yaxshiroqdir, agar siz o'tishlarga qiziqmasangiz. Yuqorida aytib o'tilgan skriptlardan foydalanish yagona emasligi aniq. O'ylaymanki, siz ularni boshqa qanday ishlatishingiz mumkinligini osongina aniqlashingiz mumkin. Botmaster Labs tomonidan tashkil etilgan, rejalashtirilmagan. Mening vaqtim yo'q, video yangi tendentsiya sifatida tanlov uchun kerak, garchi hamma narsani yaxshi skrinshotlar (mening IMHO) bilan osonroq tushuntirish mumkin va men hech narsa suratga olishni xohlamayman. Foydali bo'lganlar juda oz qoldi, ahmoq spam endi umuman hukmronlik qilmaydi, siz bu erda o'ylab ko'rishingiz kerak va eskirganlarni chiroyli o'rashga solib, ularni ozgina kukunga solishga harakat qilmasangiz, hech kim mavzularni o'qqa tutmaydi. :) Lekin bu biz haqimizda emas. Umuman olganda, bu 3 ta "bo'lmasligi kerak", menimcha, potentsial ishtirokchilarning ko'pchiligi uchun tanlovda ishtirok etish uchun to'siq bo'ldi. Bu uchta mashinani ta'mirlashga o'xshaydi: arzon, sifatli, tez - xizmat bir vaqtning o'zida faqat ikkita shartni bajarishi mumkin. o'tiring va sizga yaqinroq narsani tanlang. :) Musobaqa bilan ham shunday: vaqtim bor, men video qilishni bilaman, lekin mavzu yo'q, yoki men video qilishni bilaman, mavzu bor, lekin vaqtim yo'q. hammasi, yoki men bo'sh vaqtim bor va kichik mavzu bor, lekin video qo'rqinchli. Ammo bir vaqtning o'zida ikkita shart bajarilsa, bu yaxshi. Xo'sh, mayli, keling, qo'shiq matnini tashlaylik. Men o'zimcha davom etaman. Men rejalashtirmaganman, demak tanlovda qatnashganman, hatto qaysi maqolaga ovoz berishimni ham tanlaganman. Nima desangiz ham, Doz dasturiy ta'minotni juda yaxshi biladi va undan juda oqilona foydalanishni biladi. Ammo bugun men musobaqada intriga paydo bo'lganini bildim. Ma'lum bo'lishicha, men ovoz bera olmayman va faqat 2011 yilda dasturiy ta'minotni sotib olgan yangi kelganlar buni qila oladilar va tanlov ular uchun mo'ljallangan. Men bir oz hayron bo'ldim, lekin egasi janob. Tanlov - bu reklama kampaniyasi va Aleksandr uni qanday amalga oshirishni yaxshiroq biladi. Umuman olganda, men maqolani joylashtirishga qaror qildim, qachonki kimga, butun kolxoz uchun buni qilish mumkin emasligi aniq bo'lsa, yozish biroz osonroq. php-Fusion tomonidan quvvatlanadi Khroomer 7.07 versiyasida dastur bir nechta yangi dvigatellarda o'qitilgan: forumi.biz, forumb.biz, 1forum.biz, 7forum.biz va boshqalar. phpBB-fr.com, Solaris phpBB mavzusi Va yangi narsalarni o'rganish jarayoni doimiydir. "SMF 1.1.2 tomonidan quvvatlanadi" "SMF 1.1.3 tomonidan quvvatlanadi" "SMF 1.1 RC2 tomonidan quvvatlanadi" "SMF 1.1.4 tomonidan quvvatlanadi" "SMF 1.1.8 tomonidan quvvatlanadi" "SMF 1.1.7 tomonidan quvvatlanadi" "2006-2008, Simple Machines MChJ" Va bu hammasi emas. Dvigatel versiyalarini yig'ishda, ba'zi SMF forumlarida biz altbilgida "2001-2006, Lewis Media" sarlavhasini topamiz. Biz ushbu so'rovni tekshirmoqdamiz, u ham bizni to'liq qondiradi. Biz shunga o'xshash so'rovni topamiz: "2001-2005, Lyuis Media". Altbilgilarni ko'rib chiqsak, biz quyidagi so'rovni topamiz: "SMFone dizayni A.M.A, SMF 1.1 ga o'tkazildi". Biz tekshiramiz - ajoyib. Va hokazo. Yarim soatlik ish va sizda dvigatel uchun so'rovlarning ajoyib ma'lumotlar bazasi mavjud va Google sizni ushbu so'rovlar uchun operatorlardan foydalanganingizdan ko'ra kamroq taqiqlaydi. Va shu bilan birga, sizning ma'lumotlar bazangiz "index.php?topic=" kabi so'rovlardan foydalanganingizdan ko'ra ancha toza bo'ladi, chunki bu erda Google nafaqat bizga kerak bo'lgan forumlarni, balki iloji bo'lgan ko'plab chap qanot resurslarini ham beradi. forum mavzusiga havola qoldiring. E'tiroz bildirishingiz mumkin, buning nimasi yomon? Boshqalar havola qoldirdi, shuning uchun biz ham qila olamiz. Lekin! Havolalar nafaqat Khrumer, balki boshqa dasturlar tomonidan ham qoldirilishi mumkin. Bundan tashqari, ular yuqori darajada ixtisoslashgan dasturiy ta'minot deb ataladigan ma'lum bir manbaga sharh qoldirish uchun maxsus moslashtirilgan bo'lishi mumkin, shuningdek, bunday havolalarni qo'lda qoldirish mumkin. Yana takror aytaman, biz uchun axlat miqdori emas, balki biz kerakli so'rovlar bilan ma'lumotlar bazasini to'playmiz; Ushbu usulning afzalligi shundaki, siz deyarli sozlashingiz shart emas elak - filtr
mín - Viagra mín - gitara mín - dam olish chàngàng - sugʻurta Ushbu almashtirish kodlarini Words fayliga qo'ying: %E4%BC%9F%E5%93%A5 %E5%90%89%E4%BB%96 %E5%85%B6%E4%BB%96 %E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8 Agar siz sug'urta veb-saytini targ'ib qilsangiz, profilingizga havolani so'rov bo'yicha topilgan tematik (!) hatto Xitoy forumiga qo'ying " SMF forumi" juda yaxshi bo'ladi.
chop etish "phpbb \n"
agar ($ma'lumotlar =~ /]+href="[^"]*http:\/\/(?:www\.)?phpbb\.com\/?"[^>]*>phpBB/i yoki
# $data =~ /viewforum\.php\?[^""]*f=\d+/i yoki
$ma'lumotlar =~ /phpBB\-SEO/i yoki
$ma'lumotlar =~ /)
;
chop "ipb \n"
agar ($ma'lumotlar =~ /]+href="[^"]*http:\/\/(?:www\.)?invision(?:board|power)\.com\/?[^"]*"[^>]*> [^<]*IP\.Board/i
yoki
$ma'lumotlar =~ /]+href="[^"]*http:\/\/(?:www\.)?invisionboard\.com\/?"[^>]*>Invision Power Board/i yoki
$ma'lumotlar =~ /
$ma'lumotlar =~ /index\.php\?[^""]*showforum=\d+/i)
;
"vbulletin"ni chop eting \n"
agar ($ma'lumotlar =~ /Kuchli:?[^<]+vBulletin[^<]+(?:Version)?/i
yoki
$ma'lumotlar =~ /)
;
chop etish "smf \n"
agar ($ma'lumotlar =~ /]+href="[^"]*http:\/\/(?:www\.)?simplemachines\.org\/?"[^>]*>SMF/i tomonidan quvvatlanadi yoki
$ma'lumotlar =~ /index\.php\?[^""]*board=\d+\.0/i)
;
chop "punbb \n"
agar ($ma'lumotlar =~ /]+href="[^"]*http:\/\/(?:(?:www\.)?punbb\.org|punbb\.informer\.com)\/?"[^>]*> PunBB/i);
#yoki
# $ma'lumotlar =~ /viewforum\.php\?[^""]*id=\d+/i); \n"
"fluxbb
# if($data =~ /viewtopic\.php\?id=\d+/i yoki /agar ($ma'lumotlar =~)
;
]+href="http:\/\/(?:www\.)fluxbb\.org\/?"[^>]*>FluxBB/i \n"
agar ($ma'lumotlar =~ /chop "exbb]+href="[^"]*http:\/\/(?:www\.)?exbb\.org\/?"[^>]*>ExBB/i
);
# yoki \n"
agar ($ma'lumotlar =~ /# $ma'lumotlar =~ /forums\.php\?[^""]*forum=\d+/i); yoki
chop etish "yabb
]+href="[^"]*http:\/\/(?:www\.)?yabbforum\.com\/?"[^>]*>YaBB/i \n"
agar ($ma'lumotlar =~ $ma'lumotlar =~ /YaBB\.pl\?[^""]*num=\d+/i );<\/title>/i yoki
$ma'lumotlar =~ /dleforumni chop eting<\/a>/i)
;
/\(DLE Forum tomonidan quvvatlanadi\) \n"
agar ($ma'lumotlar =~ /]+href="[^"]+(?:http:\/\/(?:www\.)?dle\-files\.ru|act=copyright)[^"]*">DLE forumi yoki
$ma'lumotlar =~ /]+href="[^"]*http:\/\/(?:www\.)?ikonboard\.com\/?[^"]*"[^>]*>Ikonboard/i \n"
agar ($ma'lumotlar =~ /]*>ExBB/i
$ma'lumotlar =~ /ikonboard\.cgi/i );
chop "bbpress
# $ma'lumotlar =~ /mavzu\.php\?id=\d+/i yoki \n"
# $ma'lumotlar =~ /forum\.php\?id=\d+/i);
chop etish "flashbb
agar ($ma'lumotlar =~ /# if($data =~ /forums\.php\?fid=\d+/i yoki)
;
# $ma'lumotlar =~ /mavzu\.php\?fid=\d+/i yoki \n"
]+href="http:\/\/(?:www\.)?flashbb\.net\/?"[^>]*>FlashBB/i
agar ($ma'lumotlar =~ /"stokesit"ni chop eting)
;
# if($data =~ /forum\.php\?f=\d+/i yoki \n"
]+href="http:\/\/(?:www\.)?stokesit\.com\.au\/?"[^>]*>[^\/]*Stokes IT/i
agar ($ma'lumotlar =~ /]+href=[""]?http:\/\/(?:www\.)?sopebox\.com\/?[""]?[^>]*>Podium/i)
;
chop "usebb \n"
# if($data =~ /forum\.php\?id=\d+/i yoki
agar ($ma'lumotlar =~ /]+href="http:\/\/(?:www\.)?usebb\.net\/?"[^>]*>UseBB/i)
;
chop etish "wrforum \n"
# if($data =~ /index\.php\?fid=\d+/i yoki
agar ($ma'lumotlar =~ /]+href="http:\/\/(?:www\.)?wr\-script\.ru\/?"[^>]*>WR\-Forum/i)
;
chop etish "yetanotherforumnet \n"
agar ($data =~ /Yana bir forum\.net/i yoki
$ma'lumotlar =~ /default\.aspx\?g=posts&t=\d+/i)
;
sayt: talk.*.ru
sayt:board.*.ru
sayt: smf.*.ru
sayt: phpbb.*.ru
....
Uzoq kirish tugadi, endi nuqtaga.
Xrumer + Hrefer kompleksi bo'lgan bunday super-kombaynni sotib olgan yangi boshlovchiga nima kerak? To'g'ri, u bilan qanday ishlashni o'rganing va spam varaqlarni boshlash orqali pul ishlashingiz mumkin degan xayoldan voz keching. Agar shunday deb o'ylasangiz, pulingizni darhol xayriya ishlariga sarflaganingiz ma'qul. Siz kompleksning vositalaridan qanday foydalanishni o'rganishingiz kerak, tercihen uni o'zingiz uchun keskinlashtirishingiz kerak. "Ko'proq ol - oldinga tashla" vaqti o'tdi. Miqdor o'rnini sifatga beradi. Bu shuni anglatadiki, biz o'zimiz uchun bazani yig'amiz, agar buni qanday qilishni o'rganmasangiz, siz poezdning orqasida qolasiz. Tabiiyki, Khrefer bu borada bizga yordam beradi. Agar siz o'z resurslaringizni Google'da targ'ib qilishni rejalashtirmoqchi bo'lsangiz, biz ham Google orqali donor saytlarni qidirishimiz kerak. Menimcha, bu tushunarli va mantiqiy. Ammo Google, xuddi mis tog'ning bekasi kabi, o'z boyligini hammaga ham beravermaydi. Bunga yondashuv kerak. Darhol aytmoqchimanki, jamoatchilikda topilgan belgilarga asoslanib, siz biror narsa to'plashingiz mumkinligiga umid qilmang. Ularning omma oldida paydo bo'lishining sababi, ular qadrsizligidir. Men mavzuni yanada rivojlantirmayman. Natijani ko'rishingiz uchun uni qanday qilib to'g'ri yig'ish kerakligini aytish yaxshiroq, qolganlarini o'zingiz hal qilishingiz mumkin, asosiysi printsipni tushunishdir. Biz umuman forumlarning xususiyatlariga emas, balki bizga kerak bo'lgan o'ziga xos dvigatellarning xususiyatlariga qarab to'g'ri bo'lganlarni to'plashimiz kerak. Bu yangi boshlanuvchilarning asosiy xatosi - aniq bir narsaga e'tibor qaratish emas, balki hamma narsani to'liq qamrab olishga harakat qilish. Bundan tashqari, agar siz ko'proq yoki kamroq oddiy ma'lumotlar bazasini tahlil qilishni istasangiz, so'rovlarda operatorlardan foydalanishni to'xtating. "inurl:", "sayt:", "title" va boshqalar yo'q. Google sizga o'xshagan qidiruvchilarni darhol taqiqlaydi. Shuning uchun biz Khrumer hozirda ishlayotgan dvigatellarni diqqat bilan o'rganamiz:
Umuman olganda, biz Hrefer tomonidan tahlil qilish uchun to'g'ri so'rovlarni tayyorlashimiz kerak. Misol tariqasida forum dizhokni olaylik. SMF forumlari. Keling, uni tahlil qilish uchun ehtiyot qismlarga ajratishni boshlaylik. Bizning sevimli Google bu borada bizga yordam beradi. Google-ga so'rov kiriting SMF forumlari- qidiruv natijalarida juda ko'p axlat bor, biz 13-sahifaga qaytaramiz va istalgan havolani tanlaymiz. Men buni uchratdim: http://www.volcanohost.com/forum/index.php?topic=11.0. Keling, uni ochib, o'rganamiz. Ushbu dvigatelda boshqa sahifalarni qidirishda qo'llanilishi mumkin bo'lgan sahifada xarakterli narsani topishimiz kerak. Altbilgida biz quyidagi yozuvni ko'ramiz SMF 1.1.14 tomonidan quvvatlanadi, uni iqtibos keltiring va Google-ga kiriting, bu bizga ko'ra shuni ko'rsatadi bu so'rov u taxminan 59 million variantni biladi. Biz havolalarni tezda ko'rib chiqamiz, ushbu kalit so'zga yana bir nechta variantni qo'shamiz, masalan, "Powered by SMF 1.1.14" terak yoki "Powered by SMF 1.1.14" viagra. Biz so'rovning ajoyib ekanligiga ishonch hosil qilamiz, natijalar faqat forumlar va deyarli axlat yo'q.
Qolaversa, bizni miqdor emas, yuqorida aytganimdek sifat qiziqtiradi. Keling, davom etaylik. Xuddi shu forumdan biz altbilgidan yana bir iborani olamiz: , biz ham uni iqtibos keltiramiz va Google-ga beramiz. Bunga javoban u 13 milliondan ortiq natijalarni bilishini aytdi. Shunga qaramay, biz natijalarni tezda ko'rib chiqamiz, qo'shimcha so'zlarni qo'shamiz va ular bilan natijalarni tekshiramiz. Biz so'rovning zo'r ekanligiga va deyarli hech qanday axlat yo'qligiga ishonch hosil qilamiz. Umuman olganda, allaqachon 2 ta temir so'rovlar mavjud. Men hozircha birinchi forumni yolg'iz qoldirishni va boshqa forumlardan so'rovlarni yig'ishni davom ettirishni taklif qilaman. Yaxshiyamki, bizda so'rov bo'yicha Google ochiladi. 2006-2008, Oddiy mashinalar MChJ. Biz qidiruv natijalaridan olamiz, masalan, ushbu forumlar: http://www.snowlinks.ru/forum/index.php?topic=1062.0 va http://litputnik.ru/forum/index.php?action=printpage ;mavzu=380.0 pastki kolontiterlarda biz ulardan quyidagi soʻrovlarni olamiz: “Powered by SMF 1.1.7” va “Powered by SMF 1.1.10” (Hrefer uchun soʻrovlarni har doim qoʻshtirnoq ichida kiritishni tavsiya qilaman, chunki bizga birinchi navbatda sifat kerak. hammasi). O'ylaymanki, biz nima qilayotganimiz aniq, oxirida biz SMF dvigatelida forumlarni qidirish uchun ma'lum ma'lumotlar bazasiga ega bo'lamiz (u misol sifatida tanlangan, boshqa dvigatellarda ham xuddi shunday).
Bu shunday ko'rinadi:
O'ylaymanki, dastlabki bosqichda Hrumerdan to'g'ri foydalanishni o'rganish juda muhim, chunki buni o'rganganingizdan so'ng, vaziyat qanday o'zgarishidan qat'i nazar, har doim Hrumerdan foydalanishni topishingiz mumkin. Himoyalar yanada murakkablashmoqda va agar ba'zi turdagi dvigatellarda himoya kuchaytirilgan bo'lsa va u bilan bardosh bera olmasa. hozirgi paytda Xrumer, bu havolalarni yig'ish uchun resurslarni sarflashning ma'nosi yo'q va keyin Xrumer bilan ular ustida ishlash, energiyani natija beradigan narsaga jamlash yaxshiroqdir. Va shu bilan birga, agar Botmaster Labs jamoasi Khroomerga yangi narsalarni o'rgatgan bo'lsa, siz tezda yangi bemorni ajratib olishingiz va bemor hali ham issiq bo'lganda Khroomer uchun bazani tayyorlashingiz mumkin. Vaqt - bu pul; siz bazani sotib olganingizda resurs endi ahamiyatsiz bo'lishi mumkin. kimdir tomonidan yig'ilgan. Bundan tashqari, o'zingiz uchun asoslarni to'g'ri yig'ish Xrumerdan "oq" foydalanishni sezilarli darajada kengaytiradi. Va aynan shu erda hamma narsa harakat qiladi, biz xohlaymizmi yoki yo'qmi, va oqartirish yoki oqartirish jarayoni davom etmoqda. Qora choyshablar har tomonlama o'tmishdagi narsaga aylanib bormoqda.
Hrefer bilan ishlashning boshqa barcha texnik jihatlari yordamda ko'rib chiqilishi mumkin va ularga to'xtalib o'tishning ma'nosi yo'q, barcha maqsadlar, nuqtalar, soniyalar har bir mashina uchun alohida-alohida o'rnatiladi.
Bonus sifatida men bu erda Xitoyning Baidu qidiruv tizimini tahlil qilish uchun shablonni joylashtiraman, boshqa kuni ular mendan bu haqda so'rashdi, shuning uchun men buni tasodifiy qildim, so'zni kechiraman. :)
Xost nomi=http://www.baidu.com
Query=s?wd=
LinksMask=
Jami sahifalar=100
Keyingi sahifa=
Keyingi sahifa2=
CaptchaURL=
CaptchaImage=
CaptchaField=
Men ularni sinashga harakat qildim, hech qanday taqiq yo'q edi, Khrefer tezda resurslarni to'pladi, tahlil qilish uchun barcha so'rovlar Google-ga o'xshash edi, ammo Xitoyning ko'plab resurslari bor edi, yuqori PR bilan, va bundan tashqari, ko'p joylar bor edi. Yevropa hech qachon oyoq bosgan edi. Xitoy so'rovlarini tahlil qilish yaxshiroqdir. Bunda Google translate yordam beradi, rus tilidagi kalit so'zlar ro'yxatini kiriting va uni xitoy tiliga tarjima qiling. Haqiqat " So'zlar“Xitoy tilidagi soʻzlarni qoʻshib boʻlmaydi, ularni qayta kodlash kerak.
Xitoy o'rniga:
Xulosa qilib shuni aytmoqchimanki, men bunga javoban Khrefers yomon yoki yomon pishirilganidan shikoyat qilgan odamlarni hech qachon tushunmaganman, men har doim aytmoqchi edim, siz ularni qanday pishirishni bilmaysiz; Hech bir tahlilchi so'rovlar to'g'ri bo'lishi kerak. Hrefer - bu mashina: yaxshi, mustahkam, nemis tilida ishlab chiqarilgan, lekin u odam tomonidan boshqariladi va barchasi uning qanchalik yaxshi boshqarilishiga bog'liq, siz mashinani bir vaqtning o'zida ham o'ngga, ham chapga haydashga majbur qila olmaysiz;
Alohida mavzu - ma'lumotlar bazalarini tozalash, men buni 3 yil oldin oldingi tanlov uchun qilganman. Ko'pincha, u erda hamma narsa hali ham dolzarbdir, lekin endi siz 200 OKni tekshirishdan bosh tortishingiz mumkin, menga bu jarayon juda yoqmadi, juda katta xatolar bor edi, juda ko'p keraksiz narsalar filtrlangan. Endi bu Xrumerning ishlashi paytida deyarli avtomatik ravishda amalga oshirilishi mumkin, garchi bu jarayon "200 OK" ni tekshirishning to'liq analogi emas. Yaxshiyamki, gap: yaqinda Xrumerda ajoyib imkoniyat paydo bo'ldi - loyihani amalga oshirish vaqtida resurslardan ma'lumotni o'g'irlash. Bu shunday ko'rinadi. Siz ish paytida qayta ishlanadigan shablonni kiritasiz va shablondan to'plangan ma'lumotlar Jurnallar papkasidagi xgrabbed.txt fayliga kiritiladi. Siz ushbu funktsiyadan har qanday narsa uchun foydalanishingiz mumkin, tasavvurning parvozi juda katta. Men bu funksiyadan haftada bir marta ishlayotgan "muddati o'tgan" ma'lumotlar bazasidan havolalarni olib tashlash uchun foydalanaman. Hech kimga sir emaski, bizning ma'lumotlar bazamizni bunday resurslardan tozalash uchun har kuni forumlar yo'q bo'lib ketadi va "Avtograbbing" vositasi bu holatda bizga yordam beradi.
Axir, tan olishingiz kerakki, biz tez-tez yozganimizda, masalan, http://www.laptopace.com/index.php, biz bu domen allaqachon, masalan, pul sotadigan yaxshi yigit ekanligini ko'ramiz, lekin yo'q. u erda forum. Shunday qilib, bu cürufni bazadan tashlash uchun biz talon-taroj qilamiz. :) Sahifaning manba kodini oching va u erda ushbu yozuvni ko'ring:
Endi goudaddidagi barcha "o'liklar" bizga nomlari bilan ma'lum bo'ladi.
Agar siz turli xil "muddati o'tgan" domenlar ma'lumotlar bazasini tozalashni istasangiz, Autograbbing vositasi uchun kichik tanlov: