Коршиноси Semalt дар веб-сайтҳои Scraping - ботҳо хуб ва бад
Скрепинги интернет дар тӯли солҳои зиёд вуҷуд дошт ва барои вебмастерҳо, рӯзноманигорон, фрилансерҳо, барномасозон, ғайри барномасозон, таҳқиқотчиёни маркетинг, олимон ва коршиносони ВАО-и иҷтимоӣ муфид ҳисобида мешавад. Ду намуди ботҳо мавҷуданд: ботҳои хуб ва ботҳои бад. Ботҳои хуб ба системаҳои ҷустуҷӯӣ индексатсия кардани мундариҷаи вебро имкон медиҳанд ва аз ҷониби коршиносони бозор ва фурӯшандагони рақамӣ афзалият дода мешавад. Ботҳои бад, аз тарафи дигар, бефоидаанд ва мақсади вайрон кардани рейтинги системаи ҷустуҷӯии сайтро доранд. Қонунияти пораи веб аз он вобаста аст, ки кадом намуди ботҳоро истифода бурдед.
Масалан, агар шумо ботои баде дошта бошед, ки мундариҷаро аз вебсафҳаҳои мухталиф бо мақсади истифодаи ғайриқонунӣ ворид кунад, скрепинги веб метавонад зараровар бошад. Аммо агар шумо ботои хубро истифода баред ва аз амалҳои зараровар, аз он ҷумла рад кардани ҳамлаҳои хидматӣ, қаллобӣ дар интернет, стратегияҳои истихроҷи рақобат, дуздии додаҳо, рабудани суратҳисобҳо, сканкунии беиҷозат, қаллобӣ бо рекламаи рақамӣ ва дуздии хусусиятҳои зеҳнӣ худдорӣ кунед. он гоҳ тартиби скрепинги веб хуб ва муфид аст барои рушди тиҷорати шумо дар Интернет.
Мутаассифона, аксарияти freelancers ва стартапҳо ботҳоро бад дӯст медоранд, зеро онҳо роҳи арзон, пурқувват ва ҳамаҷонибаи ҷамъоварии маълумот бидуни ниёз ба шарикӣ мебошанд. Ширкатҳои калон, бо вуҷуди ин, скреперҳои веб-қонунро барои ба даст овардани фоида истифода мебаранд ва намехоҳанд эътибори худро дар Интернет бо скреперҳои ғайриқонунии веб бад кунанд. Андешаҳои умумӣ дар бораи қонунӣ будани скрепингҳо ба назар аҳамият намедиҳанд, зеро дар чанд моҳи охир маълум шуд, ки системаҳои суди федералӣ стратегияҳои торафт бештар ғайриқонунии скрабкунии интернетро пешгирӣ мекунанд.
Хориҷкунии веб ҳамчун раванди ғайриқонунӣ дар солҳои 2000-ум оғоз ёфт, вақте истифодаи сайтҳо ва тортанакҳо барои харошидани сайтҳо бемаънӣ ҳисобида мешуд. На бисёр амалияҳо барои паҳн кардани ин тартиб дар Интернет то соли 2010 мутобиқ карда шуда буданд. EBay бори аввал даъвои пешакии Edge Bidder-ро пешниҳод намуда, даъво кард, ки истифодаи ботҳо дар ин сайт қонунҳои Трасс ба қонунҳои Шаттелро вайрон кардааст. Дере нагузашта суд ин амалиётро содир кард, зеро корбарон бояд шарту шароити сайтро мувофиқат кунанд ва шумораи зиёди ботҳо ғайрифаъол карда шуданд, зеро онҳо барои мошинҳои компютерии eBay харобиовар буда метавонанд. Даъво ба зудӣ аз суд ҳал карда шуд ва eBay ҳамаро аз истифодаи ботҳо барои тозакунии веб қатъ кард, новобаста аз он, ки онҳо хуб ё баданд.
Соли 2001, як ширкати сайёҳӣ рақибонро, ки мундариҷаи онро аз вебсайт бо ёрии тортанакҳои зарарнок ва ботҳои бад сӯзондаанд, ба додгоҳ кашид. Судяҳо бори дигар алайҳи ин ҷиноят чора дида, ба қурбониён писанд омад ва гуфтанд, ки ҳам скрепинг ва ҳам истифодаи ботҳо метавонанд ба тиҷорати гуногуни онлайн зарар расонанд.
Ҳоло, барои ҷамъбасти академӣ, хусусӣ ва иттилоотӣ, бисёр одамон ба тартиботи одилонаи скрепинги веб такя мекунанд ва дар ин робита бисёр воситаҳои скрептер таҳия карда шудаанд. Ҳоло масъулин мегӯянд, ки на ҳамаи ин асбобҳо эътимодбахшанд, аммо мошинҳои версияҳои пулакӣ ё премиумӣ нисбат ба веб-скреперҳои ройгон беҳтаранд.
Дар соли 2016, Конгресс қонунгузории аввалеро қабул кард, ки ба нуқтаҳои бад ва бартарӣ додани ботҳои хуб равона шудааст. Санади беҳтарини фурӯши билетҳо (BOTS) таҳия карда шуд, ки истифодаи нармафзори ғайриқонуниро, ки метавонад ба вебсайтҳо нигаронида шуда, ба сафи системаи ҷустуҷӯии онҳо зарар расонад ва тиҷорати онҳоро вайрон кунад, манъ кард. Масъалаҳои адолат вуҷуд доранд. Масалан, LinkedIn барои воситаҳое, ки ботҳоро бад ё нест мекунанд ва ботҳоро хуб ташвиқ мекунанд, пули зиёдеро сарф кардааст. Азбаски судҳо кӯшиш карданд, ки қонунӣ будани скрепингро ҳал кунанд, ширкатҳо маълумоти худро дуздидаанд.