WebScan更新公告

2020-05-24  更新细节:1,更新Api接口的Json格式,让其更美化。2,由于采集引擎的更新,旧数据保持备份状态,启用新的数据。数据更加精准。后期可能会整合旧数据,毕竟库太大了耗费

4个月前 (05-24) 通过网页

虫子,被困,自救!

爬虫引擎经常遇到的屁事,站群、泛解析、蜘蛛池、毒瘤啊。解决方法:1.程序判定页面相同部分超过 90% 就判断成辣鸡站存入小黑屋 。2.记录二级域名的访问数量,然后限制每个二级域名的访问数。3.爬到大量

4个月前 (05-12) 通过网页

全球顶级域后缀列表

有需要的同学,小笔记记下哦~

4个月前 (05-12) 通过网页

Lua 网站标题匹配规则自记

function ProcessTitle(str)  local Titles = string.match(str, "<

4个月前 (05-12) 通过网页