谷歌开源robots.txt 欲引领搜索引擎爬虫的行业标准

外媒 VentureBeat 报道称,谷歌希望将发展数十年的 robots.txt 解析器开源,以推动 REP 成为搜索引擎爬虫的行业标准。 机器人排除协议(REP)是荷兰软件工程师 Martijn Koster 于 1994 年提出的

谷歌开源robots.txt 引领搜索引擎爬虫的行业标准

谷歌开源robots.txt 欲引领搜索引擎爬虫的行业标准
版权声明:(谷歌开源robots.txt 欲引领搜索引擎爬虫的行业标准)旨在分享知识。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件标题或链接至 itousu@foxmail.com ,本站将立刻删除。
(0)
上一篇 2021年3月28日 下午9:22
下一篇 2021年3月28日 下午9:42
hao123w, hao123生活号 - 让生活更简单!,更多信息请访问 http://www.hao123w.com/