存在已有25年的robot协议是互联网搜索引擎与网页持有者之间达成的“行业规范”,该协议会告知网站的“访问权限”,如果设置了robot协议,大数据公司要突破访问权限,那么就具有明显的主观恶性。
网上的公开非敏感个人信息能否收集,怎样的爬虫行为是合法的?
所谓网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序与技术。如果通过爬虫抓取网络公开信息,并不违法;但如果抓取的是未公开、未授权的个人敏感信息,就属于违法行为,违反的是2017年6月1日实施的《网络安全法》以及“两高”相关司法解释。中国银行法学研究会理事肖飒表示,判断爬虫行为是否具有合法性,robot协议不可或缺。
存在已有25年的robot协议是互联网搜索引擎与网页持有者之间达成的“行业规范”,该协议会告知网站的“访问权限”,如果设置了robot协议,大数据公司还要突破访问权限,那么就具有明显的主观恶性。互联网行业里谷歌、百度、搜狗、ebay等,均设有该协议,这几乎是每一个互联网人都知道的常识,如果公司不想被爬取信息,只需要很轻松地安放robot协议表明不愿意被爬取和收录就可以了。
2023-12-20 / 1.1
2023-12-19 / 6.0.1
2023-12-19 / 6.0.1
2023-08-25 / v3.1
2023-08-25 / v1.0.3
2023-08-25 / v1.0.1
2023-08-25 / v2.19.1
2023-08-25 / v1.2.0
2023-08-25 / v2.0.1
2023-08-25 / v1.5.1
2023-08-25 / v4.4.0
2023-08-25 / v1.0.03