资讯首页 新闻资讯 天眼报告 网贷专栏 专题报道 平台动态 投资理财 借款攻略 区块链
网贷天眼 > 网贷资讯  > 新闻资讯 > 互金新闻 > 又一家数据公司被查,爬虫到底做错了什么?

又一家数据公司被查,爬虫到底做错了什么?

原作者: 张凯强 来自: 面向人生编程 | 发布时间: 2019-9-10 18:11 |浏览量:3768 | 评论: 16

9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。

 

以上是昨天技术圈传播的一则新闻,又一家数据公司被调查,很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好,XX进得早;数据玩得溜,XX吃个够」。

 

魔蝎科技作为一家数据服务公司,曾在 2017 年一篇『爬虫凶猛:爬支付宝、爬微信、窃取现金贷放贷数据』的文章中,被指出存在开发使用恶意爬虫的行为。

 

当然关于魔蝎科技为什么被查,这个等待执法部门的调查结果即可,咱们不在这里无端猜测。

 

我今天要说的是关于爬虫的合法性,我希望通过一些案例来探讨:怎样做一个不触碰红线的爬虫开发者。

 

爬虫作为一种计算机技术,具有技术中立性,爬虫技术在法律上从来没有被禁止。爬虫的发展历史可以追溯到 20 年前,搜索引擎、聚合导航、数据分析、人工智能等业务,都需要基于爬虫技术。

 

但是爬虫作为获取数据的技术手段之一,由于部分数据存在敏感性,如果不能甄别哪些数据是可以爬取,哪些会触及红线,可能下一位上新闻的主角就是你。

 

如何界定爬虫的合法性,目前没有明文规定,但我通过翻阅大量文章、事件、分享、司法案例,我总结出界定的三个关键点:采集途径、采集行为、使用目的。

 

数据的采集途径

 

通过什么途径爬取数据,这个是最需要重视的一点。总体来说,未公开、未经许可、且带有敏感信息的数据,不管是通过什么渠道获得,都是一种不合法的行为。

 

所以在采集这类比较敏感的数据时,最好先查询下相关法律法规,特别是用户个人信息、其他商业平台的信息 等这类信息,寻找一条合适的途径。

 

个人数据

 

采集和分析个人信息数据,应该是当下所有互联网都会做的一件事,但是大部分个人数据都是非公开的,想获得必须通过合法途径,可参见『网络安全法』第四十一条:

 

网络运营者收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意...

 

也就是必须在提前告知收集的方式、范围、目的,并经过用户授权或同意后,才能采集使用,也就是我们常见的各种网站与 App 的用户协议中关于信息收集的部分。

 

相关反面案例:

 

8月20日,澎湃新闻从绍兴市越城区公安分局获悉,该局日前侦破一起特大流量劫持案,涉案的新三板挂牌公司北京瑞智华胜科技股份有限公司,涉嫌非法窃取用户个人信息30亿条,涉及百度、腾讯、阿里、京东等全国96家互联网公司产品,目前警方已从该公司及其关联公司抓获6名犯罪嫌疑人。

 

......

 

北京瑞智华胜公司及其关联公司在与正规运营商合作中,会加入一些非法软件用于清洗流量、获取用户的 cookie。

 

节选自 澎湃新闻:『新三板挂牌公司涉窃取30亿条个人信息,非法牟利超千万元』[1]

 

公开数据

 

从合法公开渠道,并且不明显违背个人信息主体意愿,都没有什么问题。但如果通过破解、侵入等“黑客”手段来获取数据,那也有相关法律等着你:

 

刑法第二百八十五条第三款规定的“专门用于侵入、非法控制计算机信息系统的程序、工具”:

 

(一)具有避开或者突破计算机信息系统安全保护措施,未经授权或者超越授权获取计算机信息系统数据的功能的;

 

......

 

违反 Robots 协议

 

虽然 Robots 协议没有法规强制遵守,但 Robots 协议作为行业约定,在遵循之下会给你带来合法支持。

 

因为 Robots 协议具有指导意义,如果注明 Disallow 就说明是平台明显要保护的页面数据,想爬取之前应该仔细考虑一下。

 

数据的采集行为

 

使用技术手段应该懂得克制,一些容易对服务器和业务造成干扰甚至破坏的行为,应当充分衡量其承受能力,毕竟不是每家都是 BAT 级。

 

高并发压力

 

做技术经常专注于优化,爬虫开发也是如此,想尽各种办法增加并发数、请求效率,但高并发带来的近乎 DDOS 的请求,如果对对方服务器造成压力,影响了对方正常业务,那就应该警惕了。

 

如果一旦导致严重后果,后果参见:

 

《刑法》第二百八十六条还规定,违反国家规定,对计算机信息系统功能进行删除、修改、增加、干扰,造成计算机信息系统不能正常运行,后果严重的,构成犯罪

 

所以请爬取的时候,即使没有反爬限制,也不要肆无忌惮地开启高并发,掂量一下对方服务器的实力。

 

影响正常业务

 

除了高并发请求,还有一些影响业务的情况,常见的比如抢单,会影响正常用户的体验。

 

数据的使用目的

 

数据使用目的同样是一大关键,就算你通过合法途径采集的数据,如果对数据没有正确的使用,同样会存在不合法的行为。

 

超出约定的使用

 

一种情况是公开收集的数据,但没有遵循之前告知的使用目的,比如用户协议上说只是分析用户行为,帮助提高产品体验,结果变成了出售用户画像数据。

 

还有一种情况,是有知识产权、著作权的作品,可能会允许你下载或引用,但明显标注了使用范围,比如不能转载、不能用于商业行为等,更不能去盗用,这些都是有法律明文保护,所以要注意使用。

 

其他情况就不列举了。

 

出售个人信息

 

关于出售个人信息,千万不要做,是法律特别指出禁止的,参见:

 

根据《最高人民法院 最高人民检察院关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第五条规定,对“情节严重”的解释:

 

(1)非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上的;

 

(2)非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上的;

 

(3)非法获取、出售或者提供第三项、第四项规定以外的公民个人信息五千条以上的便构成“侵犯公民个人信息罪”所要求的“情节严重”。

 

此外,未经被收集者同意,即使是将合法收集的公民个人信息向他人提供的,也属于刑法第二百五十三条之一规定的“提供公民个人信息”,可能构成犯罪。

 

不正当商业行为

 

如果将竞品公司的数据,作为自己公司的商业目的,这就可能存在构成不正当商业竞争,或者是违反知识产权保护。

 

这种情况在目前涉及爬虫的商业诉讼案中比较常见,两年前比较知名的案件,“车来了” App 抓取其竞品 “酷米客” 的公交车数据,并展示在自己的产品上:

 

虽然公交车作为公共交通工具,其实时运行路线、运行时间等信息仅系客观事实,但当此类信息经过人工收集、分析、编辑、整合并配合GPS精确定位,作为公交信息查询软件的后台数据后,此类信息便具有了实用性并能够为权利人带来现实或潜在、当下或将来的经济利益,已经具备无形财产的属性。元光公司利用网络爬虫技术大量获取并且无偿使用谷米公司“酷米客”软件的实时公交信息数据的行为,实为一种“不劳而获”、“食人而肥”的行为,构成不正当竞争。

 

节选自『深圳市中级人民法院(2017)粤03民初822号民事判决书』

 

「爬虫法」即将出台

 

好消息是,相关办法已经在路上了。

 

5 月 28 日零点,国家互联网信息办公室发布了《数据安全管理办法》征求意见稿。

 

我也查阅了这份意见稿,里面对数据的获取、存储、传输、使用等都做了一些规定,包括关于爬虫行为的若干规定(还在征求阶段,因此后续可能会有变化)。

 

比如,第二章第十六条:

 

网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

 

第三章第二十七条:

 

网络运营者向他人提供个人信息前,应当评估可能带来的安全风险,并征得个人信息主体同意。下列情况除外:

 

(一)从合法公开渠道收集且不明显违背个人信息主体意愿;

 

(二)个人信息主体主动公开;

 

(三)经过匿名化处理;

 

(四)执法机关依法履行职责所必需;

 

(五)维护国家安全、社会公共利益、个人信息主体生命安全所必需。

 

 节选自『数据安全管理办法(征求意见稿)』[2]


更多【互金新闻】相关文章

有话要说

登录并发表

热门评论

全部评论

为您推荐
热门头条
新闻资讯
天眼报告
网贷专栏
投资理财
借款攻略
区块链

为您推荐

东方金钰:公司被纳入失信被执行人名单
东方金钰:公司被纳入失信被执行人名单
互联网金融   |  天眼编辑15  |  2019-09-23 21:02
浏览 1029
回复 0
信而富全面发起司法催收:首批严重逾期借款人立案成...
信而富全面发起司法催收:首批严重逾期借款人立案成功
网贷新闻   |  天眼编辑15  |  2019-09-23 17:53
浏览 1782
回复 7
正规校园贷获省级监管支持:湖北将向大学生投放百亿...
正规校园贷获省级监管支持:湖北将向大学生投放百亿消费信贷
网贷新闻   |  天眼编辑15  |  2019-09-23 17:52
浏览 1379
回复 6
网贷天眼8月60家网贷平台信息披露排行榜
网贷天眼8月60家网贷平台信息披露排行榜
数据报告   |  天眼编辑15  |  2019-09-23 16:04
浏览 3407
回复 15
周杰伦新歌《说好不哭》竟揭露了一场涉网赌、网贷骗...
周杰伦新歌《说好不哭》竟揭露了一场涉网赌、网贷骗局
网贷新闻   |  天眼编辑15  |  2019-09-23 17:49
浏览 1644
回复 3
银行经理不推传统的理财产品了 改推这些投资产品
银行经理不推传统的理财产品了 改推这些投资产品
互联网金融   |  天眼编辑15  |  2019-09-23 17:47
浏览 1487
回复 5
行业面临大洗牌 小贷公司瘦身再转型
行业面临大洗牌 小贷公司瘦身再转型
网贷新闻   |  天眼编辑15  |  2019-09-23 17:46
浏览 2780
回复 3
各路玩家蜂涌二手车金融 挑战风控能力
各路玩家蜂涌二手车金融 挑战风控能力
网贷新闻   |  天眼编辑15  |  2019-09-23 17:45
浏览 1243
回复 1
网贷天眼晚报:网信5个项目将回款 “胖毛在线”非...
网贷天眼晚报:网信5个项目将回款 “胖毛在线”非吸案开庭审理
天眼原创   |  天眼编辑04  |  2019-09-23 17:13
浏览 2385
回复 6
最新!苏宁金控承继1.57亿元增资计划,加快独立...
最新!苏宁金控承继1.57亿元增资计划,加快独立金融业务
互联网金融   |  天眼编辑15  |  2019-09-23 17:42
浏览 1487
回复 5
加载更多>>
东方金钰:公司被纳入失信被执行人名单
东方金钰:公司被纳入失信被执行人名单
互金新闻   |  天眼编辑15  |  2019-9-23 21:02
浏览 1029
回复 0
信而富全面发起司法催收:首批严重逾期借款人立案成功
信而富全面发起司法催收:首批严重逾期借款人立案成功
网贷新闻   |  天眼编辑15  |  2019-9-23 17:53
浏览 1782
回复 7
正规校园贷获省级监管支持:湖北将向大学生投放百亿消费信贷
正规校园贷获省级监管支持:湖北将向大学生投放百亿消费信贷
网贷新闻   |  天眼编辑15  |  2019-9-23 17:52
浏览 1379
回复 6
周杰伦新歌《说好不哭》竟揭露了一场涉网赌、网贷骗局
周杰伦新歌《说好不哭》竟揭露了一场涉网赌、网贷骗局
网贷新闻   |  天眼编辑15  |  2019-9-23 17:49
浏览 1644
回复 3
银行经理不推传统的理财产品了 改推这些投资产品
银行经理不推传统的理财产品了 改推这些投资产品
互金新闻   |  天眼编辑15  |  2019-9-23 17:47
浏览 1487
回复 5
行业面临大洗牌 小贷公司瘦身再转型
行业面临大洗牌 小贷公司瘦身再转型
网贷新闻   |  天眼编辑15  |  2019-9-23 17:46
浏览 2780
回复 3
各路玩家蜂涌二手车金融 挑战风控能力
各路玩家蜂涌二手车金融 挑战风控能力
网贷新闻   |  天眼编辑15  |  2019-9-23 17:45
浏览 1243
回复 1
最新!苏宁金控承继1.57亿元增资计划,加快独立金融业务
最新!苏宁金控承继1.57亿元增资计划,加快独立金融业务
互金新闻   |  天眼编辑15  |  2019-9-23 17:42
浏览 1487
回复 5
A股龙头“低谷并购”的秘密:告别“跨界时代” 重组依旧走俏
A股龙头“低谷并购”的秘密:告别“跨界时代” 重组依旧走俏
互金新闻   |  天眼编辑07  |  2019-9-23 17:34
浏览 1576
回复 4
信用卡逾期1天、90天和180天有差别吗?大到你想象不到
信用卡逾期1天、90天和180天有差别吗?大到你想象不到
互金新闻   |  天眼编辑07  |  2019-9-23 17:27
浏览 1509
回复 8
加载更多>>
网贷天眼8月60家网贷平台信息披露排行榜
网贷天眼8月60家网贷平台信息披露排行榜
数据报告   |  天眼编辑15  |  2019-9-23 16:04
浏览 3407
回复 15
9月网贷评级综合实力TOP30排行榜
9月网贷评级综合实力TOP30排行榜
数据报告   |  天眼编辑02  |  2019-9-20 14:57
浏览 1.5W
回复 64
8月P2P车贷平台交易规模排行榜:四家平台成交降幅超20%
8月P2P车贷平台交易规模排行榜:四家平台成交降幅超20%
数据报告   |  天眼编辑04  |  2019-9-15 09:45
浏览 1.4W
回复 44
8月浙江网贷报告: 成交大幅下降,微贷网引领缩量风潮
8月浙江网贷报告: 成交大幅下降,微贷网引领缩量风潮
数据报告   |  天眼编辑31  |  2019-9-14 09:23
浏览 1.5W
回复 60
网贷天眼8月北京网贷报告:玖富数科股价过山车 翼龙贷增资至10亿
网贷天眼8月北京网贷报告:玖富数科股价过山车 翼龙贷增资至10亿
数据报告   |  天眼编辑15  |  2019-9-13 11:19
浏览 7.7W
回复 59
8月P2P余额排行榜:多家平台业务“踩刹车”,机构资金猛增
8月P2P余额排行榜:多家平台业务“踩刹车”,机构资金猛增
数据报告   |  天眼编辑15  |  2019-9-13 09:34
浏览 2.2W
回复 64
网贷天眼8月广东网贷报告:成交额下降16.57% 金融办提示风险
网贷天眼8月广东网贷报告:成交额下降16.57% 金融办提示风险
数据报告   |  天眼编辑15  |  2019-9-12 14:54
浏览 1.4W
回复 13
8月网贷行业报告:成交额跌破900亿 利率上涨期限缩短
8月网贷行业报告:成交额跌破900亿 利率上涨期限缩短
数据报告   |  天眼编辑31  |  2019-9-1 10:26
浏览 3.4W
回复 98
盘点16家P2P中概股8月股价:9家跌幅超10%,这家独涨65%
盘点16家P2P中概股8月股价:9家跌幅超10%,这家独涨65%
数据报告   |  天眼编辑15  |  2019-8-31 14:49
浏览 3.2W
回复 53
加载更多>>
网信普惠,说好的兑付方案就是这个吗?
网信普惠,说好的兑付方案就是这个吗?
网贷专栏   |  互金跟投  |  2019-9-23 17:12
浏览 1086
回复 10
隐私保护升级,大数据金融会死吗?
隐私保护升级,大数据金融会死吗?
网贷专栏   |  洪言微语  |  2019-9-23 15:38
浏览 756
回复 5
12万月薪店长刷屏,海底捞到底有多赚钱?火锅店真那么好赚?
12万月薪店长刷屏,海底捞到底有多赚钱?火锅店真那么好赚?
网贷专栏   |  江瀚视野观察  |  2019-9-23 15:36
浏览 1685
回复 8
刀口上流血的行当,善良比聪明重要
刀口上流血的行当,善良比聪明重要
网贷专栏   |  互金小说汇  |  2019-9-23 15:33
浏览 2727
回复 11
消费金融狂欢拉响「预警」
消费金融狂欢拉响「预警」
网贷专栏   |  偌馨  |  2019-9-23 15:32
浏览 836
回复 3
谁说“风险告知书”是废纸一张?!
谁说“风险告知书”是废纸一张?!
网贷专栏   |  肖飒  |  2019-9-23 15:28
浏览 739
回复 5
聚焦第三方支付,把握网贷经营“命脉”
聚焦第三方支付,把握网贷经营“命脉”
网贷专栏   |  minghao613  |  2019-9-23 11:51
浏览 784
回复 10
二手车金融市场战事
二手车金融市场战事
网贷专栏   |  fulipindao  |  2019-9-23 11:05
浏览 887
回复 2
十年一梦阿里云:那些“骗子”、“疯子”和赤子
十年一梦阿里云:那些“骗子”、“疯子”和赤子
网贷专栏   |  陈纪英  |  2019-9-23 10:37
浏览 1019
回复 10
全链条打击背后,安全合规界限在哪?
全链条打击背后,安全合规界限在哪?
网贷专栏   |  见闻财经  |  2019-9-23 08:59
浏览 993
回复 1
加载更多>>
余额宝存多少钱收益最高?2019年余额宝利息多少?
余额宝存多少钱收益最高?2019年余额宝利息多少?
互联网理财   |  天眼编辑13  |  2019-9-23 16:40
浏览 519
回复 0
新手理财怎么做?新手理财适合哪种理财方式?
新手理财怎么做?新手理财适合哪种理财方式?
互联网理财   |  天眼编辑13  |  2019-9-23 16:38
浏览 706
回复 0
猪肉价格持续飙升,“二师兄”概念股能火多久?
猪肉价格持续飙升,“二师兄”概念股能火多久?
投资理财   |  天眼编辑13  |  2019-9-16 15:37
浏览 3835
回复 0
上市银行业绩原地踏步 昨日股价喜迎集体上涨
上市银行业绩原地踏步 昨日股价喜迎集体上涨
银行理财   |  编辑007  |  2019-9-10 13:49
浏览 1.7W
回复 0
银行净值型产品发行提速 同业理财“双降”趋势延续
银行净值型产品发行提速 同业理财“双降”趋势延续
银行理财   |  编辑007  |  2019-9-10 13:48
浏览 7.0W
回复 1
建立一个交易系统的步骤有哪些?
建立一个交易系统的步骤有哪些?
投资理财   |  编辑007  |  2019-8-29 18:36
浏览 1.5W
回复 0
康美药业被罚后却多日涨停 资金无视风险提示为哪般
康美药业被罚后却多日涨停 资金无视风险提示为哪般
投资理财   |  编辑007  |  2019-8-29 18:34
浏览 2.0W
回复 2
已上市的p2p网贷平台公司有哪些?直接上市吗?安全吗?
已上市的p2p网贷平台公司有哪些?直接上市吗?安全吗?
P2P理财   |  天眼编辑09  |  2019-7-23 14:42
浏览 7.1W
回复 6
【s股是什么股】S股有哪些?S股有风险吗?
【s股是什么股】S股有哪些?S股有风险吗?
投资理财   |  编辑007  |  2019-7-22 14:54
浏览 5.2W
回复 0
加载更多>>
【车贷申请条件】申请无息贷款需要满足哪些条件?
【车贷申请条件】申请无息贷款需要满足哪些条件?
车贷   |  编辑007  |  2019-9-23 15:27
浏览 573
回复 0
办理个人住房商业贷款流程是什么?个人住房商业贷款须知
办理个人住房商业贷款流程是什么?个人住房商业贷款须知
房贷   |  编辑007  |  2019-9-10 13:54
浏览 1.3W
回复 0
贷款买房如何知道月供 主要取决什么?
贷款买房如何知道月供 主要取决什么?
房贷   |  编辑007  |  2019-9-10 13:52
浏览 1.5W
回复 1
2019商业贷款买房注意事项?商业贷款买房材料大全
2019商业贷款买房注意事项?商业贷款买房材料大全
房贷   |  编辑007  |  2019-7-9 20:45
浏览 6.6W
回复 0
小额借贷逾期有哪些注意事项?小额借贷逾期怎么避免?
小额借贷逾期有哪些注意事项?小额借贷逾期怎么避免?
车贷   |  编辑007  |  2019-7-9 20:43
浏览 8.0W
回复 0
用网贷还信用卡安全吗?用网贷还信用卡注意事项
用网贷还信用卡安全吗?用网贷还信用卡注意事项
信用卡   |  编辑007  |  2019-7-9 20:35
浏览 5.7W
回复 1
2019年房贷利率会上浮吗?房贷利率上浮意味着什么?
2019年房贷利率会上浮吗?房贷利率上浮意味着什么?
房贷   |  天眼编辑13  |  2019-7-9 15:45
浏览 7.9W
回复 0
车贷还清后多久能拿绿本?车贷还清之后需要办理什么手续?
车贷还清后多久能拿绿本?车贷还清之后需要办理什么手续?
车贷   |  天眼编辑13  |  2019-7-9 15:37
浏览 8.1W
回复 3
信用卡分期有哪些优势?信用卡分期对征信有影响吗?
信用卡分期有哪些优势?信用卡分期对征信有影响吗?
信用卡   |  编辑007  |  2019-7-2 14:50
浏览 7.0W
回复 0
加载更多>>
下载APP
网贷天眼APP
网贷天眼官方APP
官方微信
联系客服
在线客服
400-6673-500
周一至周日:9:00-21:00
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部