资讯首页 新闻资讯 专栏文章 专题报道 天眼财经
网贷天眼 > 资讯  > 新闻资讯 > 金融科技 > 爬虫危机!到底什么样的爬虫才是合法的?

爬虫危机!到底什么样的爬虫才是合法的?

原作者: 纯洁的微笑 来自: 互金商业评论 | 发布时间: 2019-10-21 18:46 |浏览量:3361 | 评论: 8

据说互联网上 50%以上的流量都是爬虫创造的,也许你看到很多热门数据都是爬虫所创造的,所以可以说无爬虫就无互联网的繁荣。

 

这个话题涉及到很多程序员的日常工作,所以有必要和大家细聊一下。

 

01.技术无罪?

 

很多朋友给我留言:技术是无罪的,技术本身确实是没有对错的,但使用技术的人是有对错的,公司或者程序员如果明知使用其技术是非法的,那么公司或者人就需要为之付出代价。

 

在今年国家颁布《中华人民共和国网络安全法》之后,很多以前处于灰色地带的业务都不能做了。

 

君不见之前曾经非常火的各种社工库网站,现在绝大部分都已经消失匿迹了吗?因为最新的安全法强调:贩卖个人信息超过50条属于“情节严重”,需要追求其法律责任。

 

很多草根站长都纷纷主动关闭了网站;还有很多涉及版权信息的网站,比如书籍、影视剧、课程等后期也会面临越来越严格的审查,这就是目前大的形势。

 

2014年12月20日,人人影视字幕站发布微博称,人人影视正式关闭,并表示或将继续为正版商提供翻译服务,也可能转变为讨论社区的形式。

 

2019年6月,吾爱破解因版权问题关站整改...

 

.....

 

随着中国经济的不断往前走,知识产权问题会越来越重视,非法爬虫是现在一个重要的打击部分,如果有程序员走在灰色的边缘尽早收手,不要因为一点小的收益导致触犯法律,从而得不偿失。

 

技术是无罪的,但是用到了错的地方代价也是非常巨大的。

 

02.爬虫岗位人人自危

 

我在拉钩上搜索:爬虫工程师,显示有 217 条相关招聘信息,薪资从10-60k 都有,说明市场上对爬虫的需求是很大的。

 

有很多程序员给我留言:

 

我们领导安排我爬取公司内部的信息,这算不算犯罪呢?

 

爬取网上公开的信息,这算不算犯罪呢?

 

写了一段代码上传到 Github,被人用了犯法吗?

 

简单回答一下这些问题:

 

爬取公司内部信息有公司授权当然不算犯罪的,但是公司内部不用接口而用爬虫不知道是为什么?

 

爬取网上公开信息不犯法,但如果大量开启爬虫导致对方服务器崩溃也是违法的,这属于暴力攻击的范畴了。

 

写了一段代码上传到 Github 上面,有人利用你的代码做了其它非法的事情,绝大多数都没有问题的,但如果你写的软件涉及到入侵、暴力破解、病毒等就不好说了。

 

还有朋友认为这事责任在企业不在程序员,日常工作中项目初期设计和最后上线需要通过公司的法务批准,所有代码必须有其他程序员同事评审通过才能提交。

 

这位朋友说的挺对的,按道理每个公司都应该有法务和风控在前面,后面才是产品设计和程序员开发的事情,但如果一家公司为了利益,老板可以直接让这两个部门闭嘴,后面程序员可以不干吗?

 

更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要操一份心,凡是涉及到入侵类的程序都不能干,因为有一个东西叫做:单位犯罪。

 

单位犯罪,是指公司、企业、事业单位、机关、团体为单位谋取利益,经单位决策机构或者负责人决定实施的,法律规定应当负刑事责任的危害社会的行为。

 

我国刑法对单位犯罪原则上采取双罚制度,即单位犯罪的,对单位判处罚金,并对其直接负责的主管人员和其他直接责任人员判处刑罚。

 

03.什么样的爬虫是非法的?

 

爬虫不能涉及个人隐私!

 

如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。

 

也就是说你爬虫爬取信息没有问题,但不能涉及到个人的隐私问题,如果涉及了并且通过非法途径收益了,那肯定是违法行为。

 

另外,还有下列三种情况,爬虫有可能违法,严重的甚至构成犯罪:

 

爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施,非法获取相关信息,情节严重的,有可能构成“非法获取计算机信息系统数据罪”。

 

爬虫程序干扰被访问的网站或系统正常运营,后果严重的,触犯刑法,构成“破坏计算机信息系统罪”

 

、爬虫采集的信息属于公民个人信息的,有可能构成非法获取公民个人信息的违法行为,情节严重的,有可能构成“侵犯公民个人信息罪”。

 

现在网上有很多付费的课程,比如极客时间、Gitchat、慕课网、知识星球等等,这些付费内部信息如果被非法爬取手法出售获利,一种违法行为。

 

之前我就遇到一个网友,把各个知识星球的内容都抓下来,合到一起自己去卖,自作聪明觉得发现了一个大的商机,其实自己不知道这个行为其实很危险,风险和收益明显不对等。

 

我这两天看的时候,他的一个公众号都被封了,后来又转移了一个小号继续搞,迟早又是被封的命运,真的很不值当。最可怜是那些买他服务的用户,因为他宣传时承诺永久,肯定永久不了。

 

04.什么样的爬虫是合法的?

 

1、 遵守 Robots 协议

 

Robots 协议也叫 robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

 

Robots 协议就是告诉爬虫,哪些信息是可以爬取,哪些信息不能被爬取,严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。

 

2、不能造成对方服务器瘫痪

 

但不是说只要遵守 Robots 协议的爬虫就没有问题,还涉及到两个因素,第一不能大规模爬虫导致对方服务器瘫痪,这等于网络攻击。

 

2019年05月28日国家网信办发布的《数据安全管理办法(征求意见稿)》中,拟通过行政法规的形式,对爬虫的使用进行限制:

 

网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

 

3、不能非法获利

 

恶意利用爬虫技术抓取数据,攫取不正当竞争的优势,甚至是牟取不法利益的,则可能触犯法律。实践中,非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少,大多是以不正当竞争为由提请诉讼。

 

举个例子,如果你把大众点评上的所有公开信息都抓取了下来,自己复制了一个一模一样的网站,并且还通过这个网站获取了大量的利润,这样也是有问题的。

 

一般情况下,爬虫都是为了企业获利的,因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

 

05.最后

 

最近看了很多关于程序员出事的事件,东南亚程序员被打,多个大数据公司被查等等。做为一名普通的程序员,希望大家也可以多关注此类事件,从而提醒自己。

 

有风险的行业谨慎进入,比如现金贷、不合规的P2P、赌博类游戏、黑五类产品的行业。如果公司安排入侵某个网站数据,或者有同事/朋友邀请泄露公司信息的都需要保持警惕,有时候一个很小的动作都有可能导致出问题。

 

我们绝大多数公司和个人使用的爬虫都是没有问题的,不必人人自危,只要把握住不要爬取个人信息,不要利用爬虫非法获利,不要爬取网站的付费内容,基本上不会有问题。

 

程序员是世界上最单纯的一批人,也是一批高智商低情商的人,工作是工作但也需要适当保持谨慎,对于一些游走在法律边缘的事情请保持距离。

 

敬畏法律,遵纪守法,从我做起。

 


内容标签:

更多【金融科技】相关文章

有话要说

登录并发表

热门评论

全部评论

  • 2019-10-22 13:15
    举报
    贩卖个人信息超过50条属于“情节严重”,真涨知识了。
  • 2019-10-22 11:32
    举报
    感谢楼主分享,长知识了
  • 2019-10-22 09:29
    举报
    敬畏法律,遵纪守法,从我做起
  • 2019-10-22 08:19
    举报
    有必要和大家细聊一下。
  • 2019-10-21 23:29
    举报
    爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。
  • 2019-10-21 20:14
    举报
    爬虫危机是怎么了?
  • 2019-10-21 20:06
    举报
    国家应该鼓励研发人员支持科技的发展。而不是去打压,应该合理正规的发展。
  • 2019-10-21 19:54
    举报
    如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。
为您推荐
热门头条
新闻资讯
专栏文章
天眼财经

为您推荐

“个人金融信息”三类等级出炉 这些事儿你该注意了...
“个人金融信息”三类等级出炉 这些事儿你该注意了!
网贷专栏   |  wemoney  |  2020-02-21 15:15
浏览 1790
回复 2
四大手机厂商聚齐!华为早已获得小贷牌照
四大手机厂商聚齐!华为早已获得小贷牌照
网贷专栏   |  见闻财经  |  2020-02-21 13:19
浏览 1934
回复 3
分析 | 众安在线的盈利之困与变现之惑
分析 | 众安在线的盈利之困与变现之惑
网贷专栏   |  fulipindao  |  2020-02-20 19:00
浏览 2760
回复 2
房东、租客两头“坑”引发集体维权事件,蛋壳公寓遭...
房东、租客两头“坑”引发集体维权事件,蛋壳公寓遭监管排查
网贷专栏   |  新金融深度  |  2020-02-20 17:07
浏览 2499
回复 1
加载更多>>
重磅!央行:增加再贷款再贴现专用额度5000亿元
重磅!央行:增加再贷款再贴现专用额度5000亿元
银行   |  HHYYE  |  2020-2-26 19:42
浏览 654
回复 0
监管态度再明确:贷款落实尽职免责不就单笔"倒算账"
监管态度再明确:贷款落实尽职免责不就单笔"倒算账"
消费金融   |  天眼编辑31  |  2020-2-26 16:08
浏览 686
回复 1
疫情之下该如何理财? 多家银行推出抗疫专属理财产品
疫情之下该如何理财? 多家银行推出抗疫专属理财产品
消费金融   |  天眼编辑31  |  2020-2-26 16:03
浏览 914
回复 0
八家半导体公司拟定增募资近240亿元
八家半导体公司拟定增募资近240亿元
消费金融   |  天眼编辑31  |  2020-2-26 15:59
浏览 765
回复 0
网上买“房”“车”凸显中国消费模式再升级
网上买“房”“车”凸显中国消费模式再升级
消费金融   |  天眼编辑31  |  2020-2-26 15:49
浏览 809
回复 0
公安部:查处涉疫情违法犯罪案件2.2万起 刑拘4260人
公安部:查处涉疫情违法犯罪案件2.2万起 刑拘4260人
金融科技   |  天眼编辑02  |  2020-2-26 14:59
浏览 1169
回复 0
达州银行净利润连续第二年负增长 新一轮增资扩股进行中
达州银行净利润连续第二年负增长 新一轮增资扩股进行中
银行   |  HHYYE  |  2020-2-26 13:14
浏览 878
回复 0
加载更多>>
实锤:投哪网出借合同造假,员工、高管参与其中
实锤:投哪网出借合同造假,员工、高管参与其中
专栏文章   |  财经老佛  |  2020-2-26 10:18
浏览 1310
回复 2
疫情推动金融科技应用落地加速,机构间人才争夺战已打响
疫情推动金融科技应用落地加速,机构间人才争夺战已打响
专栏文章   |  新金融深度  |  2020-2-25 20:26
浏览 734
回复 0
网贷存管系统业务消亡后,懒猫联银计划进军小贷业务
网贷存管系统业务消亡后,懒猫联银计划进军小贷业务
专栏文章   |  消金时代  |  2020-2-25 15:45
浏览 810
回复 0
疫情之下互金借款人可否延期还款?平台:极少数可以
疫情之下互金借款人可否延期还款?平台:极少数可以
专栏文章   |  新金融深度  |  2020-2-24 20:05
浏览 1696
回复 1
立借App贷款年化利率超200%,关联合众e贷等多家平台
立借App贷款年化利率超200%,关联合众e贷等多家平台
专栏文章   |  消金时代  |  2020-2-24 17:13
浏览 2051
回复 3
畅快车贷涉嫌套路贷非法拖车,关联平台投哪网被诉假良退
畅快车贷涉嫌套路贷非法拖车,关联平台投哪网被诉假良退
专栏文章   |  财经老佛  |  2020-2-24 11:51
浏览 3218
回复 5
加载更多>>
华夏信财最新进展:最近一个月实际回款金额1.2亿元
华夏信财最新进展:最近一个月实际回款金额1.2亿元
天眼原创   |  天眼编辑02  |  2020-2-26 22:35
浏览 789
回复 0
积木盒子将开展出借人确权工作 开放时间后续公布
积木盒子将开展出借人确权工作 开放时间后续公布
天眼原创   |  天眼编辑02  |  2020-2-26 22:14
浏览 500
回复 0
网信普惠最新动态:清收回款169.79万元 涉及10271人
网信普惠最新动态:清收回款169.79万元 涉及10271人
天眼原创   |  天眼编辑02  |  2020-2-26 21:35
浏览 1309
回复 7
​三位P2P出借人现身说法 疫情期间该如何理性维权?
​三位P2P出借人现身说法 疫情期间该如何理性维权?
天眼原创   |  HHYYE  |  2020-2-26 17:03
浏览 2373
回复 10
网贷天眼晚报:先锋系事件新进展 理财子公司竞争加剧
网贷天眼晚报:先锋系事件新进展 理财子公司竞争加剧
天眼原创   |  天眼编辑31  |  2020-2-26 16:36
浏览 1250
回复 1
二三四五高层人事变动:监事会主席辞职
二三四五高层人事变动:监事会主席辞职
天眼原创   |  无风之浪  |  2020-2-26 11:54
浏览 995
回复 0
网贷天眼早报:疫情不改P2P整治方向 旷视科技香港IPO“搁浅”
网贷天眼早报:疫情不改P2P整治方向 旷视科技香港IPO“搁浅”
天眼原创   |  天眼编辑02  |  2020-2-26 08:02
浏览 1437
回复 0
最新! 全国首份第三方支付机构复工指引来了
最新! 全国首份第三方支付机构复工指引来了
天眼原创   |  HHYYE  |  2020-2-25 17:33
浏览 1664
回复 0
“之信控股”非吸案新进展:冻结资金4500余万 多人被逮捕
“之信控股”非吸案新进展:冻结资金4500余万 多人被逮捕
天眼原创   |  天眼编辑31  |  2020-2-25 16:43
浏览 2787
回复 1
加载更多>>
下载APP
网贷天眼APP
网贷天眼官方APP
官方微信
联系客服
在线客服
400-6673-500
周一至周日:9:00-21:00
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部