因为使用爬虫被抓，一家公司要赔偿高德1250万，原来，是这家公司通过爬虫手段抓取了高德的拥堵延时指数的数据。并且在他自己的付费软件上以盈利为目的使用了这些数据，而且这家公司还利用变换IP地址和伪造浏览器标识等技术手段试图绕过反扒机制。其实在我之前就经常和客户说，爬虫这事，10件事有9件事违法的，有些客户听完转头就走，那我也没办法。

我曾经说过，如果你爬取的数据呢是那些被定义为网站的主要竞争力来源的数据，比如说大众点评上面的评价，还有这个案例当中提到的拥堵指数等等，那都是受到反不正当竞争法保护的。还有呢，就算是人家的数据不是重要数据，如果这个网站没有开放robots协议，你也不能随便爬取，而且就算是开放了robots协议，但是人家做了反爬，可是你自以为聪明的反反爬取，那不好意思，也是违法行为啊。你看这家公司，首先他爬的是构成人家竞争力来源的数据，而且呢还试图绕过人家的反扒机制，也不知道是真的不懂，还是恶意为之。那公司大不了赔钱就算了，可是写爬虫的程序，甚至是有可能会身陷囹圄的，所以啊，兄弟们可千万不要老板让你干啥你就干啥，自己一定要长个心眼，我们这个行业有一句玩笑话，爬虫写得好，牢饭吃的早啊。