互联网企业如何应用大数据

壹佰互联网

    互联网企业在很早之前就认识到用户体验的质量与企业的收入呈简单的线性关系。对大范围的用户体验数据进行分析，已成为主流的大数据处理方向，这也是大数据应用先行企业信奉的准则。
    拥有每月1200万访问量的Cars.com公司就是应用大数据获得收益的成功范例，在分析这些数据后为顾客量身定制最佳的用户体验，同时收获资深运营洞察力及反诈骗能力。
    作为一家为购车用户提供汽车资讯及购买服务的网站，Cars.com不仅仅从汽车销售额中赚取利润，广告的收益也是其营业额的一部分。这些标语广告被广泛贴在各大厂商的轿车、卡车、SUV和货车上。Cars.com的界面简单快捷，用户在页面上停留越久，广告的效果就越明显。
    Cars.com的应用管理团队有三个关键目标：高性能、高安全性及为广告商追踪流量源，这也是有原因的。现阶段，bot和网络蜘蛛流量作为持续已久的威胁会极大降低网络性能。一些恶意的bot会将所售汽车列表抓取下来用于垃圾邮件以传播虚假网站，让那些毫无戒备的顾客泄露个人信息。
日志文件是鉴别恶意行为和优化网站性能的关键，但人工处理这些网络日志及流量数据是一件麻烦又耗时的事情。在没有实时报告的情况下，Cars.com的管理团队只能让其服务器超额工作来确保网站页面的载入速度。
    大量的访问源会生成非常多的系统数据，Cars.com借助Splunk软件来实时采集、索引、查询和分析这些海量内容。Spluck独有的“machine data web”(机器数据网)能够组织和识别日志数据;此外该软件预报机制还能帮助团队鉴别非法抓取行为和bot流量，并将它们与合法用户的流量区分开。这些报告举足轻重，为后台人员抵制非法流量提供有力数据。
    这项投资的实际回报有两点。第一，高效、实时的数据采集每年为公司节省400人工作时;第二，能够帮助公司缓解在流量高峰期的访问压力。例如在2012年美国橄榄球超级杯大赛中，公司通过详细的性能统计采取了一系列措施，预计节省了服务器和管理成本160000美元。
    “Splunk软件能够让我们在短时间内处理大量问题，”技术运营部主管Jon Abend说，“不仅网络日志，我们还可以实时地分析应用日志、应用服务器、中间件部件及系统度量日志等。各类相关用户——如性能工程师、中间件团队、搜索引擎市场团队等——通过本软件都会获得管理各类系统的能力。”
    从今年起，Cars.com已经处理了35TB的数据，并还在以每小时250万个网络日志、每周1TB、每月750万查询量的速度继续增加。有了这样对大数据分析处理的能力，Cars.com将会在相关行业中继续领跑。