大数据离线实战项目

项目名称：新浪微博数据分析系统
日均数据体量：3GB+
硬件环境：Hadoop集群 50台
软件环境：MapReduce+HBase0.98.9+Storm0.9.6+Hadoop2.5.2+Kafka2.10+Zooke
eper3.4.5+CentOS-6.5-X86
项目描述：
此次项目我们需要处理微博产生的数据，通过对数据的处理得到所需的数据，微博拥有大量的用户，大量的用户潜在的价值是巨大，怎么挖掘这些潜在的宝藏就是我们项目最直接的目的，为了能够实时的进行数据处理使用Storm流式计算系统，和HBase、Zookeeper、Kafka组成框架，对数据进行处理，当然这些都是建立在hadoop集群上实现的，底层的存储还是HDFS。

大数据实时全真项目

项目名称：网络流量流向异常账号统计项目
数据体量：每天1000亿，每秒峰值100 000
硬件环境：Hadoop集群 600台
软件环境：Hadoop2.5.2+Hive1.2.1+MR+Oracle10g
项目描述：
运营商骨干网上采集现网流量流向信息，根据这些原始信息检测账号是否存在异常，如果多个终端使用同一个宽带账号，超过一定阈值则触发报警机制，例如阈值为5时，同一个账号同时连接的终端数量不能超过该值，如果超过则报警。

Spark阶段项目

项目名称：京东网上商城数据统计分析平台
数据体量：5000W+/日
硬件环境：centos-6.5-x86 集群：spark standalone(Master-1,Worker-3)
软件环境：hadoop,spark,hive,mysql,idea,navicat,kafka,flume
每日处理的数据量：3GB
项目描述：
基于京东网上商城数据统计分析平台--该项目采用了目前大数据领域非常流行的技术——Spark。本项目使用了Spark技术生态栈中最常用的三个技术框架，Spark Core、Spark SQL和Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括:统计和分析UV、PV、登录、留存、热门商品离线统计、广告流量实时统计3个业务模块。