該項目依托HadoopJava開(kāi)發(fā)環(huán)境，協(xié)同分布式協(xié)作服務(wù)框架Zookeeper，通過(guò)網(wǎng)絡(luò )爬蟲(chóng)技術(shù)實(shí)時(shí)的從各大家裝網(wǎng)站，各大網(wǎng)絡(luò )電商家電銷(xiāo)售數據的爬取，結合Hive數據倉庫進(jìn)行數據的歸集整理，通過(guò)相應的數據模型，復雜的算法分析計算，數據可視化分析，為客戶(hù)提供精準的裝修材料品牌，使供應商能夠更為精準的抓住市場(chǎng)需求，提升公司的效益。

該項目使用Spark技術(shù)生態(tài)棧中的Spark Core、Spark SQL 和Spark Streaming技術(shù)框架，對各大婚戀網(wǎng)站上爬取的網(wǎng)頁(yè)數據信息，通過(guò)Jsoup技術(shù)網(wǎng)頁(yè)數據解析，采集線(xiàn)上數據，以及通過(guò)線(xiàn)下婚介數據的分析整理，進(jìn)行線(xiàn)上數據的實(shí)時(shí)計算業(yè)務(wù)和離線(xiàn)數據統計分析，經(jīng)過(guò)數據信息的清洗，篩選，依托科學(xué)的數據模型，使婚戀匹配的成功率大幅的提升。

該項目后臺采用Storm、Kafka、Hbase框架技術(shù)進(jìn)行整合開(kāi)發(fā)，前端采用jQuery動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)和HighCharts各類(lèi)圖表開(kāi)發(fā)，實(shí)現實(shí)時(shí)無(wú)刷新加載數據?，通過(guò)系統能夠實(shí)時(shí)的了解平臺商品的銷(xiāo)售情況，庫存情況，預測未來(lái)的商品需求，使平臺能夠節約成本的同時(shí)實(shí)現利潤最大化。

該項目采用Flume+Hadoop+Hbase+SpringMVC+
MyBatis+MySQL+Highcharts框架實(shí)現的電商離線(xiàn)數據分析。依托平臺的數據信息，日志收集分析、用戶(hù)的瀏覽行為，點(diǎn)擊行為，挖掘用戶(hù)更深層次的喜歡，精準推薦符合用戶(hù)需求的旅游線(xiàn)路，推送符合用戶(hù)需要的周邊產(chǎn)品，旅游商品的廣告，提高擴大產(chǎn)出。