該項(xiàng)目依托HadoopJava開發(fā)環(huán)境,協(xié)同分布式協(xié)作服務(wù)框架Zookeeper,通過網(wǎng)絡(luò)爬蟲技術(shù)實(shí)時(shí)的從各大家裝網(wǎng)站,各大網(wǎng)絡(luò)電商家電銷售數(shù)據(jù)的爬取,結(jié)合Hive數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)的歸集整理,通過相應(yīng)的數(shù)據(jù)模型,復(fù)雜的算法分析計(jì)算,數(shù)據(jù)可視化分析,為客戶提供精準(zhǔn)的裝修材料品牌,使供應(yīng)商能夠更為精準(zhǔn)的抓住市場(chǎng)需求,提升公司的效益。
該項(xiàng)目使用Spark技術(shù)生態(tài)棧中的Spark Core、Spark SQL 和Spark Streaming技術(shù)框架,對(duì)各大婚戀網(wǎng)站上爬取的網(wǎng)頁數(shù)據(jù)信息,通過Jsoup技術(shù)網(wǎng)頁數(shù)據(jù)解析,采集線上數(shù)據(jù),以及通過線下婚介數(shù)據(jù)的分析整理,進(jìn)行線上數(shù)據(jù)的實(shí)時(shí)計(jì)算業(yè)務(wù)和離線數(shù)據(jù)統(tǒng)計(jì)分析,經(jīng)過數(shù)據(jù)信息的清洗,篩選,依托科學(xué)的數(shù)據(jù)模型,使婚戀匹配的成功率大幅的提升。
該項(xiàng)目后臺(tái)采用Storm、Kafka、Hbase框架技術(shù)進(jìn)行整合開發(fā),前端采用jQuery動(dòng)態(tài)網(wǎng)頁技術(shù)和HighCharts各類圖表開發(fā),實(shí)現(xiàn)實(shí)時(shí)無刷新加載數(shù)據(jù)?,通過系統(tǒng)能夠?qū)崟r(shí)的了解平臺(tái)商品的銷售情況,庫存情況,預(yù)測(cè)未來的商品需求,使平臺(tái)能夠節(jié)約成本的同時(shí)實(shí)現(xiàn)利潤(rùn)最大化。
該項(xiàng)目采用Flume+Hadoop+Hbase+SpringMVC+
MyBatis+MySQL+Highcharts框架實(shí)現(xiàn)的電商離線數(shù)據(jù)分析。依托平臺(tái)的數(shù)據(jù)信息,日志收集分析、用戶的瀏覽行為,點(diǎn)擊行為,挖掘用戶更深層次的喜歡,精準(zhǔn)推薦符合用戶需求的旅游線路,推送符合用戶需要的周邊產(chǎn)品,旅游商品的廣告,提高擴(kuò)大產(chǎn)出。