亚洲国产日韩成人综合天堂_一区二区三区视频网站_国内小视频在线看_国产精品热视频_国产丝袜自拍_国产视频久久久久_麻豆精品免费视频入口_久久综合国产精品

小小千想和您聊一聊

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

加入收藏

加關(guān)注領(lǐng)取全套視頻

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程

北京(總部)

A - N

北京｜大連｜廣州｜成都｜杭州｜長沙｜哈爾濱｜合肥｜貴陽｜南京｜濟南

O - Z

上海｜深圳｜武漢｜鄭州｜西安｜青島｜重慶｜太原｜沈陽｜南昌

400-811-9990

首頁 品質(zhì)課程 教研師資 校企服務(wù) 技術(shù)干貨行業(yè)資訊職場就業(yè) 面試題問答庫 關(guān)于千鋒

定制大數(shù)據(jù)學(xué)習(xí)方案

現(xiàn)在了解 >

了解未來發(fā)展趨勢

現(xiàn)在了解 >

免費領(lǐng)取學(xué)習(xí)資料

一鍵獲取 >

了解老學(xué)員薪資

立即查看 >

為什么學(xué)習(xí)大數(shù)據(jù)+數(shù)據(jù)智能？

大數(shù)據(jù)浪潮席卷全球，應(yīng)用領(lǐng)域?qū)拸V，產(chǎn)業(yè)規(guī)模空前
就業(yè)口徑寬廣，價值堪比黃金石油，“錢途”無量

應(yīng)用范圍廣

大數(shù)據(jù)時代，大數(shù)據(jù)幾乎沒有
行業(yè)限制

崗位天花板高

時代大趨勢，未來前景好，職場
雙渠道發(fā)展

崗位起薪高

大數(shù)據(jù)人才缺口大，人才薪資
待遇好

物流

醫(yī)療

科技

新能源

農(nóng)業(yè)

工業(yè)

大數(shù)據(jù)
應(yīng)用廣泛

交通

醫(yī)療

教育

信用

傳媒

金融

電信

P線

數(shù)據(jù)科學(xué)家

大數(shù)據(jù)研究員

大數(shù)據(jù)架構(gòu)師

大數(shù)據(jù)專家

M線

CTO

數(shù)據(jù)總監(jiān)

項目經(jīng)理

大數(shù)據(jù)高級工程師

大數(shù)據(jù)中級工程師

大數(shù)據(jù)近年來薪資變化趨勢

12.0K

2016年

18.4K

2017年

22.8K

2018年

21.9K

2019年

21.8K

2020年

24.9K

2021年

27.7K

2022年

此處數(shù)據(jù)來源職友集，樣本選取截止日期為2023年3月23日，僅作內(nèi)容展示，不作效果承諾

更多大數(shù)據(jù)行業(yè)前景

千鋒大數(shù)據(jù)課程特色優(yōu)勢

主流實用技術(shù)

理論到實踐，根據(jù)企業(yè)市場需求，聚焦數(shù)據(jù)倉庫+數(shù)據(jù)開發(fā)，掌握實用技術(shù)

大廠實戰(zhàn)項目

大廠實際業(yè)務(wù)場景與案例，大廠PB級項目 1:1 引進課堂，多類型聯(lián)合項目，沉浸式學(xué)習(xí)

特色課程體系

實戰(zhàn)項目貫穿教學(xué)過程，理論+實戰(zhàn)+就業(yè)，一站式培養(yǎng)優(yōu)秀人才

實戰(zhàn)老師授課

千鋒總監(jiān)級導(dǎo)師授課，豐富實戰(zhàn)及教學(xué)經(jīng)驗，實力助力學(xué)習(xí)

豐富學(xué)習(xí)資源

大廠授課平臺，線上云實驗環(huán)境、企業(yè)級數(shù)據(jù)集、項目案例、畢業(yè)設(shè)計案例等

未來職場賦能

老學(xué)員一次學(xué)習(xí)長期職場賦能，定期直播、論壇、講座，多方位職場進階

更多課程優(yōu)勢

大數(shù)據(jù)多元化課程滿足不同學(xué)習(xí)需求

大數(shù)據(jù)面授班

大數(shù)據(jù)時代開啟職場新起點

從0到1，小白到精英，入門+進階課程

理論+實戰(zhàn)深入技術(shù)源碼

學(xué)前+學(xué)習(xí)+生活+求職+職后”一站式服務(wù)

全國20+校區(qū)分布，可就近學(xué)習(xí)

學(xué)完能找到什么工作

大數(shù)據(jù)職后課

跟隨時代腳步未來職場加油站

職場人拓展技術(shù)棧，增加職場核心競爭力

數(shù)據(jù)"采、傳、存、算、用、管"企業(yè)高頻技術(shù)

有技術(shù)經(jīng)驗者轉(zhuǎn)型、突破職場瓶頸

隨時隨地碎片化時間學(xué)

課程要學(xué)多久

四大核心階段系統(tǒng)掌握實用技能

第一階段 Java SE編程 & MySQL+Java EE開發(fā)（1-6周）

Java編程與MySQL關(guān)系型數(shù)據(jù)庫編程是大數(shù)據(jù)根基，正所謂“根基不牢，地動山搖”。

本階段可以說是大數(shù)據(jù)研發(fā)人員不可或缺的一部分，內(nèi)容涵蓋基礎(chǔ)理論、實踐操作、綜合練習(xí)及項目等，專注于Java SE編程、MySQL關(guān)系型數(shù)據(jù)庫、JDBC、Maven、Git和SpringBoot等實用技術(shù)，為大數(shù)據(jù)的深入學(xué)習(xí)打下堅實根基。

0基礎(chǔ)

入門，易學(xué)習(xí)，上手快

200+

核心知識點

10+

真場景實戰(zhàn)及解決方案

100+

高頻面試點

實用技術(shù)（部分）

Java 基礎(chǔ)語法、Java面向?qū)ο蟆⒊Ｓ妙悺惓！⒓稀ava多線程、IO、MySQL+JDBC、Maven、Git、SpringBoot

學(xué)完收獲

1 掌握Java編程語法與規(guī)范、面向?qū)ο蠹跋嚓P(guān)實踐

2 掌握Java常用數(shù)據(jù)結(jié)構(gòu)、常用類和異常等

3 掌握多線程、數(shù)據(jù)流、并發(fā)和IO操作

4 掌握MySQL相關(guān)SQL編寫操作和JDBC

5 掌握企業(yè)級SprigBoot與Java EE開發(fā)工具等

第二階段 Hadoop生態(tài)技術(shù) & 數(shù)據(jù)倉庫開發(fā)（7-12周）

Hadoop生態(tài)技術(shù)與數(shù)據(jù)倉庫開發(fā)堪稱大數(shù)據(jù)鼻祖，占據(jù)企業(yè)大數(shù)據(jù)研發(fā)半壁江山。

本階段理論結(jié)合實踐，專注數(shù)據(jù)倉庫及周邊，覆蓋Linux、Shell、Zookeeper、Hadoop、Hive、Hue、DBeaver、Kettle、Superset、FineBI、DataX、Flume、DolphinScheduler、數(shù)據(jù)倉庫方法論等實用技術(shù)及企業(yè)級離線數(shù)據(jù)倉庫項目實踐。助力從0到1掌握大數(shù)據(jù)硬技術(shù)，直擊企業(yè)大數(shù)據(jù)所需。

數(shù)據(jù)倉庫

著重SQL，輔助代碼

10+

真場景實戰(zhàn)項目教學(xué)

50+

大廠顧問，復(fù)刻企業(yè)真實場景

500+

核心技能，攻略企業(yè)技術(shù)棧

實用技術(shù)（部分）

Linux操作系統(tǒng)、Shell腳本編程、Zookeeper、Hadoop生態(tài)技術(shù)、Hive、Hue、Kettle、FineBI && FineReport、Superset、BI分析與可視化項目、DataX、Flume、DolphinScheduler、數(shù)據(jù)倉庫技術(shù)、離線數(shù)據(jù)倉庫項目、基于ODPS電商數(shù)據(jù)倉庫項目、自研數(shù)據(jù)倉庫項目

學(xué)完收獲

1 掌握數(shù)據(jù)Hadoop生態(tài)相關(guān)技術(shù)及實踐

2 掌握數(shù)據(jù)倉庫ETL工具實踐與性能調(diào)優(yōu)

3 掌握數(shù)據(jù)分析與可視化工具的應(yīng)用

4 掌握數(shù)據(jù)倉庫方法論、建設(shè)流程和規(guī)范

5 掌握企業(yè)級數(shù)據(jù)倉庫實施流程及問題與解決方案

第三階段 Spark生態(tài)技術(shù) & 企業(yè)級項目開發(fā)（13-18周）

Java編程與MySQL關(guān)系型數(shù)據(jù)庫編程是大數(shù)據(jù)根基，正所謂“根基不牢，地動山搖”。

專注Spark

原理及代碼研發(fā)

強化SQL

編程能力

200+

大廠解決方案

企業(yè)級

項目實戰(zhàn)，手把手帶你學(xué)

實用技術(shù)（部分）

Scala高級編程、Kafka、Redis、ClickHouse、SparkCore核心、SparkSQL、Structured Streaming、趣頭條準實時數(shù)據(jù)倉庫工程實踐、趣頭條用戶畫像工程實踐、企業(yè)級推薦系統(tǒng)工程實踐

學(xué)完收獲

1 掌握Scala高級編程技能，涵Scala面向?qū)ο蟆⒎椒ê瘮?shù)、模式匹配和隱式轉(zhuǎn)換等

2 掌握Spark Core相關(guān)核心概念和操作實踐

3 掌握SparkSQL數(shù)據(jù)抽象、SQL編寫、函數(shù)應(yīng)用和執(zhí)行流程與優(yōu)化

4 掌握Kafka、Redis和ClickHouse等相關(guān)工具概念及應(yīng)用

5 掌握企業(yè)級大數(shù)據(jù)用戶畫像和推薦系統(tǒng)等項目開發(fā)

第四階段 Flink批流一體技術(shù) & 實時數(shù)據(jù)開發(fā)（19-20周）

Flink批流一體生態(tài)技術(shù)與實時數(shù)據(jù)開發(fā)是大數(shù)據(jù)當前流行和較為成熟的技術(shù)，應(yīng)用場景增多，企業(yè)要求不斷提高。

本階段內(nèi)容契合市場需求，覆蓋Flink、FlinkSQL、Canal、Maxwell、CDC、實時數(shù)據(jù)倉庫和基于阿里云的Flink等核心技能，同時也包含實時數(shù)據(jù)開發(fā)和實時數(shù)倉開發(fā)實戰(zhàn)。助力學(xué)員全面掌握大數(shù)據(jù)實時研發(fā)技術(shù)生態(tài)，直達企業(yè)級大數(shù)據(jù)全棧工程師。

專注大數(shù)據(jù)

實時研發(fā)技術(shù)Flink及生態(tài)

加強SQL

解決企業(yè)級實時需求

大廠顧問

聯(lián)合共研，直擊企業(yè)所需

100+企業(yè)級

高頻實時技術(shù)問題

實用技術(shù)（部分）

Flink批流技術(shù)、Canal、maxwell、FlinkSQL編程、基于阿里云大數(shù)據(jù)實時項目、實時數(shù)據(jù)倉庫項目、高頻面試題、簡歷制作

學(xué)完收獲

1 掌握Flink批流一體實用技術(shù)概念與實踐

2 掌握實時數(shù)據(jù)采集工具Canal和Maxwell原理與應(yīng)用

3 掌握Flink SQL數(shù)據(jù)類型、連接器、函數(shù)、CDC與Hive整合等

4 掌握基于原生和商業(yè)Flink的實時數(shù)據(jù)開發(fā)

一鍵查看詳細課程大綱

課程全新升級重構(gòu)業(yè)務(wù)知識體系

覆蓋場景
更廣全

企業(yè)級項目與自研項目結(jié)合

1:1還原大廠實際業(yè)務(wù)場景，數(shù)據(jù)倉庫類項目為主，數(shù)據(jù)開發(fā)類項目為輔，自研企業(yè)項目，錘煉企業(yè)開發(fā)實戰(zhàn)能力。

自研企業(yè)級數(shù)據(jù)倉庫項目

企業(yè)級推薦系統(tǒng)

數(shù)據(jù)分析與可視化項目

實時數(shù)據(jù)倉庫項目

用戶畫像工程實踐

符合
主流趨勢

與一線大廠共研主流技術(shù)

企業(yè)主流應(yīng)用技術(shù)體系，開源與商業(yè)環(huán)境共用，理論輔助實踐，強化場景應(yīng)用與優(yōu)化。

Hadoop、Spark和Flink生態(tài)及優(yōu)化

Hive、SparkSQL、Kettle和數(shù)據(jù)倉庫方法論

FineBI和Superset數(shù)據(jù)分析與可視化體系

DolphinScheduler企業(yè)級任務(wù)調(diào)度

兼具
深度廣度

大數(shù)據(jù)技術(shù)生態(tài)源碼深入

直擊Hadoop、Spark和Flink等生態(tài)技術(shù)源碼，深入剖析運行原理和性能調(diào)優(yōu)。

HDFS存儲、Checkpoint和MapReduce執(zhí)行流程源碼

Hive運行源碼、DataX任務(wù)切分源碼

Spark提交和SQL執(zhí)行流程源碼

沉浸式
實戰(zhàn)

企業(yè)級項目與自研項目結(jié)合

企業(yè)級大數(shù)據(jù)云服務(wù)與環(huán)境實踐，云主機、云數(shù)據(jù)庫、大數(shù)據(jù)云服務(wù)與部署等，直擊企業(yè)所需。

ECS云主機

云數(shù)據(jù)庫實踐

云上大數(shù)據(jù)服務(wù)

了解升級課程

引進大廠項目在實戰(zhàn)中夯實大數(shù)據(jù)技能

專注大數(shù)據(jù)中、高階工程師技能

多學(xué)科協(xié)作

覆蓋前端、中臺、后臺全流程，精進高難度大型項目實戰(zhàn)能力

跨平臺實施

項目交叉融合PC端、移動端、智能端，各平臺功能實現(xiàn)

真場景實操

還原企業(yè)真實開發(fā)場景，學(xué)實用實用技術(shù)

全流程參與

項目交叉融合PC端、移動端、智能端，各平臺功能實現(xiàn)

高標準驗收

覆超高驗收標準，確保項目無BUG，流暢運行

數(shù)據(jù)
倉庫

團隊
協(xié)作能力

核心
競爭力

落地
實踐

溝通
表達能力

多場景
實戰(zhàn)

職場
賦能

企業(yè)業(yè)務(wù)
解決方案

理論
+實踐

源碼
深入

數(shù)據(jù)
開發(fā)

電商數(shù)據(jù)分析與可視化

電商離線數(shù)據(jù)倉庫

基于ODPS離線數(shù)據(jù)倉庫

云學(xué)習(xí)平臺用戶畫像（三選一）

電商平臺自研項目（三選一）

問答大數(shù)據(jù)平臺

企業(yè)級工程推薦系統(tǒng)

電商數(shù)據(jù)分析與可視化

數(shù)據(jù)BI與可視化項目是大數(shù)據(jù)典型的應(yīng)用之一，也是大數(shù)據(jù)中非常重要的項目，本項目主要使用：Kettle、MySQL和FineBI等相關(guān)技術(shù)構(gòu)建，對數(shù)據(jù)倉庫已經(jīng)加工好的數(shù)據(jù)進行報表展示、趨勢研判和數(shù)據(jù)大屏展示等，為企業(yè)高層決策提供支持。

技術(shù)架構(gòu)

Kettle+MySQL+FineBI+FineReport

項目職責(zé)

1.商數(shù)據(jù)報表和看板需求分析
2.電商數(shù)據(jù)庫連接，使用Kettle進行數(shù)據(jù)ETL加工處理
3.對用戶和訂單等主題域的數(shù)據(jù)進行報表和看板制作
4. 全國地圖圖表數(shù)據(jù)加工和數(shù)據(jù)綁定
5.電商的復(fù)購分析、RFM和留存等常見模型分析開發(fā)
6.可視化看板域報表的權(quán)限配置、分享和發(fā)布

電商離線數(shù)據(jù)倉庫

離線數(shù)據(jù)倉庫是大數(shù)據(jù)中的一個基礎(chǔ)性項目，幾乎有數(shù)據(jù)的企業(yè)都需要的一個項目。離線數(shù)倉有很多實現(xiàn)方式，項目主要基于：DataX、Hadoop、Flume、Hive、Spark、DolphinScheudler、Python、Shell等技術(shù)搭建。整個項目包括商城數(shù)據(jù)同步、數(shù)倉分層、數(shù)據(jù)清洗、數(shù)據(jù)ETL和數(shù)據(jù)可視化應(yīng)用等。

技術(shù)架構(gòu)

MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset等

項目職責(zé)

1.基于電商的業(yè)務(wù)數(shù)據(jù)需求分析和指標體系建立
2.原始數(shù)據(jù)(業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù))探索
3.用戶、商品、訂單、訂單詳情、訂單支付、收獲地址、供應(yīng)商、時間維度、地區(qū)維度等相關(guān)業(yè)務(wù)數(shù)據(jù)全量和增量同步
4.業(yè)務(wù)數(shù)據(jù)同步任務(wù)開發(fā)、上線、測試及數(shù)據(jù)同步問題的數(shù)據(jù)補跑
5.用戶瀏覽、點擊、交互、啟動、安裝、滑動、輸入和搜索等相關(guān)行為數(shù)據(jù)采集和任務(wù)上線運行
6.廣告投放外部數(shù)據(jù)采集和任務(wù)上線運行
7.用戶、訂單、交易、營銷等主題的DWD、DWS和ADS層開發(fā)
8.維度層數(shù)據(jù)加工與開發(fā)處理
9.ADS層數(shù)據(jù)導(dǎo)出到MySQL，配置相關(guān)任務(wù)，上線運行
10.使用Superset BI可視化工具實現(xiàn)各個主題報表配置、看板配置與看板發(fā)布

基于ODPS離線數(shù)據(jù)倉庫

當前，一站式商業(yè)大數(shù)據(jù)服務(wù)繁多，ODPS采用抽象的作業(yè)處理框架將不同場景的各種計算任務(wù)統(tǒng)一在同一個平臺之上，共享安全、存儲、數(shù)據(jù)管理和資源調(diào)度，將不同用戶需求的各種數(shù)據(jù)處理任務(wù)提供統(tǒng)一的編程接口和界面。基于ODPS的電商大數(shù)據(jù)是將電商相關(guān)用戶、訂單、交易、營銷、商品、店鋪和活動等業(yè)務(wù)數(shù)據(jù)和用戶行為數(shù)據(jù)進行集成、轉(zhuǎn)換和分析等處理，最終使用QuickBI進行BI報表展示和挖掘其它價值，輔助運營，實現(xiàn)商城健康發(fā)展。

技術(shù)架構(gòu)

ECS、RDS、DataHub、MaxCompute、DataWorks、QuickBI

項目職責(zé)

1 部署一站式ODPS大數(shù)據(jù)環(huán)境
2 探索商城多種C端、B端和物流端等業(yè)務(wù)與數(shù)據(jù)，梳理相關(guān)業(yè)務(wù)指標體系
3 ODS層建立對應(yīng)模型，應(yīng)用ODPS的數(shù)據(jù)集成模塊，將業(yè)務(wù)數(shù)據(jù)同步至ODS層
4 DWD和DIM層數(shù)據(jù)建模，將ODS層數(shù)據(jù)加工處理到DWD和DIM層
5 構(gòu)建DWS層用戶行為、商品、購物車和訂單等寬表模型，并將DWD層數(shù)據(jù)加工到對應(yīng)的寬表
6 ADS面向應(yīng)用構(gòu)建需求模型，將DWS層的數(shù)據(jù)再次加工到ADS層各個表中
7 使用QuickBI制作數(shù)據(jù)報表與可視化看板操作
8 數(shù)據(jù)質(zhì)量監(jiān)控開發(fā)和數(shù)據(jù)權(quán)限控制設(shè)置

云學(xué)習(xí)平臺用戶畫像（三選一）

學(xué)習(xí)平臺用戶畫像是基于學(xué)習(xí)平臺數(shù)據(jù)倉庫之上的項目，即需要先搭建學(xué)習(xí)平臺的數(shù)據(jù)倉庫，然后基于數(shù)據(jù)倉庫，再擴展用戶、課程等畫像標簽體系。本項目使用 Hadoop、Hive、Spark、DolphinScheudler、Hue 等技術(shù)構(gòu)建，主要解決畫像標簽計算，實現(xiàn)標簽設(shè)計、人群定位和用戶精細化運營等。

技術(shù)架構(gòu)

Hadoop、Hive、Spark、DolphinScheudler、Hue、Shell

項目職責(zé)

1 用戶和課程標簽體系建設(shè)
2 ID-Mapping打通
3 用戶基礎(chǔ)標簽與聚合標簽?zāi)Ｐ蜆?gòu)建與加工
4 物品基礎(chǔ)標簽與聚合標簽的模型構(gòu)建與加工等
5 畫像標簽落盤與維護
6 畫像標簽的應(yīng)用與服務(wù)

電商平臺自研項目（三選一）

隨著互聯(lián)網(wǎng)發(fā)展，電商累積了訂單、用戶、流量等各類數(shù)據(jù)，但數(shù)據(jù)分散在各個業(yè)務(wù)系統(tǒng)中，隨著業(yè)務(wù)發(fā)展，新主題模型不斷產(chǎn)生，數(shù)據(jù)量不斷增加，如何管理各類主題模型以及海量數(shù)據(jù)，需要對數(shù)據(jù)倉庫進行科學(xué)架構(gòu)。另外，數(shù)據(jù)倉庫是數(shù)據(jù)挖掘技術(shù)的關(guān)鍵和基礎(chǔ)，良好的數(shù)倉結(jié)構(gòu)能夠幫助用戶快速理解現(xiàn)有數(shù)據(jù)能力，并且在當前信息基礎(chǔ)上，對未來企業(yè)狀況做出預(yù)測。

技術(shù)架構(gòu)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、Superset、Hue、DolphinScheduler 或采用阿里云大數(shù)據(jù)服務(wù)

項目職責(zé)

1 電商業(yè)務(wù)需求討論與評審
2 業(yè)務(wù)評審、架構(gòu)評審和技術(shù)評審
3 電商相關(guān)指標體系，用戶、訂單、交易和商品等主題劃分
4 相關(guān)類別、地域和品牌等維度層數(shù)據(jù)加工，數(shù)據(jù)倉庫各層模型構(gòu)建
5 電商業(yè)務(wù)數(shù)據(jù)同步和指標計算的任務(wù)排期、任務(wù)測試與上線部署
6 使用BI工具進行主題數(shù)據(jù)報表和看板制作與發(fā)布
7 企業(yè)級大屏數(shù)據(jù)抽取、加工、推送、露出全流程數(shù)據(jù)加工流轉(zhuǎn)方式

問答大數(shù)據(jù)平臺

問答系統(tǒng)近些年發(fā)展迅猛，尤其最近ChatGPT類及似產(chǎn)品流行，這將會積累海量問、答和互動數(shù)據(jù)，需要運用大數(shù)據(jù)技術(shù)進行數(shù)據(jù)加工、處理和分析，從而回饋用戶更佳的答案，保持問和答等核心模塊健康良好發(fā)展。

技術(shù)架構(gòu)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、SuperSet、Hue、DolphinScheduler 等

項目職責(zé)

1 問答系統(tǒng)業(yè)務(wù)需求討論與評審
2 問答系統(tǒng)數(shù)據(jù)倉庫架構(gòu)構(gòu)建
3 問答系統(tǒng)相關(guān)指標體系，用戶、問答和互動等主題劃分及各層模型建設(shè)
4 業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)的同步與采集
5 用戶、問答、互動和行為相關(guān)指標的計算
6 使用可視化工具對相關(guān)指標和數(shù)據(jù)進行展示
7 相關(guān)任務(wù)調(diào)度與上線配置

企業(yè)級工程推薦系統(tǒng)

推薦系統(tǒng)企業(yè)工程實戰(zhàn)項目作為大數(shù)據(jù)基礎(chǔ)應(yīng)用的延伸，構(gòu)建于用戶畫像項目之上，旨在讓學(xué)員學(xué)習(xí)企業(yè)級推薦系統(tǒng)構(gòu)建的基本思路，深入講解推薦系統(tǒng)中的兩個最重要的環(huán)節(jié)召回和排序，各環(huán)節(jié)基于Spark-Mllib引入相關(guān)算法，比如召回層ItemCF,ALS兩路召回算法，融合排序?qū)右隚BDT+LR，在理解算法的同時更偏重工程實戰(zhàn)，我們會從原始數(shù)據(jù)的特征抽取，轉(zhuǎn)換，算法模型設(shè)計到編程實現(xiàn)做深入的講解，同時也會對算法模型的跨平臺部署方案做實際的案例，讓學(xué)員學(xué)習(xí)到算法模型是如何在實際工程中部署運用的。

技術(shù)架構(gòu)

本項目工程組件： Spark MLlib + SpringBoot + Redis +HBase+ Milvus
本項目涉及算法: Word2Vec + ItemCF+ALS+GBDT+LR+BloomFilter
監(jiān)控架構(gòu)依然采用：Prometheus + Grafana + IM
本項目的組件監(jiān)控：推薦API+HBase[Metric]+Prometheus + Grafana +Supervisor+ IM

項目職責(zé)

1 項目協(xié)同過濾模型
2 基于ItemCF模型的召回，將召回的特征數(shù)據(jù)桶方式存儲HBase中
3 基于ALS模型的召回，將召回的特征數(shù)據(jù)以HBase的桶方式裝載到HBase中
4 物品的基礎(chǔ)特征向量加工和存儲HBase
5 用戶基礎(chǔ)特征向量加工處理與存儲HBase
6 物品和用戶嵌入向量的加工處理與存儲HBase
7 推薦系統(tǒng)排序階段解析，LR和GBDT模型構(gòu)建、訓(xùn)練和測試
8 PMML跨平臺構(gòu)建，Jpmml-SparkML的源碼研發(fā)，實現(xiàn)自定義Transformer，PMML模型文件保存
9 多路召回模型特征向量進行Union，并存儲HBase中
10 PMML模型文件加載，應(yīng)用線上數(shù)據(jù)，對外開發(fā)推薦服務(wù)API
11 基于Promethuse和Grafana架構(gòu)的推薦API服務(wù)監(jiān)控

查看更多項目

導(dǎo)師一點勝庸師百言

千鋒好程序員師資篩選自干鋒百人教研團隊及
互聯(lián)網(wǎng)一線大廠實用技術(shù)人才，5維嚴選錄取率僅1%

免費學(xué)習(xí)大數(shù)據(jù)視頻課程

立即學(xué)習(xí)