精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

老板又讓我負責數倉 DWS 層建設了...

大數據 數據倉庫
DWS(Data Warehouse Service)層是數據倉庫的服務數據層,位于DWD層之上,ADS層之下。它主要承擔了將明細數據進行主題聚合的職責,是數據倉庫中承上啟下的關鍵環節。

又來活了,今天開始DWS層的建設。DWS(Data Warehouse Service)層是數據倉庫中的服務數據層,它基于DWD層的明細數據,按照業務主題對數據進行輕度匯總,形成主題寬表,主要包含了1d(最近1日)、nd(最近n日)、td(歷史至今)等時間維度的指標,是數據倉庫中承上啟下的關鍵環節,既保證了數據的可復用性,又為上層應用提供了標準化的數據服務。

今天以我們項目中的實際案例為例進行DWS層建設思路介紹。數倉代碼可訪問:

  • github:https://github.com/Mrkuhuo/data-warehouse-learning
  • gitee:https://gitee.com/wzylzjtn/data-warehouse-learning

一、DWS層定位與價值

1. DWS角色定位

DWS(Data Warehouse Service)層是數據倉庫的服務數據層,位于DWD層之上,ADS層之下。它主要承擔了將明細數據進行主題聚合的職責,是數據倉庫中承上啟下的關鍵環節。

2. 業務價值

業務價值:

  • 降低計算成本:預計算常用指標,避免重復計算
  • 統一指標口徑:確保全公司指標計算規則統一
  • 提升分析效率:提供主題化的寬表,方便業務分析
  • 支持多維分析:保留完整維度,支持靈活查詢

二、DWS層設計思路

1. 主題劃分

主題是DWS層最重要的設計要素,需要從以下幾個方面考慮:

(1) 業務維度劃分:

  • 交易域:訂單、支付、退款等
  • 用戶域:注冊、登錄、畫像等
  • 流量域:訪問、瀏覽、跳轉等
  • 商品域:商品、類目、品牌等

(2) 分析維度考慮

  • 時間維度:日、周、月、年
  • 地理維度:省份、城市、區域
  • 用戶維度:設備、渠道、等級
  • 業務維度:品類、品牌、店鋪

2. 粒度設計

(1) 基礎粒度

  • 用戶粒度:用戶行為分析
  • 商品粒度:商品銷售分析
  • 店鋪粒度:店鋪運營分析
  • 訂單粒度:交易過程分析

(2) 時間粒度

  • 1d:最近1日匯總,日常監控
  • nd:最近n日匯總,趨勢分析
  • td:歷史至今匯總,累計分析

3. 指標體系

(1) 指標類型

  • 統計指標:數量、金額等
  • 比率指標:占比、轉化率等
  • 環比指標:增長率、變化率等
  • 復合指標:加權分數、綜合評分等

(2) 計算方式

  • 累計值:SUM、COUNT等
  • 去重值:COUNT DISTINCT等
  • 最新值:MAX、LAST_VALUE等
  • 平均值:AVG、MEDIAN等

三、實戰案例:交易行為分析

1. 業務場景

分析用戶購物行為,包括:

  • 商品購買情況
  • 用戶消費習慣
  • 品類偏好分析
  • 支付方式分析

2. 表設計方案

-- 用戶商品交易行為匯總表(最近N日)
CREATE TABLE dws.dws_trade_user_sku_order_nd (
    user_id         STRING COMMENT '用戶ID',
    sku_id          STRING COMMENT '商品ID',
    k1              DATE COMMENT '數據日期',


    -- 商品維度冗余
    sku_name        STRING COMMENT '商品名稱',
    category1_id    STRING COMMENT '一級品類ID',
    category1_name  STRING COMMENT '一級品類名稱',
    tm_id           STRING COMMENT '品牌ID',
    tm_name         STRING COMMENT '品牌名稱',


    -- 7日匯總指標
    order_count_7d  BIGINT COMMENT '7日下單次數',
    order_num_7d    BIGINT COMMENT '7日購買件數',
    order_amount_7d DECIMAL(16,2) COMMENT '7日下單金額',


    -- 30日匯總指標
    order_count_30d BIGINT COMMENT '30日下單次數',
    order_num_30d   BIGINT COMMENT '30日購買件數',
    order_amount_30d DECIMAL(16,2) COMMENT '30日下單金額'
) COMMENT '交易域用戶商品粒度訂單最近N日匯總表'
PARTITION BY k1;

3. 實現方案

(1) 維度關聯

-- 1. 關聯商品維度信息
SELECT 
    od.user_id, od.sku_id, od.k1,


    -- 2. 冗余維度屬性
    COALESCE(sku.sku_name, '未知商品') as sku_name,
    COALESCE(sku.category1_id, '-1') as category1_id,
    COALESCE(sku.category1_name, '未知品類') as category1_name,
    COALESCE(sku.tm_id, '-1') as tm_id,
    COALESCE(sku.tm_name, '未知品牌') as tm_name,


    -- 3. 統計指標
    od.order_count_1d,
    od.order_num_1d,
    od.order_amount_1d
FROM order_detail od
LEFT JOIN dim.dim_sku_full sku
    ON od.sku_id = sku.id
    AND sku.k1 = (
        SELECT MAX(k1) 
        FROM dim.dim_sku_full 
        WHERE k1 <= DATE('${pdate}')
    );

(2) 指標計算

-- 1. 計算匯總指標
SELECT
    user_id, sku_id, k1,
    sku_name, category1_id, category1_name,
    tm_id, tm_name,


    -- 2. 計算7日累計
    SUM(IF(k1 >= DATE_ADD(DATE('${pdate}'), -6),
           order_count_1d, 0)) AS order_count_7d,
    SUM(IF(k1 >= DATE_ADD(DATE('${pdate}'), -6),
           order_num_1d, 0)) AS order_num_7d,
    SUM(IF(k1 >= DATE_ADD(DATE('${pdate}'), -6),
           order_amount_1d, 0)) AS order_amount_7d,


    -- 3. 計算30日累計
    SUM(order_count_1d) AS order_count_30d,
    SUM(order_num_1d) AS order_num_30d,
    SUM(order_amount_1d) AS order_amount_30d
FROM dws.dws_trade_user_sku_order_1d
WHERE k1 >= DATE_ADD(DATE('${pdate}'), -29)
GROUP BY 
    user_id, sku_id, k1,
    sku_name, category1_id, category1_name,
    tm_id, tm_name;

通過以上案例分析,我們可以看到DWS層在實際業務中的應用方式和實現細節。這些設計方案和實現方法可以作為參考,在實際項目中根據具體需求進行調整和優化。

責任編輯:趙寧寧 來源: 大數據技能圈
相關推薦

2025-04-08 11:30:00

DIM數據倉庫架構

2022-08-22 17:46:56

虛擬數倉Impala

2022-12-08 10:16:58

數據模型

2018-12-20 09:52:05

JVM內存分配

2022-08-16 14:17:50

數據倉庫數據治理數據職場

2025-04-14 08:15:00

2021-06-11 07:26:16

數據倉庫機器學習

2022-08-19 09:12:19

數據庫開發

2024-11-21 16:46:12

2025-09-08 09:39:25

2023-06-28 16:10:09

Dataleap數倉建設

2021-09-09 18:12:22

內存分段式網絡

2020-03-03 07:59:29

設計秒殺系統

2010-08-06 17:09:14

加薪

2021-01-31 23:54:23

數倉模型

2019-09-18 09:41:25

億級流量網站

2010-07-07 16:21:40

重用

2011-04-27 10:07:40

灌裝墨盒用戶體驗
點贊
收藏

51CTO技術棧公眾號

久久精品影视| jizz内谢中国亚洲jizz| 国产成人精品一区二区三区四区| 久久成人精品一区二区三区| 91pony九色| 丁香高清在线观看完整电影视频| 97久久精品人人爽人人爽蜜臀| 国产97在线视频| 亚洲 欧美 变态 另类 综合| av毛片精品| 在线欧美日韩国产| 欧美美女黄色网| 一区二区免费在线视频| 无码国产69精品久久久久同性| 成人午夜sm精品久久久久久久| 亚洲同性gay激情无套| 国产一区二区三区av在线 | 中文字幕日韩一区二区| 97久久人人超碰caoprom欧美| 日韩欧美123区| 精品成人自拍视频| 欧美日韩电影一区| 国产91porn| 欧美在线一卡| 久久99精品网久久| 26uuu亚洲伊人春色| 最新黄色av网址| 九九视频精品全部免费播放| 欧美一卡二卡三卡四卡| 妓院一钑片免看黄大片| 久久www人成免费看片中文| 国产欧美精品在线观看| 国产精品一区二区不卡视频| 在线观看国产精品入口男同| 一区二区日本视频| 欧美激情国产精品| 国产又黄又粗又猛又爽的| 丝袜美腿综合| 欧美不卡一区二区三区四区| 五月婷婷之婷婷| 欧美激情喷水| 大桥未久av一区二区三区| 国产一区二区三区播放| 在线观看av的网站| 国产欧美日韩综合精品一区二区| 精品欧美一区二区久久久伦| 亚洲精品成人区在线观看| 麻豆成人91精品二区三区| 国产精品草莓在线免费观看| 欧美 日韩 精品| 国产欧美成人| 欧美又大又粗又长| 午夜毛片在线观看| 国产精品chinese| 欧美成人精品在线| 亚洲欧美一区二区三区四区五区| 91欧美国产| 日韩亚洲精品视频| 殴美一级黄色片| 99九九热只有国产精品| 中文字幕欧美日韩在线| 久久精品成人av| 蜜臀91精品国产高清在线观看| 精品视频在线导航| 伊人网伊人影院| 亚洲人成网亚洲欧洲无码| 日韩精品免费观看| 青青草视频成人| 女人av一区| 亚洲视频网站在线观看| 国产又粗又长免费视频| 色喇叭免费久久综合网| 精品国产网站地址| 久久久久久久久艹| av成人毛片| 日本欧美黄网站| 11024精品一区二区三区日韩| 久久精品999| 97中文在线观看| 日本韩国免费观看| 久久久不卡影院| 亚洲一区在线直播| 日韩经典av| 欧美性少妇18aaaa视频| 精品久久久噜噜噜噜久久图片| 欧洲精品久久久久毛片完整版| 91精品国产入口| 69xxx免费视频| 亚洲精品国产动漫| www.久久久久| 在线看成人av| 日本午夜精品视频在线观看| 国产日韩av在线播放| 精品国产亚洲一区二区麻豆| 99re免费视频精品全部| 一区二区免费在线观看| 丰满大乳少妇在线观看网站| 色国产精品一区在线观看| 超碰在线资源站| 另类图片第一页| 日韩视频在线一区| 国产微拍精品一区| 国产一区二区美女诱惑| 欧美一区亚洲二区| 日韩影视在线| 欧美日韩亚洲高清一区二区| 香蕉在线观看视频| 欧美精品一区二区三区中文字幕| 久久视频在线播放| 极品国产91在线网站| 国产麻豆一精品一av一免费| 欧美下载看逼逼| 新版中文在线官网| 欧美四级电影在线观看| 国产大尺度视频| 婷婷亚洲图片| 日本午夜精品理论片a级appf发布| www.97超碰| 欧美国产精品劲爆| 欧美 日韩 激情| 免费欧美网站| 日韩视频永久免费观看| 日韩在线播放中文字幕| 高清久久久久久| 伊人久久大香线蕉午夜av| 国产伦精品一区二区三区视频金莲| 欧美一区二区三区免费| 少妇愉情理伦三级| 老鸭窝亚洲一区二区三区| 成人看片在线| av网址在线看| 欧美日韩国产精品成人| 人妻少妇无码精品视频区| 亚洲日本成人| 成人自拍网站| 在线观看三级视频| 欧美精品丝袜中出| www亚洲色图| 久久九九免费| 久久久久资源| 久草在线中文最新视频| 亚洲国产精品人人爽夜夜爽| 欧美日韩国产精品综合| 久久99国产精品尤物| 亚洲乱码国产乱码精品天美传媒| 欧美成人影院| 亚洲人成在线观看| 无码人妻一区二区三区免费| 久久网这里都是精品| www.中文字幕在线| 欧美影院天天5g天天爽| 亚州精品天堂中文字幕| 人妻少妇一区二区三区| 婷婷综合在线观看| yy1111111| 国产精品日韩| 欧美精品一区二区三区久久| 欧美三区四区| 中文字幕国产日韩| 国产精品熟女久久久久久| 亚洲视频中文字幕| 中文字幕成人免费视频| 国产精品99在线观看| 91美女福利视频高清| www视频在线免费观看| 日韩亚洲国产中文字幕欧美| 国产一级二级毛片| 97超碰欧美中文字幕| 日韩精品一区二区三区久久| 狠狠做六月爱婷婷综合aⅴ| 国产精品日韩电影| 久操视频在线免费播放| 欧美不卡一区二区三区四区| 久久久久久久久久免费视频| 久久―日本道色综合久久| 丰满少妇在线观看| 亚洲第一天堂| 精品不卡在线| 精品日本视频| 久久综合国产精品台湾中文娱乐网| 国产黄色美女视频| 精品美女永久免费视频| 日本成人免费视频| 国产综合色在线| 久久黄色片视频| 色综合天天综合网中文字幕| 99热最新在线| 成人免费短视频| 久久视频在线看| 天堂在线一二区| 在线亚洲高清视频| 日韩黄色免费观看| 久久奇米777| 交换做爰国语对白| 久久福利一区| 日本三级中文字幕在线观看| 免费看成人人体视频| 国产精品午夜视频| a级大胆欧美人体大胆666| 丝袜美腿精品国产二区| 免费av网站在线播放| 欧美亚洲自拍偷拍| 久久久久香蕉视频| 国产精品无码永久免费888| 亚洲熟妇一区二区| 蜜臀久久久久久久| 国产精品一线二线三线| 99久久久久国产精品| 久久久亚洲综合网站| 欧美专区视频| 国产精品久久一| 国产美女精品写真福利视频| 色先锋资源久久综合5566| 人妻少妇精品无码专区久久| 欧美精品丝袜久久久中文字幕| 特一级黄色大片| 有码一区二区三区| 久久精品日韩无码| 久久精品在线免费观看| 污污免费在线观看| 韩国精品免费视频| 国产精品igao| 国产一区二区高清| 99久久久精品视频| 偷拍欧美精品| 亚洲欧美成人一区| 国产亚洲欧美日韩在线观看一区二区| www.久久草| av国产精品| 国产精品久久久久国产a级| free性m.freesex欧美| 久久亚洲精品一区| 日本在线免费网| 在线性视频日韩欧美| 黄色电影免费在线看| 日韩激情av在线免费观看| 亚洲高清视频网站| 91精品国模一区二区三区| 中文字幕码精品视频网站| 日韩欧美一区二区三区久久| 欧美精品亚洲精品日韩精品| 亚洲国产视频a| 青娱乐国产盛宴| 一区二区三区欧美久久| caoporn91| 亚洲欧美日韩小说| 在线看的片片片免费| 国产欧美日韩一区二区三区在线观看| 91精品小视频| 精品少妇久久久| 一区二区三区在线观看欧美| 国产一区二区播放| 亚洲欧洲日产国码二区| 日韩一卡二卡在线观看| 成人欧美一区二区三区黑人麻豆| 天天色影综合网| 亚洲精品欧美综合四区| 真实国产乱子伦对白在线| 亚洲色图另类专区| 免费麻豆国产一区二区三区四区| 亚洲激情校园春色| 久久精品免费av| 亚洲高清不卡在线观看| 亚洲精品男人天堂| 91久久精品一区二区二区| 做爰无遮挡三级| 欧美日韩你懂得| www黄色网址| 精品粉嫩aⅴ一区二区三区四区| 黄色av中文字幕| 精品亚洲精品福利线在观看| 九一在线视频| 日韩一区二区久久久| 亚洲丝袜精品| 97超级碰在线看视频免费在线看| 成人免费直播| 成人免费看黄网站| 中文字幕av一区二区三区四区| 国产欧美日韩在线播放| 精品久久久久久久久久久aⅴ| 中文字幕久久一区| 亚洲激情成人| 免费看污污网站| 国产高清一区日本| 男女黄床上色视频| 综合欧美亚洲日本| 日韩午夜激情视频| 涩爱av在线播放一区二区| 中文字幕亚洲精品| gogo高清在线播放免费| 国产不卡一区二区在线播放| 国产精品亚洲欧美一级在线| 精品久久久三级| 日本一区二区三区视频| 欧美视频在线第一页| 日韩高清电影一区| 久久av一区二区三| 欧美国产激情一区二区三区蜜月| 午夜爱爱毛片xxxx视频免费看| 欧美日韩免费在线| 国产精品久久欧美久久一区| 亚洲激情视频网| 亚洲成人影院麻豆| 性色av一区二区三区| 欧美日韩va| 精品不卡在线| 午夜日韩福利| 亚洲第一中文av| 97精品国产露脸对白| 97在线观看免费高| 91黄色免费网站| 熟妇人妻系列aⅴ无码专区友真希| 日韩一区二区精品视频| 亚洲美女久久精品| 99久久免费国| 国产精品久久久久久| 日本精品一区二区三区四区| 国产成人欧美日韩在线电影| 五月婷婷六月香| 婷婷精品进入| 欧美最猛性xxxxx亚洲精品| 国产专区精品| 亚洲视频电影| 日韩制服丝袜av| 免费中文字幕av| 亚洲国产中文字幕在线视频综合 | 四虎影院观看视频在线观看| 国产精品18久久久久久麻辣| 精品国产18久久久久久洗澡| 蜜臀av性久久久久蜜臀av| 蜜桃在线一区二区三区| 日本二区在线观看| 欧美色xxxx| 99久久精品国产一区色| 这里只有精品丝袜| 欧美日韩亚洲国产| 欧美成人一区二区在线| 99这里有精品| 精品国产av色一区二区深夜久久 | 尤物99国产成人精品视频| 性爽视频在线| 精品网站在线看| 99这里有精品| 久久久久久久久久久国产精品| 五月天视频一区| 日批免费在线观看| 久久久久中文字幕2018| 高潮按摩久久久久久av免费| 欧美大黑帍在线播放| 国产激情视频一区二区在线观看 | 在线日本成人| 午夜免费福利影院| 欧美日韩国产影院| 飘雪影视在线观看免费观看 | 日韩视频在线直播| 国产一级大片免费看| 成人小视频免费在线观看| 日韩aaaaaa| 亚洲男女性事视频| 外国成人直播| 亚洲欧洲精品一区二区三区波多野1战4| 日本亚洲视频在线| 四虎影院中文字幕| 欧美tk—视频vk| 涩涩视频网站在线观看| 日本欧洲国产一区二区| 青青草一区二区三区| 亚洲 欧美 变态 另类 综合| 精品日韩欧美在线| 伊人久久国产| 亚洲一区二区免费视频软件合集| 国产一区二区看久久| 香蕉视频一区二区| 亚洲人成电影在线| 9999精品| 国产99久久九九精品无码| 国产亚洲欧美一级| 国产精品怡红院| 欧美亚洲成人xxx| 色综合天天综合网中文字幕| 国产高潮失禁喷水爽到抽搐| 91九色最新地址| 成人高清免费在线| 久久精品人人做人人爽电影| 日本不卡一区二区三区高清视频| 乱h高h女3p含苞待放| 亚洲精品久久久久久下一站 | 日韩毛片无码永久免费看| 777xxx欧美| 亚洲男人av| 超碰10000| 久久久久国产精品人| 99在线观看精品视频| 热门国产精品亚洲第一区在线| 91久久国产| 亚洲熟妇一区二区三区| 欧美一区二区三区电影| av激情成人网| 国产二区视频在线| 国产精品久久久久影院老司|