东电ETL流程整理
项目名称：财务公司产品
时间：2016/1/6
作者：佟佰健
1.需求分析
整理ETL流程 熟悉业务流程
2.ETL流程梳理 2.1 总体流程
开始 业务模块ods抽取 财务模块ods抽取 1若etl时间大于核心开机时间则不操作 2若etl时间小于等于核心开机时间则更新DW_OPENTIME_NOTES表中，供dw层和dm层进行增量插入数据 核心系统开机前后时间记录 执行sql脚本 用于清除时间记录表中的非最大时间 根据核心开关机时间进行日频度时间维表的更新 根据核心开关机时间进行月频度时间维表的更新
各模块DW层工作调度 DM层工作调度 视图更新 2.1.1 ODS模块
业务库中相关的业务模块所需表 业务库中财务模块所需表 加载到ODS层中 加载到ODS层中 2.1.2时间记录表更新
取ODSUSER.ODS_FS_SETT_OFFI中最大的核心开关机时间 核心开关机时间和etl时间进行比对 ≧ < 不操作 更新时间记录表 2.1.3 时间频度表更新
从时间记录表中取出最大开关机时间 传入存储过程 生成时间维度表 2.1.4 DW层数据抽取
财务和业务和资金相关表从ods层抽取 加载到dw层 2.1.5 维表更新
根据不同规则 从dw层抽取 数据 加载到dm层中 生成公共维 度表 基准利率 银行利率 客户信息 内部机构 汇率 授信类型 信用等级 投 资业务详细类型 2.1.6 dm层业务转换
企业存款基础集市 企业存款余额分析集市 企业存款发生额分析集市 信贷基础集市 调用东方水电 清除不符合 条件的数据 信贷余额分析集市 信贷发生额分析集市 发放贷款收益分析集市 贷款状态分析 贷款目标完成情况 投资同业基础集市 投资同业分析集市 结算分析基础集市 结算账户分析
银行账户基础集市 结算企业账户分析 结算分析集市 银行存款基础集市 银行存款余额分析集市 银行存款余额发生额分析集结售汇基础集市 结售汇分析集市 同业业务基础集市 同业业务分析集市 资金主体 利率敏感性分析 管理信贷监控分析 结算交易监控 资金变动分析 资金分析
授信基础表 授信总额情况表 评级定量指标表 授信指标表 3.1 DM业务部分转换
3.1.1 企业存款基础集市
3.1.2 企业分析集市（余额 发生额）
3.1.3 银行存款基础集市
3.1.4 银行余额分析集市
2.4 报表展示界面
2.4.1 报表
因篇幅问题不能全部显示，请点此查看更多更全内容