工程师bi备快速计算题集与答案详解.docxVIP

第PAGE页共NUMPAGES页

工程师bi备快速计算题集与答案详解

一、数据建模与ETL计算题（共5题，每题6分）

1.数据抽取频率计算

某电商平台每日产生订单数据约100万条，其中约5%为异常订单。假设数据仓库ETL流程需在每小时处理一次全量数据，若需额外处理异常订单（需单独清洗），每小时需处理多少条数据？若清洗异常订单的平均耗时为正常订单的2倍，ETL总耗时将增加多少百分比？

2.分区表数据量估算

某业务表按月分区存储，2023年全年数据总量为1.2TB，其中80%为销售数据，20%为用户行为数据。若2024年销售数据预计增长15%，用户行为数据增长25%，采用按年分区的方案，2024年全年表大小预计为多少TB？

3.数据倾斜解决方案计算

在某数仓事实表中，用户ID字段存在数据倾斜，其中20%的用户ID占表总记录数的70%。若使用随机预分区（RandomSampling）进行数据分桶，每桶需分配多少条记录才能使倾斜字段的平均分布率提高至90%？

4.增量同步延迟计算

某业务库主表数据每分钟产生1000条更新，同步到数据仓库的延迟为30秒。若某时刻主表新增一批100条数据，数据仓库最终延迟多少秒才能完成这批数据的增量同步？

5.数据压缩率评估

某业务表包含以下字段：

-整数类型（INT）字段：10列，平均值1000

-浮点类型（DECIMAL）字段：5列，小数位2位

-字符串类型（VARCHAR）字段：8列，平均长度50

假设各类型字段原始数据压缩率分别为：INT30%，DECIMAL50%，VARCHAR70%，该表的理论压缩率是多少？

二、SQL性能优化计算题（共4题，每题7分）

1.索引覆盖优化计算

查询语句：`SELECTuser_id,order_dateFROMordersWHEREorder_dateBETWEEN2023-01-01AND2023-12-31ORDERBYorder_date`。若表中有2000万条数据，索引列为(order_date,user_id)。若不添加索引，全表扫描耗时200ms，添加索引后扫描耗时为5ms，执行计划预计提升多少百分比？若查询结果占表总数据量的1%，SQL执行效率提升多少倍？

2.哈希连接优化计算

语句：`SELECTa.user_id,b.addressFROMusersaJOINaddressesbONa.user_id=b.user_idWHEREa.status=active`。表a（500万行）和表b（100万行）的主键均已建立索引，但ON条件未使用索引。若表a的status字段选择性为60%，未优化时连接耗时300ms，使用临时表哈希连接（HashJoin）后耗时为80ms，优化效果是多少？

3.分区表查询加速计算

语句：`SELECTproduct_id,SUM(sales)FROMsales_dataWHEREregion=华东ANDdate_part(month,sale_date)=6GROUPBYproduct_id`。表按region和sale_date双重分区（100个region分区，12个月分区）。若未分区，全表聚合耗时500ms，分区后查询耗时为50ms，加速比是多少？

4.物化视图选择度计算

语句：`SELECTdepartment,AVG(salary)FROMemployeesGROUPBYdepartment`。表中有1000个部门，各部门数据量均等（1万条）。计算若使用AVG(salary)物化视图缓存结果（视图加载耗时50ms，查询耗时5ms），相比传统聚合计算节省多少时间？

三、数据仓库设计计算题（共5题，每题6分）

1.维度表粒度设计

某业务事实表记录销售明细，当前设计为宽表（每行一条销售记录）。若改为星型模型，事实表粒度改为商品-店铺-日期，假设每个组合平均产生3条销售记录。现有宽表数据1000万条，新设计事实表数据量是多少条？若新设计事实表查询商品-日期维度汇总需扫描300万行，宽表相同查询需扫描多少行？

2.增量加载吞吐量计算

某业务库每分钟产生2000条更新数据，数据仓库增量加载窗口为15分钟。若采用增量同步（全量+增量），同步工具单次调用最多处理1000条数据，需调用多少次？若同步延迟为1分钟，最终数据到达仓库的时间延迟是多少？

3.数据质量抽样检查

某业务表有1000万条数据，需进行数据质量校验。若校验规则包括：非空、格式、唯一性等3类，每类规则需检查10%数据。若采用分层抽样（按月分区），每月抽样比例5%，每月需抽多少条数据？若检查工具单次最多处理