Ask HN:我们的数据仓库设置是正常的还是过于复杂了?
一位开发者被拉入一个将现有客户报表迁移到数据仓库的新项目,却发现整个流程异常复杂:数据从生产MySQL经DMS到第二MySQL,再通过Glue任务进入S3数据湖,经过多次"规范化"转换后进入第二个数据湖,最终存入Redshift并用QuickSight生成报表。更麻烦的是,内部人员需要单独申请QuickSight账号,产品中嵌入报表还需经过Lambda生成URL、iframe嵌入等繁琐步骤,且最终样式与网站不匹配。作者质疑这套流程是否正常,是否公司投入数据仓库后的常见做法。