HNに質問：私たちのデータウェアハウス構成は正常ですか、それとも複雑すぎますか？

プロダクト内の顧客向けレポートをデータウェアハウス経由に移行する作業に関わり、その複雑なデータパイプラインに疑問を感じたエンジニアからの投稿。MySQL→DMS→Glue→S3データレイク→変換処理→第2データレイク→Redshift→QuickSightという多重ステップを経てレポートが生成され、プロダクトに埋め込む際もiframeとLambdaを介した複雑な仕組みが必要。さらにQuickSightアカウントの手動管理や、開発環境の構築困難、レポートの手動コピーによるプロモーションなど、多くの非効率が存在すると指摘している。