こんにちは！データサイエンス室（以下、DS室）の山本です（@__Y4M4MOTO__）です。
先日5/27(火)に開催された『DataOps Night #7』に表題のタイトルで登壇させていただきました！
この記事では登壇資料やその補足について記します。
登壇資料
（NotebookLMによる要約）
この資料では、データ基盤の全体像を把握し、他チームと連携して課題を解決したプロセスが紹介されています。特に、データ提供サービスの高額なクエリ費用を、dbtを用いた事前集計化によって大幅に削減した取り組みに焦点を当てています。また、コスト試算の方法、実行ジョブのタイミング調整、顧客影響を最小限に抑えるための段階的な導入についても詳しく説明されており、チーム横断での連携や基盤理解の重要性、そして技術的負債の解消に向けた今後の展望が語られています。
登壇内容への補足
登壇ではコスト面のインパクトに注目してお話ししましたが、運用面でも大きなインパクトがあります（というより、DS室としてはこちらがメイン）。
今回の取り組みによって、弊社の主なアナリティクスサービスである「CMSダッシュボード」「Yappli Analytics」「Yappli Data Hub」の3つ全てにdbtを導入できました。これにより、エンジニアの責務とDS室の責務が明確となり、お互いに身動きが取りやすくなりました。
詳細は次のスライドの21スライド〜29スライドにまとまっているので、お読みいただけましたら幸いです。
実際、登壇後すぐにクエリの修正が必要な場面に遭遇しました。以前なら、
- DS室でクエリ修正
- DS室からエンジニアへ修正版クエリの反映依頼
- エンジニアで修正版クエリの繋ぎこみ検証
- 週次リリースで本番反映
のような流れで対応完了まで1~2週間を要していました。
しかし、今回の取り組みによって、
- DS室でクエリ修正→dbt基盤へ反映
で済むようになり、ほぼ1日で対応完了まで持っていくことができました。早速、責務分離の恩恵を感じることができました。
結び
以上、DataOps Night #7に『他チームへ越境したら、生データ提供ソリューションのクエリ費用95%削減へ繋がった話』という題で登壇してきた話でした。
ここまでお読みいただきありがとうございました🙇
この記事を読んで弊社に興味を持っていただけた方は、ぜひカジュアル面談へお越しください！
