dbt
この記事は dbt Advent Calendar 4日目&Yappli Advent Calendar 4日目の記事です。 こんにちは! データサイエンス室の山本(@__Y4M4MOTO__)です。 ヤプリではdbtを用いて分析用データ基盤を構築しています。過去の記事で、UDFはdbtで管理せずBigQuery上に…
この記事は Yappli Advent Calendar 2024(1枚目) の初日の記事です。 明日以降もヤプリ社員が様々な記事を毎日投稿していきますので、ぜひお読みください! こんにちは!データサイエンス室(以下、DS室)の山本です(@__Y4M4MOTO__)です。 11/28(木)に開…
こんにちは!データサイエンス室(以下、DS室)の山本です(@__Y4M4MOTO__)です。 2024年9月13日に開催されたTROCCOのユーザー会「TROCCO UG」にて、「私のdbt布教用資料 〜TROCCOUG Ver.〜」というタイトルでお話ししてきました。 TROCCO UGはTROCCOを中心…
こんにちは! データサイエンス室の山本(@__Y4M4MOTO__)です。 ヤプリではdbtを用いてデータ基盤を運用しており、dbt docsをデータカタログとして使用しています。 dbt docs整備の話はこちらの資料にて公開しているので、そちらをご覧いただけましたら幸い…
こんにちは!データサイエンスグループの山本です( @__Y4M4MOTO__ )です。 BigQuery に対して dbt Core を利用している場合、 profiles.yml の project: ( target variables の target.project )に設定した GC プロジェクトが dbt run した際のdbtモデル…
こんにちは!データサイエンスグループの山本です( @__Y4M4MOTO__ )です。 先日、 TROCCO のユーザ会「 #TROCCOUG 」にて、「データカタログの最初の一歩 〜データ組織向けに dbt docs を整備している話〜」というタイトルで発表させていただきました。 こ…
こんにちは!データサイエンスグループの山本( @__Y4M4MOTO__ )です。 さて、ヤプリのデータサイエンスグループ(以下、DSグループ)では2023年から分析用データ基盤の dbt 移行に取り組んでいます。 dbt 移行に至った経緯などについては昨年開催された Ya…
こんにちは!データサイエンスグループの山本です( @__Y4M4MOTO__ )です。今年の4月で入社して1年が経ちました。あっという間ですね…。 さて、ヤプリのデータサイエンスグループ(以下、DSグループ)では2023年から分析用データ基盤の dbt 移行に取り組ん…
こんにちは!プロダクト開発本部・データサイエンティストの山本(@__Y4M4MOTO__ )です。 先日開催された Yappli Tech Conference 2023 にて、 「次の10年を戦える分析用データ基盤構築の第一歩 - dbtによる基盤刷新とクエリ費用90%削減への取り組み -」と…