Yappli Tech Blog

株式会社ヤプリの開発メンバーによるブログです。最新の技術情報からチーム・働き方に関するテーマまで、日々の熱い想いを持って発信していきます。

データエンジニアリング

BigQuery上にあるUDFをdbt macroで管理するようにした話

この記事は dbt Advent Calendar 4日目&Yappli Advent Calendar 4日目の記事です。 こんにちは! データサイエンス室の山本(@__Y4M4MOTO__)です。 ヤプリではdbtを用いて分析用データ基盤を構築しています。過去の記事で、UDFはdbtで管理せずBigQuery上に…

「全社横断データ活用推進のコツとその負債とのつき合い方」という題で登壇しました #Yappli Tech Conference 2024

はじめに こんにちは。プロダクト開発本部・データサイエンス室の阿部昌利(@abe_masatoshi)です。 Yappli Tech Conference 2024 にて「全社横断データ活用推進のコツとその負債とのつき合い方」というテーマで登壇しました。今回はそのアーカイブ動画とスラ…

dbt-osmosisを導入してdbt docsのdescriptionの拡充率を30%→80%まで上げた話

こんにちは! データサイエンス室の山本(@__Y4M4MOTO__)です。 ヤプリではdbtを用いてデータ基盤を運用しており、dbt docsをデータカタログとして使用しています。 dbt docs整備の話はこちらの資料にて公開しているので、そちらをご覧いただけましたら幸い…

dbt Core で GCP の出力先プロジェクトと課金プロジェクトを分ける

こんにちは!データサイエンスグループの山本です( @__Y4M4MOTO__ )です。 BigQuery に対して dbt Core を利用している場合、 profiles.yml の project: ( target variables の target.project )に設定した GC プロジェクトが dbt run した際のdbtモデル…

dbt 基盤の開発フローを改善した話

こんにちは!データサイエンスグループの山本( @__Y4M4MOTO__ )です。 さて、ヤプリのデータサイエンスグループ(以下、DSグループ)では2023年から分析用データ基盤の dbt 移行に取り組んでいます。 dbt 移行に至った経緯などについては昨年開催された Ya…

Yappli Analytics のデータマートを dbt へ切り替えた話

こんにちは!データサイエンスグループの山本です( @__Y4M4MOTO__ )です。今年の4月で入社して1年が経ちました。あっという間ですね…。 さて、ヤプリのデータサイエンスグループ(以下、DSグループ)では2023年から分析用データ基盤の dbt 移行に取り組ん…

Looker Studioでのマルチテナントなダッシュボード構築

このブログでわかること Looker Studio でユーザーごとにデータを出し分ける方法、および実サービスへの適用例 はじめに こんにちは、ヤプリのデータサイエンティストの阿部です。今年からデータサイエンスグループが誕生して、私を含めてメンバー4名となり…

ヤプリのデータエンジニアリングのインターンに参加してきました!

はじめに はじめまして!2023年9月に1ヶ月間ヤプリでインターンとして働かせていただきました、北海道大学情報科学院1年生の山田航生 (@koki-algebra) です!私は札幌市に住んでいるのでフルリモートでの業務でした。 大学では機械学習の理論に関する研究を…