Yappli Tech Blog

株式会社ヤプリの開発メンバーによるブログです。最新の技術情報からチーム・働き方に関するテーマまで、日々の熱い想いを持って発信していきます。

BigQuery

データサイエンティスト初心者🔰のインターン生がSQLを用いてアプリログから分析した話

はじめに はじめまして! 2023年12月の1ヶ月間、ヤプリのデータサイエンティストのインターンに参加しました、京都大学大学院1回生の鍋岡 (@nabeshinabe) です!私は京都に住んでいるため、インターンは基本リモートで参加していましたが、最後は実際に東京…

「次の10年を戦える分析用データ基盤構築の第一歩 - dbtによる基盤刷新とクエリ費用90%削減への取り組み -」という発表をしてきました! #Yappli Tech Conference 2023

こんにちは!プロダクト開発本部・データサイエンティストの山本(@__Y4M4MOTO__ )です。 先日開催された Yappli Tech Conference 2023 にて、 「次の10年を戦える分析用データ基盤構築の第一歩 - dbtによる基盤刷新とクエリ費用90%削減への取り組み -」と…

ヤプリのデータエンジニアリングのインターンに参加してきました!

はじめに はじめまして!2023年9月に1ヶ月間ヤプリでインターンとして働かせていただきました、北海道大学情報科学院1年生の山田航生 (@koki-algebra) です!私は札幌市に住んでいるのでフルリモートでの業務でした。 大学では機械学習の理論に関する研究を…

BigQuery内にある多重エンコードされたURLのデコード

こんにちは!データサイエンティストの山本です( @__Y4M4MOTO__ )です。 今回は、ヤプリのデータ基盤内にあるウェブビューURLのデコードに取り組んでみました。この記事では、その際につまづいたポイントやその解決策について記します。 ウェブビューURLの…

BigQueryのデータ転送のエラー原因特定で軽く躓いた話

こんにちは。サーバーサイドエンジニアの柴田です。 皆さんはBigQueryにCSVファイルをインポートしたくなったことはありますか? 私はあります。そしてエラーの原因特定ができず軽く躓いたことがあるので、簡単にですが備忘録的にその時の対処法を残しておこ…

Yappli Data Hubの顧客データ連携の仕組みについて話しました #Yappli Tech Conference 2022

爽やかなOGP 皆さんこんにちは。データサイエンティストの阿部です。 Yappli Tech Conference 2022にて、表題のテーマで登壇しましたので、発表した動画とスライドを紹介します。また、今回のテックカンファレンスには運営メンバーとしても関わったので、そ…

BigQueryでドットを含むJSON Path文字をエスケープする方法まとめ【Sexy Tech for You #13】

データサイエンティストの阿部です。今年は大河ドラマを毎週見ています。三谷幸喜の代表作として長く語り継がれるのではないかと思っています。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第13話を配信しました。Big…

BigQueryのQUALIFY句でユニーク性を担保する【Sexy Tech for You #12】

データサイエンティストの阿部です。妻に誘われて俳句を始めました。『プレバト!!』でお馴染みの夏井いつき先生が評価してくれるおウチde俳句クラブに加入して楽しんでます。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You"…

BigQueryで異なる粒度の集計をまとめて実施する【Sexy Tech for You #11】

データサイエンティストの阿部です。この1年間、毎週土曜日に8時間副業していました。結果、週休二日制のありがたみがわかりました。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第11話を配信しました。例えばDAUとMA…

BigQueryのJSONデータで、同一のJSONキー名がある場合に全ての値を取得する【Sexy Tech for You #10】

データサイエンティストの阿部です。今さらながら『劇場版 少女☆歌劇 レヴュースタァライト』を映画館で観たのですが衝撃的でした。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第10話を配信しました。僕は「とりあえ…

Lookerの目標値やストップワードを、Googleスプレッドシート連携でお手軽管理【Sexy Tech for You #9】

データサイエンティストの阿部です。本記事は Looker Advent Calendar 2021の12日目に捧げます。弊社は今年からLookerを契約し、自分にとって2021年はLooker元年でした。お世話になりました。 表題について、明日から使いたくなるデータハンドリング術を紹介…

BigQuery Youtuber 体験記

​​データサイエンティストの阿部です。本記事は BigQuery Advent Calendar 2021の7日目に捧げます。 今年はYoutubeを主戦場に、BigQueryの技術発信をしてみましたので、その振り返りです。動画を用いて技術発信したい方や、技術広報の方の参考になれば幸いで…

BigQueryの作業効率がアップする関数&構文3選【Sexy Tech for You #8】

データサイエンティストの阿部です。30㎡の貸し農園で野菜を育てていますが、まさに収穫の秋です。ブロッコリーやキャベツの、一株の大きさには驚きました。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第8話を配信し…

クエリ実行エラー予防に便利な関数3選【Sexy Tech for You #7】

データサイエンティストの阿部です。読書の秋ですね。今年読んだ教養書では『統計学を哲学する』、『サピエンスの未来』の2冊が印象深いです。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第7話を配信しました。魂を…

Googleスプレッドシートで定型クエリ運用【Sexy Tech for You #6】

データサイエンティストの阿部です。最近、職場でオッドタクシーが話題です。シルバーウィークに一気見したいと思います。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第6話を配信しました。データ活用推進に際して、…

Googleスプレッドシートでお手軽ダッシュボード運用【Sexy Tech for You #5】

データサイエンティストの阿部です。最近のマイブームは、COTEN RADIOです。高校で世界史を勉強したとき一緒に聞いてたら、何倍も身になっていたろうなと思えるコンテンツです。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for Y…

ログ発生パターンをSTRING_AGG関数で集計【Sexy Tech for You #4】

データサイエンティストの阿部です。先日、会社の仲間たちとAmong Usをプレイして盛り上がりました。ある種の極限状況をロールプレイできるのが面白かったです。リモートワークにおける懇親コンテンツとして便利そうだと感じました。 さて、明日から使いたく…

BigQueryのCROSS JOINとwindow関数で移動統計量算出【Sexy Tech for You #3】

データサイエンティストの阿部です。東京五輪開会式の選手入場を何度か見返してしまいました。冒頭とカザフスタン入場のシーンは胸が高鳴りました。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第3話を配信しました。…

BigQueryで確率乱数を生成【Sexy Tech for You #2】

データサイエンティストの阿部です。最近来てくれたインターン生と10歳違いなことに驚きました。光陰矢の如し! さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第2話を配信しました。動画中に記載したクエリや補足事項を…

Googleスプレッドシートの表をBigQueryに連携して縦持ちテーブルに動的変換【Sexy Tech for You #1】

データサイエンティストの阿部です。今後不定期に、データ分析のためのデータハンドリングTipsを、Youtubeで発信します。各回3分でBigQueryに関する話題が中心です。"Sexy Tech for You" と題して、思わず使いたくなるような魅力的なTipsを紹介していきたい…