OKIYUKI99 Blog

データ分析や日常に関するブログ

2019-08-01から1ヶ月間の記事一覧

WSDM 2019 : How A/B Tests Could Go Wrong : Automatic Diagnosis of Invalid Online Experiments を読んだ

dl.acm.org LinkedinでInvalidなA/B テスト検知するための方法論を紹介している論文を読みました A/Bテストにおけるメトリック解析の話から、丁寧にメトリックを分解し、検知ロジックを提案しています。LinkedinのA/B テストプラットフォームで実際に動いて…

KDD 2019 : Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners を読んだ

KDD2019な時期がきましたので、A/Bテスト系の論文あるかなと探してたときに気になった論文を読みました。 Booking.comのDirector of Experimentation のLukas Vermeer氏のツイートより Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: …