MLOps

この記事は MLOps Advent Calendar 2022 にリンクしてます。 MLOps にカテゴライズされる機能はいくつかありますが、その中のひとつに機械学習のモデルモニタリングがあります。 この記事ではモデルモニタリングツールとして適用可能な Whylogs の概要と触ってみた感想をまとめます。 TL;DR モデルの監視におけるツールである Whylogs は主にテーブル、画像、文字のデータタイプの可視化や設定したデータの条件（制約）を満たしているか確認が可能です。 Whylab という無料/有料 SaaS サービスを使うことでより多くの機能が使えるが、pandas をベースに無料でも特徴量の差分などの可視化が行えます。 Whylogs とは? WhyLabs Inc. 社のデータロギングに関するオープンソースが Whylogs がのようです。 Github リンク 2022/12/18 現在のGithub上の指標は下記になります。 watch folk star 初回リリース 2022 / 12 / 18 現在の最新リリース 28 86 1,934 2020/9/23 2022/12/14 prereleaseを除く Star 数は昨年リリースしたことを考えると MLOps 界隈ではまぁまぁなのでは？と最初思ったのですが、 同じ機械学習のモニタリングツールである OSS の Evidently AI は今年リリース（プレリリースを除く）で、 star 数が 2983 (2022/12/18現在) なので盛り上げは Evidently AI のほうが多いかなと思います。できることが違うので単純な比較をしたらいけないかなとは思いますが参考までに。 Whylogs ができることを本家のページを非公式に翻訳すると以下ができるようです。 データセットの変更/変化をトラックできる Data Constraints を作成して、データの見た目が適切かどうかを確認することができる データセットに関する主要な統計情報を迅速に可視化することができる ちなみに日本企業で使っているところがないか Google 検索でしらべたところ下記の記事を見つけました。...

はじめに 2021年にMLOps勉強会で発表されて公開された資料をもとにツールごとに発表内容をまとめてみました。 *2022年1月の発表が最近あり、且つ有用な資料もありましたので2件も記載しています。 クラウド GCP / Vertex AI / Kubeflow もともとはGCP AI platformとして展開されていたが2021/5月にVertex AIとして提供されることを発表された。 Kubeflow, TFXなどもこちらに含むこととしています。 tutorial Vertex AI tutorial Kubeflow Pipelinesのサンプル by Aseiさん *Aseiさんが転職されてメンテナンスされているかは不明 発表資料 露木さん / 実践Continuous Training Nakagawaさん / メルペイの与信モデリングにおける特徴量の品質向上の施策 中山さん / Vertex Pipelinesを障ってみた Kohamaさん / Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション Aseiさん / 機械学習パイプラインの要件と Vertex Pipelines 大嶋さん / そのEdgeAIはUXを 改善できるか Fengさん / JX通信社における実践的MLOps AWS 特定のソリューションというわけではなく、マネージドサービスを組み合わす感じ。 MLOpsサンプル AWS MLOps フレームワーク 発表資料 斎藤さん / 異音検知プラットフォーム開発におけるMLOpsの実際と考察 麻生さん / AWSを活用した機械翻訳のためのGPU並列処理環境の構築 山口さん / 少人数PJにおける MLOps事例...