用Python + Metaflow完美整合一個資料科學專案
大家好，自從上次的我的弱點的文章，有提到我想要增強我在Data Engineering上的能力，這次的文章我就要介紹Netflix內部非常盛行的資料科學流程管理工具Metaflow，這是一個我覺得非常好的一個開源工具，能夠超級快速的建立和管理不管是個人或是一個團隊的資料科學專案。

相信你或者是你的team會同時擁有一個或好幾個不同的專案在身上，每個專案都必須來來回回處理很多事情，同事也必須一直一直的優化，舉例來說，一個資料科學專案的流程可以如下:

(1) 已定義出一明確的商業問題

(2) 根據商業問題嘗試去分析並提出可實行的解決方案

(3) 透過機器學習演算法來完成解決方案

(4) 將模型部署到是server上

(5) 模型被用來預測的新的資料，被透過訓練來保持最新的狀態

(6) 新資料被預測後會對現今的做法產生新的想法

(7) 將新的想法回到(1)

每個需要預測的資料科學專案最終都會追求越來越精準的模型，所以在不斷接受新需求的情況下，又要能快速改到上面流程的某一個步驟，這樣幾乎無終止的輪迴急需要一個快速改動的能力，又想要都可以在同個程式語言上完成這件事，這就促成了Metaflow的誕生。

接下來我會逐一的介紹和實際使用Metaflow，以下是這篇文章的步驟:

(1) Metaflow介紹

(2) 資料集

(3) 原本專案流程

(4) Metaflow範例

(5) 使用Metaflow來建立專案

(6) 結論

Netflix給Metaflow的解釋如下:

Metaflow is a human-friendly Python library that helps scientists and engineers build and manage real-life data science projects. Metaflow was originally developed at Netflix to boost productivity of data scientists who work on a wide variety of projects from classical statistics to state-of-the-art deep learning.
[]
['Data Engineering', 'Data Visualization', 'Python', 'Data Science Tools', 'Data Science Projects']