在Airbnb使用机器学习预测房源的价格

应用 pipeline 开辟原型的优势在于，它可以应用 data transforms 来避免繁琐的数据转换。总的来说，这些转换是为了确保数据在练习和评估时保持一致，以避免将原型安排到临盆情况时出现的数据不一致。

别的，pipeline 还可以将数据转换过程和练习模型过程分开。固然膳绫擎代码中没有，但数据科学家可以在最后一步指定一种 estimator(估值器)来练习模型。经由过程测验测验应用不合的估值器，数据科学家可认为模型选出一个表示最佳的估值器，削减模型的样本误差。

模型选择与验证

应用对象：各类自念头器进修框架

如上一节所述，我们须要肯定候选模型中的哪个最合适投入临盆。为了做这个决定计划，我们须要在模型的可解释性与复杂度中进行衡量。例如，稀少线性模型的解释性很好，但它的复杂度太低了，不克不及很好地运作。一个足够复杂的树范许可以拟合各类非线性模式，然则它的解释性很差。这种情况也被称为误差(Bias)和方差(Variance)的衡量。

上图引用自 James、Witten、Hastie、Tibshirani 所著《R 说话统计进修》

比来，Airbnb 机械进修的基本架构进行了改进，使得安排新的机械进修模型到临盆情况中的成本降低了很多。例如，我们的 ML Infra 团队构建了一个通用功能库，这个库让用户可以在他们的模型中应用更多高质量、经由筛选、可复竽暌姑的特点。数据科学家们也开端将一些主动化机械进修对象纳入他们的工作流中，以加快模型选择的速度以及进步机能标准。此外，ML Infra 还创建了一个新的框架，可以主动将 Jupyter notebook 转换成 Airflow pipeline 能接收的格局。

在保险、信用审查等应用中，须要对模型进行解释。因为对模型来说避免无意清除一些精确客户是很重要的事。不过在图像分类等应用中，模型的高机能比可解释更重要。

经验与瞻望

因为模型的选择相当耗时，我们选择采取各类自念头器进修对象来加快这个步调。经由过程摸索大年夜量的模型，我们最终会找到表示最好的模型。例如，我们发明 XGBoost (XGBoost) 明显比其他基准模型(比如 mean response 模型、岭回归模型、单一决定计划树)的表示要好。

上图：我们经由过程比较 RMSE 可以选择出表示更好的模型

临盆安排

鉴于我们的最初目标是猜测房源价格，是以我们很舒畅地在最终的临盆情况中应用 XGBoost 模型，比起可解释性它更重视于模型的弹性。

应用对象：Airbnb 本身写的 notebook 转换框架 — ML Automator

如开端所说，构建临盆情况工作流和在标记本上构建一个原型是完全不合的。例如，我们若何进行按期的重练习?我们若何有效地评估大年夜量的实例?我们若何建立一个 pipeline 以随时监督模型机能?

在 Airbnb，我们本身开辟了一个名为 ML Automator 的框架，它可以主动将 Jupyter notebook 转换为 Airflow 机械进修 pipeline。该框架专为熟悉应用 Python 开辟原型，但缺乏将模型投入临盆情况经验的数据科学家预备。

ML Automator 框架概述(照片来源：Aaron Keys)

起首，框架请求用户在 notebook 中指定模型的设备。该设备将告诉框架若何定位练习数据表，为练习分派若干计算资本，以及若何计算模型评价分数。

下面的代码片段展示了我们 LTV 模型中的 fit 与 transform 函数。fit 函数告诉框架须要练习 XGBoost 模型，同时转换器将根据我们之前定义的 pipeline 转换数据。

def fit(X_train, y_train): 
    import multiprocessing 
    from ml_helpers.sklearn_extensions import DenseMatrixConverter 
    from ml_helpers.data import split_records 
    from xgboost import XGBRegressor 
 
    global model 
 
    model = {} 
    n_subset = N_EXAMPLES 
    X_subset = {k: v[:n_subset] for k, v in X_train.iteritems()} 
    model['transformations'] = ExtendedPipeline([ 
                ('features', features), 	
			 3/4   首页 上一页 1 2 3 4 下一页 尾页	
			

　　推荐阅读
　　区块链平台的新的威胁
            
            
                
                    
                
                据火币区块链研究中间编译，以前几年来，人们一向在谈论数字资产和区块链。区块链的立异正在赓续进行改进，平>>>详细阅读


本文标题：在Airbnb使用机器学习预测房源的价格
地址：http://www.17bianji.com/lsqh/37197.html
 1/2    1