一个lambda 架构的大规模机器学习和推荐引擎Oryx 2

ted1年前 ⋅ 2048 阅读

       Oryx 2 是基于Apache SparkApache Kafka构建的 lambda 架构的实现,但专门用于实时大规模机器学习。它是一个构建应用程序的框架,但也包括用于协同过滤、分类、回归和聚类的打包的端到端应用程序。

它由三层组成,每一层都建立在以下一层之上:

  1. 通用 lambda 架构层,提供批处理/速度/服务层,不特定于机器学习
  2. 顶级的专业化,为超参数选择等提供 ML 抽象。
  3. 与应用程序( ALS随机决策森林k-means相同的标准 ML 算法的端到端实现

https://github.com/OryxProject/oryx

http://oryx.io/

很多年之前用过这个引擎,怎么说呢 spark作者搞出的东西确实好用,而且架构设计至今都不过时,才知道什么叫做经典永不过时

全部评论: 0

    相关推荐