电商门户 互联网+智库
当前位置:100EC>生活服务O2O>【O2O案例】乐刻大数据平台架构实践
【O2O案例】乐刻大数据平台架构实践
发布时间:2017年02月13日 10:34:05

(电子商务研究中心讯)  乐刻运动大数据是基于hadoop体系搭建的,主要满足运营的日常报表,以及公司核心指标为主。随着2016年线上线下的发力,以智能化健身为主的共享经济的提出,数据需求量大幅的激增,数据从最初的GB级到现在的PB级急增,我们开始反思如何支撑未来的可预见性数据需求。

  早期ETL技术报表平台

  乐刻大数据部门在早期,面对比较零散的统计需求,直接将业务数据配置脚本定时导入elasticsearch做一些复杂的统计查询。2016年底,随着运营数据需求的增加,希望查阅数据的人员增多,不同人员不同维度的查询需求,我们专门得抽出一个人来对接运营统计的需求,另外在技术上已经很难满足当前的统计需求。因此,考虑到运营数据需求、公司核心指标需求相对固定,并且维度相对固定,我们搭建了早期的报表系统:

  

  早期的报表系统,由数据开发工程师提交数据任务,通过配置Oozie定时任务,定时的基于Hive数据做ETL过程,将报表系统所需的数据导入elasticsearch。该系统从接收需求到报表系统里看到数据,需要比较长的一段时间过程,涵盖过程如下:

  1)运营提出数据需求

  2)将数据从hdfs使用hive处理数据结果

  3)定期的运营数据,会每天展示到数据可视化平台,临时数据直接导出结果**

  可以看出提供的查询维度较单一,对接流程较复杂,角色间传递信息较多,前后依赖太强,都是制约报表系统快速产出数据的根本问题。我们自研的数据可视化平台DMS,通过web方式按照多个维度查询所需的数据,但对于非订制化需求、数据探索需求、数据分析需求支持的力度并不好。我们开始规划更好的数据分析平台服务。

  乐刻数据平台2.0诞生

  乐刻数据平台2.0我们对整个系统进行了一次大的调整,从数据采集,数据加工,数据存储,以及加入了脏数据预警功能,可视化平台方面提供更多定制化查询需求,运营可以自定义设置查询维度等。数据访问层我们提供基于SQL的快速查询功能,方便产品和需要使用数据的开发人员进行数据查询。

  乐刻数据平台流式数据处理与计算

  乐刻是一家智能化健身平台,意味着我们线下门店每天从各个设备产生的数据量是相当大的量,我们需要收集所有硬件设备的使用情况,监控每台设备运行情况,实时反馈到数据监控中心,乐刻线下硬件数据上报是通过阿里云ONS设计的具体如下:

  1)用户通过APP发送使用硬件设备请求并且上报数据到ONS

  2)spark streaming实时消费产生的数据

  3)通过数据模型产生结果数据

  4)数据实时展示到监控中心

  对于流式数据产生的结果,我们也会进行一些数据挖掘,用户画像相关的处理流程,通过索引elasticsearch提供一些多维度的查询服务。

  乐刻数据平台数据存储与备份

  由于我们的整个平台是基于阿里云打造的,所以自然而然我们使用到了很多阿里云的服务,比如数据存储服务OSS,RDS等,对于数据处理后的备份和处理如下:

  1)原始数据备份存储到OSS和HDFS

  2)数据加载可以选择本地机器或者从OSS导入数据

  3)对于一些列式数据的存储如hbase,会定期同步到hbase,阿里云oss提供备份和还原数据

  4)乐刻数据平台的整体架构和处理流程

  

  来源:简书

3月27日,国内知名电商智库电子商务研究中心发布《2017年度中国共享经济发展报告》(全文下载:http://www.100ec.cn/zt/2017gxjj/),报告对2017年共享经济进行宏观分析,涉及领域与平台主要有:1)交通出行:滴滴出行、易到、首汽约车、神州优车、ofo、摩拜单车、哈罗单车、Go fun出行、TOGO途歌等;2)共享充电宝:小电科技、街电科技、来电科技等;3)共享物流:新达达、人人快递、饿了么“蜂鸟”、美团众包、点我达、1号货的、云鸟配送、货车帮等;4)共享金融:淘宝众筹、京东众筹、苏宁众筹、百度众筹等;5)共享餐饮:隐食纪、熊猫星厨、吉刻送、hatchery、回家吃饭、隐食家、爱大厨等;6)共享住宿:住百家、小猪短租、途家等;7)共享雨伞:街借伞、共享E伞、春笋、橙伞等;8)上门服务:河狸家、新氧、星后等;9)二手共享:闲鱼、猎趣、爱回收、瓜子二手车、人人车、优信二手车等;10)知识技能:果壳、在行、猿题库、学霸君、跟谁学、猪八戒等;11)共享医疗:春雨医生、丁香医生、好大夫在线、企鹅医生、平安好医生、微医等共11大领域。

股票名称/代码
昨日收盘
涨跌幅
¥/现价
  • 002095.SZ
  • 002315.SZ
  • 300226.SZ
  • 002711.SZ
  • 002024.SZ
  • 002127.SZ
  • 002127.SZ
  • 002640.SZ
  • 300209.SZ
  • 601113.SH
  • 002352.SZ
  • 600233.SH