广告
广告
大厂是如何搭建大数据平台架构
您的位置 骰宝大小单双 > 产业新闻 > 正文

大厂是如何搭建大数据平台架构

2020-01-14 15:19:17 来源:中琛魔方 点击:632

【大比特导读】淘宝的大数据平台基本也是分成三个部分,上面是数据源与数据同步;中间是云梯1,也就是淘宝的Hadoop大数据集群;下面是大数据的应用,使用大数据集群的计算结果。

今天来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅。

淘宝大数据平台

淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司,下图是淘宝早期的Hadoop大数据平台,比较典型。

淘宝的大数据平台基本也是分成三个部分,上面是数据源与数据同步;中间是云梯1,也就是淘宝的Hadoop大数据集群;下面是大数据的应用,使用大数据集群的计算结果。

在Hadoop中的计算任务会通过天网调度系统,根据集群资源和作业优先级,调度作业的提交和执行。计算结果写入到HDFS,再经过DataExchange同步到MySQL和Oracle数据库。处于平台下方的数据魔方、推荐系统等从数据库中读取数据,就可以实时响应用户的操作请求。

淘宝大数据平台的核心是位于架构图左侧的天网调度系统,提交到Hadoop集群上的任务需要按序按优先级调度执行,Hadoop集群上已经定义好的任务也需要调度执行,何时从数据库、日志、爬虫系统导入数据也需要调度执行,何时将Hadoop执行结果导出到应用系统的数据库,也需要调度执行。可以说,整个大数据平台都是在天网调度系统的统一规划和安排下进行运作的。

DBSync、TimeTunnel、DataExchange这些数据同步组件也是淘宝内部开发的,可以针对不同的数据源和同步需求进行数据导入导出。这些组件淘宝大都已经开源,我们可以参考使用。

美团大数据平台

Kafka的数据会被流式计算和批处理计算两个引擎分别消费。流处理使用Storm进行计算,结果输出到Hbase或者数据库。批处理计算使用Hive进行分析计算,结果输出到查询系统和BI平台。

数据分析师可以通过BI产品平台进行交互式的数据查询访问,也可以通过可视化的报表工具查看已经处理好的常用分析指标。公司高管也是通过这个平台上的天机系统查看公司主要业务指标和报表。

美团大数据平台的整个过程管理通过调度平台进行管理。公司内部开发者使用数据开发平台访问大数据平台,进行ETL开发,提交任务作业并进行数据管理。

滴滴大数据平台

滴滴大数据平台分为实时计算平台和离线计算平台两个部分。

实时计算平台架构如下。数据采集以后输出到Kafka消息队列,消费通道有两个,一个是数据ETL,使用Spark Streaming或者Flink将数据进行清洗、转换、处理后记录到HDFS中,供后续批处理计算。另一个通道是Druid,计算实时监控指标,将结果输出到报警系统和实时图表系统DashBoard。

离线计算平台架构如下。滴滴的离线大数据平台是基于Hadoo 2和Spark以及Hive构建,在此基础上开发了自己的调度系统和开发系统。调度系统和前面其他系统一样,调度大数据作业的优先级和执行顺序。开发平台是一个可视化的SQL编辑器,可以方便地查询表结构、开发SQL,并发布到大数据集群上。

此外,滴滴还对Hbase重度使用,并对相关产品做了一些自定义的开发,维护着一个和实时、离线两个大数据平台同级别的Hbase平台,它的架构图如下。

来自于实时计算平台和离线计算平台的计算结果被保存到Hbase中,然后应用程序通过Phoenix访问Hbase。而Phoenix是一个构建在Hbase上的SQL引擎,可以通过SQL方式访问Hbase上的数据。

大厂是如何搭建大数据平台架构.中琛魔方大数据(www.zcmorefun.com)表示可以看到,这些知名大厂的大数据平台真的是大同小异,他们根据各自场景和技术栈的不同,虽然在大数据产品选型和架构细节上略有调整,但整体思路基本上都是一样的。不过也正是这种大同小异,让我们从各个角度更加了解大数据平台架构,对大数据平台架构有了更加深刻的认知。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时更正、删除,谢谢。

分享到:
阅读延展
大数据平台
  • OceanStor大数据存算分离方案助力联通集团加速数字化转型

    OceanStor大数据存算分离方案助力联通集团加速数字化转型

    中国联通已经构建了全球电信行业技术和规模双领先的集中一体化大数据平台,当前正在推进数据中台战略,实现全域数据共享,跨源跨域融合分析,快速释放数据价值。

  • 部公路院与腾讯深化合作公共交通出行大数据平台发布

    部公路院与腾讯深化合作公共交通出行大数据平台发布

    与会专家围绕新基建下“公交都市”智能化发展新思路、综合交通大数据中心体系构建思路、大数据如何赋能公共交通行业管理与服务等议题,展开了热烈讨论。部运输服务司、北京市交通委员会,相关行业协会、研究机构和企业等单位专家、代表出席研讨会。

  • 华云中盛推出金融大数据平台解决方案

    华云中盛推出金融大数据平台解决方案

    互联网时代,很多企业为了紧跟时代脚步,积极应用计算机方面的软件技术。企业通过对海量信息平台的信息、数据通过软件技术进行充分的研究,通过大数据技术的应用,能够及时、准确为企业提供相应的决策。

  • 大数据平台Cloudera:希望今年落地至阿里云和腾讯云

    大数据平台Cloudera:希望今年落地至阿里云和腾讯云

    云原生技术采纳率持续提升。中国信通院的云计算发展调查报告显示,2019年43.9%的被访企业表示已经使用容器技术部署业务应用,计划使用容器技术部署业务应用的企业占比为40.8%;28.9%的企业已经使用微服务架构进行应用系统开发,另有46.8%的企业计划使用微服务架构。

  • 农宝大数据平台直播首秀人气突破30万+

    农宝大数据平台直播首秀人气突破30万+

    据悉,农宝大数据平台融合物联网、云计算、人工智能等新一代信息技术,致力于农业大数据的采集、管理、挖掘等数据运营服务,为农业产业链提供智慧农业标准化数据体系建设,为盘活农业大数据,激活消费市场,通过消费管理和网络媒体管理,进行数据营销,打造数据经济新业态。

  • 估值20亿!德拓信息拟赴科创板上市,或成“科创板大数据第一股”

    估值20亿!德拓信息拟赴科创板上市,或成“科创板大数据第一股”

    目前,德拓信息是唯一一家既参与上海市“一网通管”,又参与“一网通办”大数据平台建设的公司;在参与上海市公安局“智慧公安”全域大数据治理工作时,助力政府打通了各个警种之间的数据;在新冠疫情期间,参与包括“随身码”在内的智能化疫情防控工作。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“大比特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得大比特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
Copyright Big-Bit © 2019-2029 All Right Reserved 骰宝大小单双 版权所有       未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任