华为大数据介绍-江苏

可信、敏捷、智慧的大数据云服务华为Cloud BU

目录

华为大数据云服务介绍华为大数据整体介绍12案例3

大数据是华为ICT 战略的重要支柱

Source: Huawei corporate presentation 华为公司战略地图华为大数据研发全球配置?全球8个研究所，保持千人+的规模投入?拥有PMC/Committer 、IEEE Fellow 等世界级数据挖掘和人工智能专家

?大数据专利190+Professional Service Big Data Analytics Platform Data Center Infrastructure

Core Network IP+Optical

FBB Enterprise

Network MBB

Things (M2M Module)People

(Smart Device)Enterprise Apps SDP BSS/OSS 3rd

Partners

Content & App 3rd ISVs 西安/北京研究所：Hadoop 产品化大数据算法Elk/MPP DB

深圳研发基地/香港：大数据洞察平台数据挖掘算法印度研究所：Hadoop 数据可视化MOLAP 美研所：Spark MPP DB/Elk 大数据系统加速欧研所：分布式技术杭州究所：Hadoop&Spark 流计算大数据算法加研所：Yarn/大规模调度硬件加速金融大数据分析俄研所：算法

?敏捷－行业最优化

-强大的SQL 能力，业务移植便捷-丰富的工具支持，开发运维高效-完善的云服务，无缝迁移

?智慧－场景最优化

-全量建模，深刻洞察-自研算法，高效精准-汇聚最优AI 云服务

?可信－企业级的质量和体验

-全组件HA 、异地容灾、金融等保-开放共赢，可信赖的合作伙伴-企业级的大数据云服务

大数据平台&云服务架构：分层解耦开放

数据集成Porter

Sqoop 批量采集HDFS 分布式文件系统

Hbase

NoSQL 数据库

Spark 一站式分析框架

Elk

标准SQL 引擎

Storm/Flink 流处理框架

YARN 资源管理

Weaver 图分析引擎数据洞察

Miner

Miner Studio 挖掘平台

RTD 实时决策引擎

数据智慧Farmer

Farmer Base 推理框架

LibrA MPPDB

ZooKeeper

协作服务

CarbonData 新型文件格式

Flume

实时采集

Oozie 作业调度

Kafka

消息队列

FtpOnHDFS

文件传输

管理平台

Manager

数据处理HD

大数据云服务

电信行业金融行业电力行业平安城市

租户管理配置管理

故障管理

性能管理

安全管理… …

华为云大数据&AI 云服务

DIS 服务数据集成服务

CDM 服务,…..

MRS 服务数据处理服务

CloudTable 服务,…..

Stream 服务实时计算服务

RTD 服务,…..

DWS 服务数据分析服务

UQuery 服务,…..

MLS 服务机器学习服务

搜索服务,…..

图像标签服务人工智能服务

NLP 服务,…..

车联网

FusionInsight 套件

会使用Hadoop 会定位周

边问题

会定位内核级问题

（拔尖的个人）

定位内核级问题的

团队（依赖团队而

不是精英个人）

能够独立完成支

撑关键业务特性

的内核级开发

能够带领社区，引领

社区完成面向未来的

内核级特性开发

能够创建新的社区

顶级项目，并且得

到生态系统认可

Apache开源社区生态系统

组件多，代码量大

组件更新块

特性无有效整合强大的Hadoop内核团队支持的开发与产品交付能力，电信级运营支撑能力

Apache

CarbonData

回馈社区:业界第一阵营

拥有核心项目PMC和committer

Hadoop Core/HBase: 7 PMC+Committer

Spark+Carbondata: 8 PMC+Committer

华为大数据市场地位－中国区第一

华为大数据成功实践－行业标杆企业的共同选择

60%

中国TOP 10+金融企业

25%

全球TOP 50+电信运营商

30%

中国平安城市建设

Database&Data Warehouse

Data Integration

BI&Analytics

华为大数据成功实践－生态集成

华为大数据成功实践－ISV

公共安全交通

政务

电信

电力/石油金融综合

星火电子

华为云上大数据全球部署规划

华为大数据技术栈:开放（100%兼容社区API ）、企业级

Infrastructure –Huawei and industry standard x86 servers

Open source (slight Huawei enhancements)

HDFS / HBase

Open source (Deep Huawei enhancements)

Huawei developed / proprietary

Distributed Storage

Yarn / Zookeeper

Distributed Computing Framework

DSL

MapReduce Spark Storm Superior Scheduler

Sqoop Kafka

FTP

Data Integration

Batch Processing Elk

Interactive Query

MPP DB

Hive

Solr

Search

HiGraph

Machine Learning

MLlib

Streaming

Spark Streaming

Event Stream Processing CQL

On-line Query CTBase

Phoenix

Huawei O&M Tools,IDE, Integrated Console

Authorization Authentication

Kerberos OS Auth

ORC File RC File Parquet CarbonData

SQL on Hadoop

多租户

异构环境

企业级能力Huawei Confidential

Spark SQL Cloud (Private, Hybrid and Public)

简化开发

Flume

Oozie

Redis

Flink

SparkSQL：兼容、稳定、高性能

SQL兼容性

SQL语句0修改通过所有99 个TPC-DS 用例!

同时支持数据更新

?SQL兼容性–SQL 2003 标准, 0修改通过所有99 个TPC-DS 用例

?数据更新和删除–使用CarbonData文件格式的时候, SparkSQL支持数据插入、更新和删除.稳定和高性能的大规模Spark

进行100TB 规模的99 TPC-DS 长稳测试

?内存优化–解决内存泄漏, 去中心化广播, Spark 堆内存优化

?通讯优化–RPC 增强, shuffle fetch 优化, shuffle网络配置

?调度优化–GetSplits(), AddPendingTask() acceleration(), DAG序列化重用

?极限压力测试–7x24 压力测试, HA 测试

?运维增强–日志安全审核，DAG UI优化

某合作伙伴测试，FI SparkStream 比CDH快3倍

OLAP 类型(多维分析)CarbonData: 单一文件格式满足不同类型访问随机访问(小范围扫描)

顺序访问

(大范围扫描) 随机访问(小范围扫描): 7.9 to 688倍

OLAP /交互查询:20 to 33倍顺序访问(大范围扫描):1.4 to 6倍Apache CarbonData-融合数仓的数据格式

可视化的多级租户管理，与企业组织结构相匹配，简化系统资源分配与管理◆与企业组织结构相匹配的多级的租户模型，不同部门对应不同的租户，按需动态增删租户◆

一站式管理租户资源管理：计算资源（CPU/内存/IO ）、存储资源（HDFS ）、服务资源（HBase…)◆

基于linux cgroup 容 …… 此处隐藏：1099字，全部文档内容请下载后查看。喜欢就下载吧 ……