阿里ACP大数据学习相关术语

前言

大数据计算服务MaxCompute免费开通

相关教学视频

架构图

img

RDS

RDS是关系型数据库服务(Relational Database Service)的简称,是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。

DRDS

分布式关系型数据库服务

DRDS 是一款基于 RDS for MySQL 、采用分库分表技术进行扩展的分布式 OLTP 数据库服务产品,产品目标旨在提升数据存储容量、并发吞吐、复杂计算效率三个方面的扩展性需求。

DRDS的读策略中包含

  • 主库读
  • 均衡
  • 只读均衡
  • 自定义

OTS

OTS 是Open Table Service的简称,现在已更名为表格存储Table Store,官网对它的解释为:OTS是构建在阿里云飞天分布式系统之上的 NoSQL 数据库服务,提供海量结构化数据的存储和实时访问。OTS 以实例和表的形式组织数据,通过数据分片和负载均衡技术,达到规模的无缝扩展。

管理控制台

  • 原始数据大小
  • QPS
  • 读写吞吐量
  • 平均返回延迟值

ADS

云原生数据仓库AnalyticDB MySQL版

云原生数据仓库AnalyticDB MySQL版(简称ADB,原分析型数据库MySQL版)是一种支持高并发低延时查询的新一代云原生数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。产品规格按需可选,基础版成本最低,适合BI查询应用;集群版提供高并发数据实时写入和查询能力,适用于高性能应用;弹性模式版本存储廉价按量计费,适用于10TB以上数据上云场景。

两个事实表进行Join的充要条件:

  • 两个表在一个表组

  • 两个表的Join Key是Hash分区列

  • 两个表的Hash分区数必须一致,否则Join结果不准确

  • 两张表的Join Key至少有一列建立了HashMap索引,推荐建立在数据量较小的一侧

DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。

MaxCompute/ODPS

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

授权

  • ACL
  • Policy
  • package
  • label 针对表进行列级别的授权

计费项

  • 存储
  • 计算
  • 数据下载

MR即MapReduce

DataWorks

DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,为您提供数据集成数据开发数据地图数据质量数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute开源大数据引擎E-MapReduce实时计算(基于Flink)机器学习PAI图计算服务Graph Compute交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务。

您可以使用DataWorks,对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。

应用场景的技术搭配

https://help.aliyun.com/document_detail/73016.html?spm=a2c4g.11186623.6.550.37191d9ex2qrku