ELT太慢怎么行,试试PolyBase?

96
Kele_73b1
2019.02.15 10:33 字数 461

传统的数仓项目,我们会用ETL把数据Extract Transform然后再Load到目标数据平台。

现在到了云和大数据时代,各种不同的数据分析需求太多,也没有任何单一的数据平台能够满足所有的要求,因此我们会有各式各样的数据平台来应对不同的需求。这个时候我们通常会倾向于采用ELT(Extract Load and Transform),顾名思义,先把未处理的数据放在一个集中的数据湖(Data Lake或者对象存储Blob Storage)里面,需要处理的时候再去数据湖取数处理分析。

那么这个时候数据的加载速度,就显得尤为重要。

对于MS SQL系的产品,我们有PolyBase,并行的加载能够大大提升数据的加载速度。
比如我们这里有一个100G的CSV格式源文件存在Azure Blob Storage里,需要把它导入到SQL DW里面,使用起来也非常简单。只需要把Blob Storage里的源文件当成外表创建在SQL DW然后再通过CTAS导入进数据仓库。

接下来我们一步一步来看怎么这个过程如何实现。

  1. 定义好Blob Storage的Credential,在下面的SQL里的Secret里面填上Storage的Key
/*
CREATE IDENTITY
*/
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
WITH
    IDENTITY = 'user',
    SECRET = '<填上您的Blob Storage的密钥>'
;
  1. 定义Data Source,把Blob的URL填到下面SQL的Location。
/*
Create External Data Source
*/
CREATE EXTERNAL DATA SOURCE AzureStorage_DataSource
WITH 
(  
    TYPE = Hadoop 
,   LOCATION = 'wasbs://<Container>@<AccountName>.blob.core.chinacloudapi.cn'
,   CREDENTIAL = AzureStorageCredential
); 
GO
  1. 定义文件格式,我们这里使用的是CSV文件,字段用逗号隔开
/*
Create External File FORMAT
*/
CREATE EXTERNAL FILE FORMAT csvdelimitedfile
WITH (FORMAT_TYPE = DELIMITEDTEXT,
      FORMAT_OPTIONS (FIELD_TERMINATOR = ','));
GO
  1. 创建外表
/* 
Create External Table 
*/
DROP External TABLE [dbo].[DEAL_DETAILS_EXT];
CREATE External TABLE [dbo].[DEAL_DETAILS_EXT](
    [REGION] [nvarchar](50) ,
    .....
)
WITH (
    LOCATION='/DEAL/',   --文件地址
    DATA_SOURCE=AzureStorage_DataSource, 
    FILE_FORMAT=csvdelimitedfile
);
  1. 建好外表之后,还需要使用CTAS(Create Table As Select)把数据导入SQL DW
CREATE TABLE [dbo].[DEAL_DETAILS]
WITH (
    DISTRIBUTION = ROUND_ROBIN
) 
AS SELECT * FROM [dbo].[DEAL_DETAILS_EXT]             
OPTION (
    LABEL = 'CTAS : Load [dbo].[DEAL_DETAILS]'
);

下图是用最基础的配置DWU400的SQL Data Warehouse加载完这100G的Raw Data,时间只要12分钟不到


日记本