归一化

本文为您介绍PAI-Studio提供的归一化组件。

PAI-Studio支持通过可视化或PAI命令的方式，配置该组件参数：

可视化方式


页签	参数	描述
字段设置	默认全选	默认全选，多余列不影响预测结果。
字段设置	保留原始列	处理过的列增加“stdized_”前缀。支持DOUBLE类型与BIGINT类型。
执行调优	计算核心数	系统根据输入数据量，自动分配训练的实例数量。
执行调优	每个核内存	系统根据输入数据量，自动分配内存。单位为MB。

PAI命令方式

稠密数据的命令

PAI -name Normalize
    -project algo_public
    -DkeepOriginal="true"
    -DoutputTableName="test_4"
    -DinputTablePartitions="pt=20150501"
    -DinputTableName="bank_data_partition"
    -DselectedColNames="emp_var_rate,euribor3m"

稀疏数据的命令

PAI -name Normalize
    -project projectxlib4
    -DkeepOriginal="true"
    -DoutputTableName="kv_norm_output"
    -DinputTableName=kv_norm_test
    -DselectedColNames="f0,f1,f2"
    -DenableSparse=true
    -DoutputParaTableName=kv_norm_model
    -DkvIndices=1,2,8,6
    -DitemDelimiter=",";


参数名称	是否必选	参数描述	默认值
inputTableName	是	输入表的表名。	无
selectedColNames	否	输入表中，参与训练的列。列名以英文逗号（,）分隔，支持INT和DOUBLE类型。如果输入为稀疏格式，则支持STRING类型的列。	所有列
inputTablePartitions	否	输入表中，参与训练的分区。支持以下格式： Partition_name=value name1=value1/name2=value2：多级格式说明如果指定多个分区，则使用英文逗号（,）分隔。	所有分区
outputTableName	是	输出结果表。	无
outputParaTableName	否	配置输出表。	输出表1为非分区表
inputParaTableName	是	配置输入表。	无
keepOriginal	否	是否保留原始列： true：处理过的列重命名（”normalized_”前缀），原始列保留。 false：全部列保留且不重命名。	false
lifecycle	否	输出表的生命周期，取值范围为[1,3650]。	无
coreNum	否	计算的核心数目，取值为正整数。	系统自动分配
memSizePerCore	否	每个核心的内存（单位是兆），取值范围为(1, 65536)。	系统自动分配
enableSparse	否	是否打开稀疏支持： true false	false
itemDelimiter	否	KV对之间分隔符。	默认”,”
kvDelimiter	否	Key和Value之间分隔符。	默认”:”
kvIndices	否	KV表中需要归一化的特征索引。	无

归一化实例

数据生成

drop table if exists normalize_test_input;
create table normalize_test_input(
    col_string string,
    col_bigint bigint,
    col_double double,
    col_boolean boolean,
    col_datetime datetime);
insert overwrite table normalize_test_input
select
    *
from
(
    select
        '01' as col_string,
        10 as col_bigint,
        10.1 as col_double,
        True as col_boolean,
        cast('2016-07-01 10:00:00' as datetime) as col_datetime
    from dual
    union all
        select
            cast(null as string) as col_string,
            11 as col_bigint,
            10.2 as col_double,
            False as col_boolean,
            cast('2016-07-02 10:00:00' as datetime) as col_datetime
        from dual
    union all
        select
            '02' as col_string,
            cast(null as bigint) as col_bigint,
            10.3 as col_double,
            True as col_boolean,
            cast('2016-07-03 10:00:00' as datetime) as col_datetime
        from dual
    union all
        select
            '03' as col_string,
            12 as col_bigint,
            cast(null as double) as col_double,
            False as col_boolean,
            cast('2016-07-04 10:00:00' as datetime) as col_datetime
        from dual
    union all
        select
            '04' as col_string,
            13 as col_bigint,
            10.4 as col_double,
            cast(null as boolean) as col_boolean,
            cast('2016-07-05 10:00:00' as datetime) as col_datetime
        from dual
    union all
        select
            '05' as col_string,
            14 as col_bigint,
            10.5 as col_double,
            True as col_boolean,
            cast(null as datetime) as col_datetime
        from dual
) tmp;

PAI命令行

drop table if exists normalize_test_input_output;
drop table if exists normalize_test_input_model_output;
PAI -name Normalize
    -project algo_public
    -DoutputParaTableName="normalize_test_input_model_output"
    -Dlifecycle="28"
    -DoutputTableName="normalize_test_input_output"
    -DinputTableName="normalize_test_input"
    -DselectedColNames="col_double,col_bigint"
    -DkeepOriginal="true";
drop table if exists normalize_test_input_output_using_model;
drop table if exists normalize_test_input_output_using_model_model_output;
PAI -name Normalize
    -project algo_public
    -DoutputParaTableName="normalize_test_input_output_using_model_model_output"
    -DinputParaTableName="normalize_test_input_model_output"
    -Dlifecycle="28"
    -DoutputTableName="normalize_test_input_output_using_model"
    -DinputTableName="normalize_test_input";

输入说明

normalize_test_input


col_string	col_bigint	col_double	col_boolean	col_datetime
01	10	10.1	true	2016-07-01 10:00:00
NULL	11	10.2	false	2016-07-02 10:00:00
02	NULL	10.3	true	2016-07-03 10:00:00
03	12	NULL	false	2016-07-04 10:00:00
04	13	10.4	NULL	2016-07-05 10:00:00
05	14	10.5	true	NULL

输出说明

normalize_test_input_output


col_string	col_bigint	col_double	col_boolean	col_datetime	normalized_col_bigint	normalized_col_double
01	10	10.1	true	2016-07-01 10:00:00	0.0	0.0
NULL	11	10.2	false	2016-07-02 10:00:00	0.25	0.2499999999999989
02	NULL	10.3	true	2016-07-03 10:00:00	NULL	0.5000000000000022
03	12	NULL	false	2016-07-04 10:00:00	0.5	NULL
04	13	10.4	NULL	2016-07-05 10:00:00	0.75	0.7500000000000011
05	14	10.5	true	NULL	1.0	1.0

normalize_test_input_model_output


feature	json
col_bigint	{“name”: “normalize”, “type”:”bigint”, “paras”:{“min”:10, “max”: 14}}
col_double	{“name”: “normalize”, “type”:”double”, “paras”:{“min”:10.1, “max”: 10.5}}

normalize_test_input_output_using_model


col_string	col_bigint	col_double	col_boolean	col_datetime
01	0.0	0.0	true	2016-07-01 10:00:00
NULL	0.25	0.2499999999999989	false	2016-07-02 10:00:00
02	NULL	0.5000000000000022	true	2016-07-03 10:00:00
03	0.5	NULL	false	2016-07-04 10:00:00
04	0.75	0.7500000000000011	NULL	2016-07-05 10:00:00
05	1.0	1.0	true	NULL

normalize_test_input_output_using_model_model_output


feature	json
col_bigint	{“name”: “normalize”, “type”:”bigint”, “paras”:{“min”:10, “max”: 14}}
col_double	{“name”: “normalize”, “type”:”double”, “paras”:{“min”:10.1, “max”: 10.5}}