字符串相似度

算法说明

字符串相似度算法组件支持Levenshtein（Levenshtein Distance）、LCS（Longest Common SubString）、SSK（String Subsequence Kernel）、Cosine（Cosine）和Simhash_Hamming五种相似度计算方式，支持两两计算。

• Levenshtein支持计算距离和相似度。

  • 距离在参数中表示为levenshtein。

  • 相似度=1-距离。在参数中表示为levenshtein_sim。

• lCS支持计算距离和相似度。

  • 距离在参数中表示为lcs。

  • 相似度=1-距离。相似度在参数中表示为lcs_sim。

• SSK支持计算相似度，在参数中表示为ssk。

• Cosine支持计算相似度，在参数中表示为cosine。

• Simhash_Hamming，其中SimHash算法是把原始的文本映射为64位的二进制指纹，Hamming Distance则是计算二进制指纹在相同位置上不同字符的个数，支持计算距离和相似度。

  • 距离在参数中表示为simhash_hamming。

  • 相似度=1-距离/64.0。相似度在参数中表示为simhash_hamming_sim。

组件配置

方式一：可视化方式

在Designer工作流页面添加字符串相似度组件，并在界面右侧配置相关参数：

方式二：PAI命令方式

使用PAI命令配置字符串相似度组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见SQL脚本。

PAI -name string_similarity
    -project algo_public
    -DinputTableName="pai_test_string_similarity"
    -DoutputTableName="pai_test_string_similarity_output"
    -DinputSelectedColName1="col0"
    -DinputSelectedColName2="col1";

示例

• 输入数据

  使用ODPS SQL节点创建表pai_ft_string_similarity_topn_input。命令如下：

  create table pai_ft_string_similarity_input as select * from
  (select 0 as id, "北京" as col0, "北京" as col1
  union all
  select 1 as id, "北京" as col0, "北京上海" as col1
  union all
  select 2 as id, "北京" as col0, "北京上海深圳" as col1
  )tmp;

  执行成功后，pai_ft_string_similarity_topn_input表数据如下：

  id	col0	col1
  0	北京	北京
  1	北京	北京上海
  2	北京	北京上海深圳

• 运行PAI命令

  您可以使用SQL脚本执行如下PAI命令，也可以使用ODPS SQL节点执行如下PAI命令。

  PAI -name string_similarity
      -project algo_public
      -DinputTableName=pai_ft_string_similarity_input
      -DoutputTableName=pai_ft_string_similarity_output
      -DinputSelectedColName1=col0
      -DinputSelectedColName2=col1
      -Dmethod=simhash_hamming
      -DinputAppendColNames=col0,col1;

• 输出结果

  • 使用simhash_hamming计算方法的输出结果如下。

    col0	col1	output
    北京	北京	0.0
    北京	北京上海	6.0
    北京	北京上海深圳	13.0

  • 使用simhash_hamming_sim计算方法的输出结果如下。

    col0	col1	output
    北京	北京	1.0
    北京	北京上海	0.90625
    北京	北京上海深圳	0.796875