文章相似度

组件配置

您可以使用以下任意一种方式，配置文章相似度组件参数。

方式一：可视化方式

方式二：PAI命令方式

PAI -name doc_similarity    
    -project algo_public    
    -DinputTableName="pai_test_doc_similarity"    
    -DoutputTableName="pai_test_doc_similarity_output"    
    -DinputSelectedColName1="col0"    
    -DinputSelectedColName2="col1"

示例

• 生成数据

  使用ODPS SQL节点创建表pai_ft_string_similarity_topn_input。命令如下：

  drop table if exists pai_doc_similarity_input;
  create table pai_doc_similarity_input as
  select * from 
  (
  select 0 as id, "北京 上海" as col0, "北京 上海" as col1
  union all
  select 1 as id, "北京 上海" as col0, "北京 上海 深圳" as col1
  )tmp

  执行成功后，输入表pai_doc_similarity_input的数据如下：

  id	col0	col1
  1	北京 上海	北京 上海 深圳
  0	北京 上海	北京 上海

• 运行PAI命令

  您可以使用SQL脚本执行如下PAI命令，也可以使用ODPS SQL节点执行如下PAI命令。

  drop table if exists pai_doc_similarity_output;
  PAI -name doc_similarity    
      -project algo_public    
      -DinputTableName=pai_doc_similarity_input    
      -DoutputTableName=pai_doc_similarity_output    
      -DinputSelectedColName1=col0    
      -DinputSelectedColName2=col1    
      -Dmethod=levenshtein_sim    
      -DinputAppendColNames=id,col0,col1;

• 输出结果

  输出表为pai_doc_similarity_output，如下所示。

  id	col0	col1	output
  1	北京 上海	北京 上海 深圳	0.6666666666666667
  0	北京 上海	北京 上海	1.0

常见问题

• 相似度计算是基于分词的结果，即以空格分割的每个词作为相似度计算的一个单位。如果是以字符串整体输入，需要使用字符串相似度方法。

• 参数method中，levenshtein、lcs、simhash_hamming为计算距离。levenshtein_sim、lcs_sim、ssk、cosine、simhash_hamming_sim为计算相似度。距离=1.0-相似度。

• 相似度计算方法为cosine或ssk时，存在参数k，表示以k个词作为一个组合，进行相似度计算。如果k大于词的个数，即是两个相同的字符串，相似度输出也为0。此时需要调小k的值，使其小于或等于最小词个数。