采集PostgreSQL查询结果

原理

Logtail根据Logtail采集配置定期执行指定的SELECT语句，将查询结果作为数据上传到日志服务。

Logtail获取到查询结果时，会将结果中的CheckPoint字段保存到本地。当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。

功能

• 支持采集PostgreSQL数据库的查询结果。

• 支持分页设置。

• 支持时区设置。

• 支持超时设置。

• 支持保存CheckPoint状态。

• 支持限制每次最大采集数量。

应用场景

• 根据数据中的自增ID或时间等标识采集增量数据。

• 根据筛选条件自定义同步。

操作步骤

1. 登录日志服务控制台。

2. 在接入数据区域，选择自定义数据插件。

3. 选择目标Project和Logstore，单击下一步。

4. 在机器组配置页面，配置机器组。

   1. 根据实际需求，选择使用场景和安装环境。

      重要

      无论是否已有机器组，都必须根据实际需求正确选择使用场景和安装环境，这将影响后续的页面配置。

   2. 确认目标机器组已在应用机器组区域，单击下一步。

      已有机器组

      从源机器组列表选择目标机器组。

      

      没有可用机器组

      单击创建机器组，在创建机器组面板设置相关参数。机器组标识分为IP地址和用户自定义标识，更多信息请参见创建用户自定义标识机器组（推荐）或创建IP地址机器组。

      重要

      创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击重试。如果还未解决，请参见Logtail机器组无心跳进行排查。

5. 在数据源设置页签中，设置配置名称和插件配置，单击下一步。

   • inputs为数据源配置，必选项。

     重要

     一个inputs中只允许配置一个类型的数据源。

   • processors为处理配置，用于解析数据。可选项，您可以配置一种或多种处理方式。

     如果当前的inputs配置无法满足日志解析需求，您可以在插件配置中添加processors配置，即添加Logtail插件处理数据。例如提取字段、提取日志时间、脱敏数据、过滤日志等。更多信息，请参见使用Logtail插件处理数据。

   {
     "inputs": [
       {
         "type": "service_pgsql",
         "detail": {
           "Address": "pgm-****.pg.rds.aliyuncs.com",
           "User": "****",
           "Password": "*******",
           "DataBase": "****",
           "Limit": true,
           "PageSize": 100,
           "StateMent": "select * from specialalarmtest where id > $1 order by id",
           "CheckPoint": true,
           "CheckPointColumn": "id",
           "CheckPointStart": "0",
           "CheckPointSavePerPage": true,
           "CheckPointColumnType": "int",
           "IntervalMs": 1000
         }
       }
     ]
   }

   参数	类型	是否必选	说明
   type	string	是	数据源类型，固定为service_pgsql。
   Address	string	否	PostgreSQL地址。例如pgm-****.pg.rds.aliyuncs.com。 不配置时，默认使用127.0.0.1:5432。
   User	string	否	用于登录PostgreSQL数据库的账号名称。 不配置时，默认使用root。
   Password	string	否	用于登录PostgreSQL数据库的账号密码。不配置时，默认为空。 如果安全需求较高，建议将用户名和密码配置为xxx，待采集配置同步至本地机器后，在本地文件/usr/local/ilogtail/user_log_config.json找到对应配置进行修改。具体操作，请参见修改本地配置。 重要 如果您在控制台上修改了此参数，同步至本地后会覆盖当前本地的配置。
   DataBase	string	否	PostgreSQL数据库名称。
   DialTimeOutMs	int	否	连接PostgreSQL数据库超时时间，单位：ms。 不配置时，默认使用5000 ms。
   ReadTimeOutMs	int	否	读取PostgreSQL查询结果的超时时间，单位：ms。 不配置时，默认使用5000 ms。
   StateMent	string	否	SELECT语句。 设置CheckPoint为true时，StateMent中SELECT语句的where条件中必须包含CheckPoint列（CheckPointColumn参数），并将该列的值设置为$1。例如：设置CheckPointColumn为id，设置StateMent为SELECT * from ... where id > $1。
   Limit	boolean	否	是否使用Limit分页。 不配置时，默认使用false，表示不使用Limit分页。 建议使用Limit进行分页。设置Limit为true后，进行SQL查询时，会自动在StateMent中追加LIMIT语句。
   PageSize	int	否	分页大小，Limit为true时必须配置。
   MaxSyncSize	int	否	每次同步最大记录数。 不配置时，默认使用0，表示无限制。
   CheckPoint	boolean	否	是否使用CheckPoint。 不配置时，默认使用false，表示不使用CheckPoint。
   CheckPointColumn	string	否	CheckPoint列名称。 CheckPoint为true时必须配置。 警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。
   CheckPointColumnType	string	否	CheckPoint列的数据类型，支持int和time。int类型的内部存储为int64，time类型支持PostgreSQL的时间类型。 CheckPoint为true时必须配置。
   CheckPointStart	string	否	CheckPoint列的初始值。 CheckPoint为true时必须配置。
   CheckPointSavePerPage	boolean	否	是否每次分页时保存一次CheckPoint。 true：每次分页时保存一次CheckPoint。 false：每次同步完成后保存一次CheckPoint。
   IntervalMs	int	是	同步间隔，单位：ms。

6. 创建索引和预览数据，然后单击下一步。日志服务默认开启全文索引。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将自动生成字段索引。更多信息，请参见创建索引。

   重要

   如果需要查询日志中的所有字段，建议使用全文索引。如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。

7. 单击查询日志，系统将跳转至Logstore查询分析页面。
   您需要等待1分钟左右，待索引生效后，才能在原始日志页签中，查看已采集到的日志。更多信息，请参见查询和分析日志。

修改本地配置

如果您没有在插件配置中输入真实的Address、User、Password等信息，可以在采集配置下发到本地后进行手动修改。

问题排查

使用Logtail采集日志后，如果预览页面或查询页面无数据，您可以参见Logtail采集日志失败的排查思路进行排查。

数据库表和日志样例