包

org.apache.nifi | nifi-standard-nar

描述

执行提供的SQL查询语句。查询结果将转换为Avro格式。该处理器使用流处理，因此支持任意大小的结果集。可以使用标准调度方法，按定时器或cron表达式调度此处理器运行，也可以由传入的FlowFile触发。如果由传入的FlowFile触发，在计算查询语句时，该FlowFile的属性将可用，并且查询语句可以使用“?”来转义参数。在这种情况下，所使用的参数必须作为FlowFile属性存在，命名约定为sql.args.N.type和sql.args.N.value，其中N为正整数。sql.args.N.type预期为表示JDBC类型的数字。FlowFile的内容预期为UTF - 8格式。FlowFile属性“executesql.row.count”表示选择的行数。

标签

数据库、jdbc、查询、选择、sql

输入要求

允许

支持敏感动态属性

是

属性

压缩格式

写入Avro文件时使用的压缩类型。默认值为“无”。

• 显示名称：压缩格式
• 描述：写入Avro文件时使用的压缩类型。默认值为“无”。
• API名称：compression-format
• 默认值：NONE
• 允许值：

• BZIP2
• DEFLATE
• NONE
• SNAPPY
• LZO

默认小数精度

当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“精度”来表示可用数字的位数。通常，精度由列数据类型定义或数据库引擎的默认值确定。然而，一些数据库引擎可能会返回未定义的精度（0）。在写入这些未定义精度的数字时，将使用“默认小数精度”。

• 显示名称：默认小数精度
• 描述：当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“精度”来表示可用数字的位数。通常，精度由列数据类型定义或数据库引擎的默认值确定。然而，一些数据库引擎可能会返回未定义的精度（0）。在写入这些未定义精度的数字时，将使用“默认小数精度”。
• API名称：dbf-default-precision
• 默认值：10
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：是

数据库连接池服务

用于获取数据库连接的控制器服务。

• 显示名称：数据库连接池服务
• 描述：用于获取数据库连接的控制器服务。
• API名称：Database Connection Pooling Service
• 服务接口：org.apache.nifi.dbcp.DBCPService
• 服务实现：

• org.apache.nifi.dbcp.DBCPConnectionPool
• org.apache.nifi.dbcp.DBCPConnectionPoolLookup
• org.apache.nifi.dbcp.HikariCPConnectionPool

• 表达式语言作用域：不支持
• 是否敏感：否
• 是否必需：是

默认小数位数

当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“小数位数”来表示可用的小数位数。通常，小数位数由列数据类型定义或数据库引擎的默认值确定。然而，当返回未定义的精度（0）时，一些数据库引擎的小数位数也可能不确定。在写入这些未定义的数字时，将使用“默认小数位数”。如果一个值的小数位数多于指定的小数位数，则该值将被向上舍入，例如，当小数位数为0时，1.53变为2；当小数位数为1时，1.53变为1.5。

• 显示名称：默认小数位数
• 描述：当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“小数位数”来表示可用的小数位数。通常，小数位数由列数据类型定义或数据库引擎的默认值确定。然而，当返回未定义的精度（0）时，一些数据库引擎的小数位数也可能不确定。在写入这些未定义的数字时，将使用“默认小数位数”。如果一个值的小数位数多于指定的小数位数，则该值将被向上舍入，例如，当小数位数为0时，1.53变为2；当小数位数为1时，1.53变为1.5。
• API名称：dbf-default-scale
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：是

规范化表/列名

是否将列名中与Avro不兼容的字符更改为与Avro兼容的字符。例如，为了构建有效的Avro记录，冒号和句点将被更改为下划线。

• 显示名称：规范化表/列名
• 描述：是否将列名中与Avro不兼容的字符更改为与Avro兼容的字符。例如，为了构建有效的Avro记录，冒号和句点将被更改为下划线。
• API名称：dbf-normalize
• 默认值：false
• 允许值：

• true
• false

• 表达式语言作用域：不支持
• 是否敏感：否
• 是否必需：是

使用Avro逻辑类型

是否对DECIMAL/NUMBER、DATE、TIME和TIMESTAMP列使用Avro逻辑类型。如果禁用，将写为字符串。如果启用，将使用逻辑类型并写为其基础类型，具体来说，DECIMAL/NUMBER作为逻辑“decimal”：写为字节，并带有额外的精度和小数位数元数据；DATE作为逻辑“date - millis”：写为表示自Unix纪元（1970 - 01 - 01）以来的天数的整数；TIME作为逻辑“time - millis”：写为表示自Unix纪元以来的毫秒数的整数；TIMESTAMP作为逻辑“timestamp - millis”：写为表示自Unix纪元以来的毫秒数的长整数。如果读取所写Avro记录的读取器也知道这些逻辑类型，那么根据读取器的实现，这些值可以在更多上下文信息下进行反序列化。

• 显示名称：使用Avro逻辑类型
• 描述：是否对DECIMAL/NUMBER、DATE、TIME和TIMESTAMP列使用Avro逻辑类型。如果禁用，将写为字符串。如果启用，将使用逻辑类型并写为其基础类型，具体来说，DECIMAL/NUMBER作为逻辑“decimal”：写为字节，并带有额外的精度和小数位数元数据；DATE作为逻辑“date - millis”：写为表示自Unix纪元（1970 - 01 - 01）以来的天数的整数；TIME作为逻辑“time - millis”：写为表示自Unix纪元以来的毫秒数的整数；TIMESTAMP作为逻辑“timestamp - millis”：写为表示自Unix纪元以来的毫秒数的长整数。如果读取所写Avro记录的读取器也知道这些逻辑类型，那么根据读取器的实现，这些值可以在更多上下文信息下进行反序列化。
• API名称：dbf - user - logicaltypes
• 默认值：false
• 允许值：

• true
• false

• 表达式语言作用域：不支持
• 是否敏感：否
• 是否必需：是

设置自动提交

启用或禁用数据库连接的自动提交功能。默认值为“true”。大多数JDBC驱动程序都可以使用默认值，并且在大多数情况下，此功能不会产生任何影响，因为此处理器用于读取数据。然而，对于某些JDBC驱动程序（如PostgreSQL驱动程序），需要禁用自动提交功能，以限制每次获取的结果行数。启用自动提交时，PostgreSQL驱动程序会一次性将整个结果集加载到内存中。在执行获取大量数据集的查询时，这可能会导致大量内存使用。有关PostgreSQL驱动程序中此行为的更多详细信息，请访问
https://jdbc.postgresql.org//documentation/head/query.html。

• 显示名称：设置自动提交
• 描述：启用或禁用数据库连接的自动提交功能。默认值为“true”。大多数JDBC驱动程序都可以使用默认值，并且在大多数情况下，此功能不会产生任何影响，因为此处理器用于读取数据。然而，对于某些JDBC驱动程序（如PostgreSQL驱动程序），需要禁用自动提交功能，以限制每次获取的结果行数。启用自动提交时，PostgreSQL驱动程序会一次性将整个结果集加载到内存中。在执行获取大量数据集的查询时，这可能会导致大量内存使用。有关PostgreSQL驱动程序中此行为的更多详细信息，请访问https://jdbc.postgresql.org//documentation/head/query.html。
• API名称：esql - autocommit
• 默认值：true
• 允许值：

• true
• false

• 表达式语言作用域：不支持
• 是否敏感：否
• 是否必需：是

提取大小

每次从结果集中提取的结果行数。这是对数据库驱动程序的一个提示，可能不会被遵守和/或不准确。如果指定的值为零，则忽略该提示。

• 显示名称：提取大小
• 描述：每次从结果集中提取的结果行数。这是对数据库驱动程序的一个提示，可能不会被遵守和/或不准确。如果指定的值为零，则忽略该提示。
• API名称：esql - fetch - size
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：是

每个FlowFile的最大行数

单个FlowFile中包含的最大结果行数。这将允许您将非常大的结果集分解为多个FlowFile。如果指定的值为零，则所有行将在单个FlowFile中返回。

• 显示名称：每个FlowFile的最大行数
• 描述：单个FlowFile中包含的最大结果行数。这将允许您将非常大的结果集分解为多个FlowFile。如果指定的值为零，则所有行将在单个FlowFile中返回。
• API名称：esql - max - rows
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：是

输出批次大小

在提交处理会话之前排队的输出FlowFile数量。当设置为零时，在处理完所有结果集行并且输出FlowFile准备好传输到下游关系时，将提交会话。对于大型结果集，这可能会导致在处理器执行结束时大量的FlowFile被传输。如果设置了此属性，当指定数量的FlowFile准备好传输时，将提交会话，从而将FlowFile释放到下游关系。注意：设置此属性时，FlowFile上不会设置fragment.count属性。

• 显示名称：输出批次大小
• 描述：在提交处理会话之前排队的输出FlowFile数量。当设置为零时，在处理完所有结果集行并且输出FlowFile准备好传输到下游关系时，将提交会话。对于大型结果集，这可能会导致在处理器执行结束时大量的FlowFile被传输。如果设置了此属性，当指定数量的FlowFile准备好传输时，将提交会话，从而将FlowFile释放到下游关系。注意：设置此属性时，FlowFile上不会设置fragment.count属性。
• API名称：esql - output - batch - size
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：是

最大等待时间

运行的SQL查询允许的最长时间，零表示没有限制。小于1秒的最大时间将被视为零。

• 显示名称：最大等待时间
• 描述：运行的SQL查询允许的最长时间，零表示没有限制。小于1秒的最大时间将被视为零。
• API名称：Max Wait Time
• 默认值：0秒
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：是

SQL查询语句

要执行的SQL查询语句。该查询可以为空、为常量值，也可以使用表达式语言从属性构建。如果指定了此属性，无论传入的FlowFile内容如何，都将使用该属性。如果此属性为空，则期望传入的FlowFile内容包含有效的SQL查询语句，由处理器发送到数据库。请注意，FlowFile内容中的表达式语言不会被计算。

• 显示名称：SQL查询语句
• 描述：要执行的SQL查询语句。该查询可以为空、为常量值，也可以使用表达式语言从属性构建。如果指定了此属性，无论传入的FlowFile内容如何，都将使用该属性。如果此属性为空，则期望传入的FlowFile内容包含有效的SQL查询语句，由处理器发送到数据库。请注意，FlowFile内容中的表达式语言不会被计算。
• API名称：SQL select query
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：否

SQL查询后语句

主SQL查询执行后执行的以分号分隔的查询列表。例如，在主查询后设置会话属性。可以通过使用反斜杠（';'）转义来在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。

• 显示名称：SQL查询后语句
• 描述：主SQL查询执行后执行的以分号分隔的查询列表。例如，在主查询后设置会话属性。可以通过使用反斜杠（';'）转义来在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。
• API名称：sql - post - query
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：否

SQL查询前语句

主SQL查询执行前执行的以分号分隔的查询列表。例如，在主查询前设置会话属性。可以通过使用反斜杠（';'）转义来在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。

• 显示名称：SQL查询前语句
• 描述：主SQL查询执行前执行的以分号分隔的查询列表。例如，在主查询前设置会话属性。可以通过使用反斜杠（';'）转义来在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。
• API名称：sql - pre - query
• 表达式语言作用域：环境变量和FlowFile属性
• 是否敏感：否
• 是否必需：否

动态属性

sql.args.N.type

传入的FlowFile预期为参数化的SQL语句。每个参数的类型指定为表示参数JDBC类型的整数。接受以下类型：[LONGNVARCHAR: -16]、[BIT: -7]、[BOOLEAN: 16]、[TINYINT: -6]、[BIGINT: -5]、[LONGVARBINARY: -4]、[VARBINARY: -3]、[BINARY: -2]、[LONGVARCHAR: -1]、[CHAR: 1]、[NUMERIC: 2]、[DECIMAL: 3]、[INTEGER: 4]、[SMALLINT: 5]、[FLOAT: 6]、[REAL: 7]、[DOUBLE: 8]、[VARCHAR: 12]、[DATE: 91]、[TIME: 92]、[TIMESTAMP: 93]、[VARCHAR: 12]、[CLOB: 2005]、[NCLOB: 2011]

• 名称：sql.args.N.type
• 描述：传入的FlowFile预期为参数化的SQL语句。每个参数的类型指定为表示参数JDBC类型的整数。接受以下类型：[LONGNVARCHAR: -16]、[BIT: -7]、[BOOLEAN: 16]、[TINYINT: -6]、[BIGINT: -5]、[LONGVARBINARY: -4]、[VARBINARY: -3]、[BINARY: -2]、[LONGVARCHAR: -1]、[CHAR: 1]、[NUMERIC: 2]、[DECIMAL: 3]、[INTEGER: 4]、[SMALLINT: 5]、[FLOAT: 6]、[REAL: 7]、[DOUBLE: 8]、[VARCHAR: 12]、[DATE: 91]、[TIME: 92]、[TIMESTAMP: 93]、[VARCHAR: 12]、[CLOB: 2005]、[NCLOB: 2011]
• 值：要提供的SQL类型参数
• 表达式语言作用域：无

sql.args.N.value

传入的FlowFile预期为参数化的SQL语句。参数的值指定为sql.args.1.value、sql.args.2.value、sql.args.3.value等。sql.args.1.value参数的类型由sql.args.1.type属性指定。

• 名称：sql.args.N.value
• 描述：传入的FlowFile预期为参数化的SQL语句。参数的值指定为sql.args.1.value、sql.args.2.value、sql.args.3.value等。sql.args.1.value参数的类型由sql.args.1.type属性指定。
• 值：要提供的参数
• 表达式语言作用域：无

sql.args.N.format

此属性始终是可选