pg_lake_copy

概览

pkg 3.5.9; SQL 3.5; auto-loaded by pg_extension_base in dependency order.

版本

构建

您可以使用 pig build 命令构建 pg_lake 扩展的 RPM / DEB 包：

pig build pkg pg_lake         # 构建 RPM / DEB 包

安装

您可以直接安装 pg_lake 扩展包的预置二进制包，首先确保 PGDG 和 PIGSTY 仓库已经添加并启用：

pig repo add pgsql -u          # 添加仓库并更新缓存

使用 pig 或者是 apt/yum/dnf 安装扩展：

pig install pg_lake;          # 当前活跃 PG 版本安装

pig ext install -y pg_lake -v 18  # PG 18
pig ext install -y pg_lake -v 17  # PG 17
pig ext install -y pg_lake -v 16  # PG 16

dnf install -y pg_lake_18       # PG 18
dnf install -y pg_lake_17       # PG 17
dnf install -y pg_lake_16       # PG 16

apt install -y postgresql-18-pg-lake   # PG 18
apt install -y postgresql-17-pg-lake   # PG 17
apt install -y postgresql-16-pg-lake   # PG 16

预加载配置：

shared_preload_libraries = 'pg_extension_base';

创建扩展：

CREATE EXTENSION pg_lake_copy CASCADE;  -- 依赖: pg_lake_engine, pg_lake_iceberg, pg_lake_table

用法

来源：

• 版本 3.5 控制文件
• 官方数据湖导入和导出指南
• 官方文件格式参考
• 3.4 至 3.5 SQL 迁移

pg_lake_copy 扩展了 PostgreSQL COPY，使得查询、堆表、外部湖表和 Iceberg 表可以与本地路径、HTTP 端点以及配置的对象存储交换 Parquet、CSV 或换行符分隔的 JSON 文件。它通过钩子添加行为，并没有独立的 SQL 函数 API。

pg_lake 发布与软件包版本为 3.5.3，SQL 扩展版本为 3.5。动态库与查询服务器应使用同一发布版本。

启用组件

正常的入口点会一起安装 pg_lake_copy 及其精确依赖项：

CREATE EXTENSION pg_lake CASCADE;

它的控制文件需要 pg_lake_engine、pg_lake_iceberg 和 pg_lake_table。部署时还须将 pg_extension_base 加入 shared_preload_libraries，并启动 pgduck_server。

导出和导入

格式可以从路径后缀推断或显式选择：

COPY (
    SELECT event_id, event_time, payload
    FROM events
    WHERE event_time >= DATE '2026-07-01'
)
TO 's3://analytics-bucket/events/july.parquet'
WITH (format 'parquet');

COPY events_archive
FROM 's3://analytics-bucket/events/july.parquet'
WITH (format 'parquet');

CSV 与压缩输出使用湖写入器扩展的 COPY 选项：

COPY (SELECT * FROM daily_summary)
TO 's3://analytics-bucket/summary/daily.csv.gz'
WITH (format 'csv', header true, compression 'gzip');

目标可以是 PostgreSQL 堆表或 Iceberg 表；源也可以是安装的 pg_lake 堆栈支持的任何查询。

格式和运行时边界

• Parquet 是列式的，并保留了受支持的数据类型值；CSV 和换行符分隔的 JSON 有特定格式的推断和转换选项，这些选项在上游文档中有所说明。
• 对象存储访问通过 pgduck_server 进行。其凭据链、网络访问以及桶权限必须允许请求的读取或写入。
• COPY 是一个语句，并参与外围的 PostgreSQL 事务，但远程文件和清理也依赖于 pg_lake 事务/队列机制。在重试大规模导出之前，请检查失败的操作和孤儿清理。
• 版本 3.5 没有为 pg_lake_copy 新增独立 SQL API；从 3.4 到 3.5 的迁移脚本为空。COPY 行为仍取决于匹配的湖扩展动态库和查询服务器二进制。