Greenplum:你需要知道的PXF高级特性
haoteby 2025-03-07 19:08 49 浏览
作为新一代数据平台，Greenplum仅是一个数据库，更是可以作为核心，与各种数据工具协同工作的统一平台。这样大家都非常熟悉的Hadoop生态，就可以通过PXF与Greenplum协同工作。这里向大家介绍PXF组件的定义和功能，和实战展示该组件的使用范例。
- PXF是什么
PXF是Pivotal Greenplum平台扩展框架（PXF），通过内置连接器提供对外部数据的访问。
PXF作为Greenplum的与Hadoop的集群数据交互的并行通道框架，在标准功能外，还支持自定义开发与扩展，在Greenplum的中通过PXF可以并行加载及并行卸载Hadoop的平台数据。如下图所示：
通过PXF，可以把Greenplum超强的结构化数据超强的存储和计算能力（一般不大于50PB的数据量）与Hadoop的海量半结构化，非结构化数据存储和分析能力结合起来，为企业数字化转型战略提供扎扎实的数据架构基础，其中Greenplum作为企业核心数据仓库（部分企业也通过Greenplum存储和处理半结构化及非结构化数据，如用户访问日志，文档等），Hadoop主要作为海量半结构化数据和非结构化数据的存储及处理平台，以及结构化历史流水数据的检索（Hbase）。
本次主要围绕Greenplum与Hadoop hdfs文件系统的数据交互进行，在Greenplum数据库中通过PXF协议读取hdfs中数据和向hdfs文件系统写入计算查询结果数据。
- Greenplum PXF实战
Greenplum读取Hadoop hdfs文件
第一步：编写文本文件，并增加数据
第二步：查看数据
第三步：在greenplum中创造外部表
删除外部表jia;
创建外部表jia（位置文本，monthtext，num_orders int，total_sales float8）
位置（'pxf：//gao/test/jia.txt？PROFILE = Hadoop hdfsTextSimple'）
格式'TEXT'（delimiter = E'，'）;
step4：查看表中数据
Greenplum编写Hadoop hdfs文件
本章介绍如何从Greenplum中使用外部表写入Hadoop hdfs文件中。
第1步：创建可写外部表（不可查询）
删除外部表pxf_Hadoop hdfs_writabletbl_1;
创建可写的外部表
pxf_Hadoophdfs_writabletbl_1（位置文本，月份文本，num_orders int，total_salesfloat8）
位置（'pxf：//gao/test/gao.txt？PROFILE = Hadoop hdfsTextSimple'）
格式'TEXT'（delimiter ='，'）;
step2：往外部表写入数据
插入pxf_Hadoop hdfs_writabletbl_1SELECT * FROM pxf_Hadoop hdfs_textsimple;
第三步：查看Hadoop hdfs上的该文本文件
PXF作为GP的一种高级特性，帮助Greenplum与Hadoop相关产品实现数据互通。未来会向大家介绍Greenplum更多的高级特性，帮助大家更好的使用Greenplum这个数据平台。
相关推荐
- 一日一技:用Python程序将十进制转换为二进制
-
用Python程序将十进制转换为二进制通过将数字连续除以2并以相反顺序打印其余部分，将十进制数转换为二进制。在下面的程序中，我们将学习使用递归函数将十进制数转换为二进制数，代码如下：...
- 十进制转化成二进制你会吗?#数学思维
-
六年级奥赛起跑线：抽屉原理揭秘。同学们好，我是你们的奥耀老师。今天一起来学习奥赛起跑线第三讲二进制计数法。例一：把十进制五十三化成二进制数是多少？首先十进制就是满十进一，二进制就是满二进一。二进制每个...
- 二进制、十进制、八进制和十六进制，它们之间是如何转换的?
-
在学习进制时总会遇到多种进制转换的时候，学会它们之间的转换方法也是必须的，这里分享一下几种进制之间转换的方法，也分享两个好用的转换工具，使用它们能够大幅度的提升你的办公和学习效率，感兴趣的小伙伴记得点...
- c语言-2进制转10进制_c语言 二进制转十进制
-
#include<stdio.h>intmain(){charch;inta=0;...
- 二进制、八进制、十进制和十六进制数制转换
-
一、数制1、什么是数制数制是计数进位的简称。也就是由低位向高位进位计数的方法。2、常用数制计算机中常用的数制有二进制、八进制、十进制和十六进制。...
- 二进制、十进制、八进制、十六进制间的相互转换函数
-
二进制、十进制、八进制、十六进制间的相互转换函数1、输入任意一个十进制的整数，将其分别转换为二进制、八进制、十六进制。2、程序代码如下：#include<iostream>usingna...
- 二进制、八进制、十进制和十六进制等常用数制及其相互转换
-
从大学开始系统的接触计算机专业，到现在已经过去十几年了，今天整理一下基础的进制转换，希望给还在上高中的表妹一个入门的引导，早日熟悉这个行业。一、二进制、八进制、十进制和十六进制是如何定义的？二进制是B...
- 二进制如何转换成十进制?_二进制如何转换成十进制例子图解
-
随着社会的发展，电器维修由继电器时代逐渐被PLC，变频器，触摸屏等工控时代所替代，特别是plc编程，其数据逻辑往往涉及到数制二进制，那么二进制到底是什么呢？它和十进制又有什么区别和联系呢？下面和朋友们...
- 二进制与十进制的相互转换_二进制和十进制之间转换
-
很多同学在刚开始接触计算机语言的时候，都会了解计算机的世界里面大多都是二进制来表达现实世界的任何事物的。当然现实世界的事务有很多很多，就拿最简单的数字，我们经常看到的数字大多都是十进制的形式，例如：我...
- 十进制如何转换为二进制，二进制如何转换为十进制
-
用十进制除以2，除的断的，商用0表示；除不断的，商用1表示余0时结束假如十进制用X表示，用十进制除以2，即x/2除以2后为整数的（除的断的），商用0表示；除以2除不断的，商用1表示除完后的商0或1...
- 十进制数如何转换为二进制数_十进制数如何转换为二进制数举例说明
-
我们经常听到十进制数和二进制数，电脑中也经常使用二进制数来进行计算，但是很多人却不清楚十进制数和二进制数是怎样进行转换的，下面就来看看，十进制数转换为二进制数的方法。正整数转二进制...
- 二进制转化为十进制，你会做吗?一起来试试吧
-
今天孩子问把二进制表示的110101改写成十进制数怎么做呀？，“二进制”简单来说就是“满二进一”，只用0和1共两个数字表示，同理我们平常接触到的“十进制”是“满十进一”，只用0-9共十个数字表示。如果...
- Mac终于能正常打游戏了!苹果正逐渐淘汰Rosetta转译
-
Mac玩家苦转译久矣！WWDC2025苹果正式宣判Rosetta死刑，原生游戏时代终于杀到。Metal4光追和AI插帧技术直接掀桌，连Steam都连夜扛着ARM架构投诚了。看到《赛博朋克2077》...
- 怎么把视频的声音提出来转为音频?音频提取，11款工具实测搞定
-
想把视频里的声音单独保存为音频文件（MP3/AAC/WAV/FLAC）用于配音、播客、听课或二次剪辑？本文挑出10款常用工具，给出实测可复现的操作步骤、优缺点和场景推荐。1）转换猫mp3转换器（操作门...
- 6个mp4格式转换器测评:转换速度与质量并存!
-
MP4视频格式具有兼容性强、视频画质高清、文件体积较小、支持多种编码等特点，适用于网络媒体传播。如果大家想要将非MP4格式的视频转换成MP4的视频格式的话，可以使用MP4格式转换器更换格式。本文分别从...