百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Greenplum:你需要知道的PXF高级特性

haoteby 2025-03-07 19:08 40 浏览

作为新一代数据平台,Greenplum仅是一个数据库,更是可以作为核心,与各种数据工具协同工作的统一平台。这样大家都非常熟悉的Hadoop生态,就可以通过PXF与Greenplum协同工作。这里向大家介绍PXF组件的定义和功能,和实战展示该组件的使用范例。

  • PXF是什么

PXF是Pivotal Greenplum平台扩展框架(PXF),通过内置连接器提供对外部数据的访问。

PXF作为Greenplum的与Hadoop的集群数据交互的并行通道框架,在标准功能外,还支持自定义开发与扩展,在Greenplum的中通过PXF可以并行加载及并行卸载Hadoop的平台数据。如下图所示:

通过PXF,可以把Greenplum超强的结构化数据超强的存储和计算能力(一般不大于50PB的数据量)与Hadoop的海量半结构化,非结构化数据存储和分析能力结合起来,为企业数字化转型战略提供扎扎实的数据架构基础,其中Greenplum作为企业核心数据仓库(部分企业也通过Greenplum存储和处理半结构化及非结构化数据,如用户访问日志,文档等),Hadoop主要作为海量半结构化数据和非结构化数据的存储及处理平台,以及结构化历史流水数据的检索(Hbase)。

本次主要围绕Greenplum与Hadoop hdfs文件系统的数据交互进行,在Greenplum数据库中通过PXF协议读取hdfs中数据和向hdfs文件系统写入计算查询结果数据。

  • Greenplum PXF实战

Greenplum读取Hadoop hdfs文件

第一步:编写文本文件,并增加数据

第二步:查看数据

第三步:在greenplum中创造外部表

删除外部表jia;

创建外部表jia(位置文本,monthtext,num_orders int,total_sales float8)

位置('pxf://gao/test/jia.txt?PROFILE = Hadoop hdfsTextSimple')

格式'TEXT'(delimiter = E',');

step4:查看表中数据

Greenplum编写Hadoop hdfs文件

本章介绍如何从Greenplum中使用外部表写入Hadoop hdfs文件中。

第1步:创建可写外部表(不可查询)

删除外部表pxf_Hadoop hdfs_writabletbl_1;

创建可写的外部表
pxf_Hadoophdfs_writabletbl_1(位置文本,月份文本,num_orders int,total_salesfloat8)

位置('pxf://gao/test/gao.txt?PROFILE = Hadoop hdfsTextSimple')

格式'TEXT'(delimiter =',');

step2:往外部表写入数据

插入pxf_Hadoop hdfs_writabletbl_1SELECT * FROM pxf_Hadoop hdfs_textsimple;

第三步:查看Hadoop hdfs上的该文本文件

PXF作为GP的一种高级特性,帮助Greenplum与Hadoop相关产品实现数据互通。未来会向大家介绍Greenplum更多的高级特性,帮助大家更好的使用Greenplum这个数据平台。

相关推荐

蜗牛矿机改NAS后远程访问教程,花生壳盒子完美解决

今年不少烧友都在玩星际蜗牛的机器,,我也跟风入手一台,用星际蜗牛改装了一台NAS,在星际蜗牛上安装了多个版本的NAS系统,各方面都不错,就是远程访问功能实现不了。由于本地运营商不提供公网IP,就只能考...

不吹不黑,揭秘网工提升效率的7大神器!

作为一个网络工程师,在日常工作中肯定会使用许多方便的实用软件来提高效率,下面就简单介绍一下网络工程师常用的7种软件。01、FileZilla...

有线网间歇性断网?3个步骤帮你解决 90% 有线网中断问题

有线网络偶尔中断可能由硬件故障、网络设置、线路问题或外部干扰等多种因素导致。一、常见原因及验证方法1.硬件设备...

「这 25 年我被天气 PUA 的日常」

翻出手机相册里每年6月拍的天空,白到发亮的云层下总配着同一句文案:"热到裂开"。掐指一算被高温暴打的四分之一个世纪里,每个夏天都在上演《关于我和天气互相折磨的那些年》。2003年绝对...

数码爱好者必备工具:POWER-Z KM001C多功能测试仪

作为一名数码类爱好者,平时要测试手机、平板、充电器、充电宝等等电子产品,一款好用的测试工具尤为重要。近期,通过充电头网购入了一款POWER-ZKM001C多功能测试仪,主要用来平日里测试快充头和充电...

监控摄像头常用测试命令大全(摄像头测试项目)

以下是监控摄像头在Linux系统中常用的测试命令大全,涵盖设备检测、参数调整、视频录制、网络监控等方面,结合多个来源的信息整理而成:一、摄像头设备检测与调用1.查看摄像头设备①`ls/dev/v...

中级消防设施操作员考试-计算机基础知识学习笔记

消防设施操作员模块八计算机基础课程摘要消防设施操作员模块八主要介绍了计算机基础知识,包括计算机系统的组成和功能、硬件和软件、输入输出设备、外存储器、内存条、中央处理器、机箱等硬件部分,以及系统软件和应...

今日揭秘:上网行为监控软件是如何监控的?7个功能图文介绍

同事A:“哎,你们听说了吗?隔壁部门小王昨天上班刷短视频被领导抓包了!”同事B:“真的假的?公司不是没装摄像头吗?怎么知道的?”...

USB详细介绍(usb简介)

USB概念1.概念USB是通用串行总线(UniversalSerialBus),分为HOST/DEVICE两个角色,所有的数据传输都由主机主动发起,而设备只是被动的负责应答。例如,在读数据时,U...

程序员必备,Fiddler和spy-debugger的远程调试手机APP

背景笔者从事Web开发,不论是PC端还是APP端,调试抓包都是必不可少的环节,懂前端的人都知道,PC端调试非常方便,Chrome或者火狐等浏览器等都自带了非常方便且易于使用的开发者工具,便于我们抓包调...

通用无线网络破解抓包跑包教程(wifi抓包跑包教程)

由于很多的信号很强,但是后面都没有带WPS,怎么办呢,现在我给大家介绍一个简单的抓包跑字典的办法来解决这个难题,首先搜索信号,水滴,关注我的这个应该都会了吧!选择一个信号,点击启动,记住不是点...

抓包神器wireshark安装保姆级教程

简介当我们进行网络抓包时,我们通常需要借助其他的工具进行抓取,比如Charles,fiddler等,今天我们给大家介绍一款同样非常流行的抓包工具——wireshark,本文将介绍wireshark的安...

别让资料拖后腿!STM32开发‘作弊包’开源,工程师直呼内行!

一、开发环境与编译工具...

背完这套 Java 面试八股文,自动解锁面试牛逼症被动技能

前言国内的互联网面试,恐怕是现存的、最接近科举考试的制度。很多人对八股文都嗤之以鼻,认为无法衡量出一个程序员的真是水平。还有一部分人则是深恶痛绝,因为实在太难背了。但是国内大环境如此,互联网IT行...

混合云的多活架构指南(混合云架构图)

文/董晓聪吕亚霖在之前的《如何正确选择多云架构?》一文中介绍了混合云(广义的多云)的诸多架构以及各自的优势,本篇会重点来介绍下混合云下的多活架构。...