protocol buffer

四十一、SparkSQL读取parquet数据源(必须要弄懂)

1.Parquet文件介绍ApacheParquet是Hadoop生态圈中一种新型的列式存储格式，它可以兼容Hadoop生态圈中大多数据的计算框架，如Hadoop,Spark，它也被多种查询引擎所支持，例如Hive,Impala等，而且它是跨语言和平台的。Parquet的产生是由Twitter...

Tensorflow 学习笔记(一)TensorFlow入门

一、计算模型----计算图1.1计算图的概念：TensorFlow就是通过图的形式绘制出张量节点的计算过程，例如下图执行了一个a+b的操作。1.2计算图的使用TensorFlow程序一般分为两个阶段。第一个阶段定义计算图中的所有计算，第二个阶段执行计算（执行会话）。阶段一...

解读Mesos（解读虎牙2024年Q1财报）

Mesos是Apache下的开源分布式资源管理框架，今天的介绍主要有以下几个方面：1.WhyMesos2.WhatisMesos3.MesosInternal...

万字长文解密数据异构最佳实践(含完整代码实现)

写在前面在当今互联网行业，尤其是现在分布式、微服务开发环境下，为了提高搜索效率，以及搜索的精准度，会大量使用Redis、Memcached等NoSQL数据库，也会使用大量的Solr、Elasticsearch等全文检索服务和搜索引擎。那么，这个时候，就会有一个问题需要我们来思考和解决：那就是数据同步...

protobuf之序列化数据和反序列化数据基础知识

什么是protobufProtocalBuffers(简称protobuf)是谷歌的一项技术，用于结构化的数据序列化...

阿里开源MySQL中间件Canal快速入门

前言距离上一篇文章发布又过去了两周，这次先填掉上一篇秒杀系统文章结尾处开的坑，介绍一下数据库中间件Canal的使用。「Canal用途很广，并且上手非常简单，小伙伴们在平时完成公司的需求时，很有可能会用到。」举个例子：公司目前有多个开发人员正在开发一套服务，为了缩短调用延时，对部分接口数据加入了缓存。...

Go 官宣:新版 Protobuf API（protocol version）

原文作者：JoeTsai,DamienNeil和HerbieOng原文链接：https://blog.golang.org/a-new-go-api-for-protocol-buffers发布时间：2020-03-02翻译：polaris，Go语言中文网...

grpc-我们为什么要用gRpc?（grpc为什么不用tcp）

首先我们要知道什么是RPC。Rpc基本概念RPC（RemoteProcedureCall）远程过程调用是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议，简单的理解是一个节点请求另一个节点提供的服务。RPC只是一套协议，基于这套协议规范来实现的框架都可以称为RPC框...

基于NIO的高速数据传输技术的实现

郭金磊，张玉生，胡爱兰（华北计算机系统工程研究所，北京100083）：随着大数据技术的发展，多线程高并发等技术已经越来越成为大数据处理中的关键技术。非阻塞式I/O(newI/O,NIO)技术作为一种分布式高并发技术被广泛应用，但对于大数据量的通信往往需要很多的时间才能完成。Google提出的Pr...

GO语言:Protobuf协议语法及原理（protobuf和http）

Protobuf协议语法message：Protobuf中定义一个数据结构需要用到关键字message，这一点和Java的class，Go语言中的struct类似。标识号：在消息的定义中，每个字段等号后面都有唯一的标识号，用于在反序列化过程中识别各个字段的，一旦开始使用就不能改变。标识号从整数1开...