Go RPC(一)- Gobs of Data

AI 摘要: Go的Gob包是一个高效、易用的编码系统,用于传输数据的包。其主要目标是易于使用和传输效率,而且Gob流必须是自我描述的。与协议缓冲区相比,Gob包可以对任意类型的数据进行编码和解码。值得注意的是,Gob值与Go中的常量类似,不区分大小和有无符号,同时也可以对指针类型进行编码。Gob包可以与Go的rpc包一起使用,用于通过网络进行方法调用。

Go的Gob包是一个专职于Go语言的高效,易用的编码系统,用于传输数据的包

1. 概述

要通过网络传输数据结构或将其存储在文件中,必须对其进行编码然后再次解码。当然有很多可用的编码:JSON,XML,Google的协议缓冲区(protocol buffers)等等。

现在还有另一个,由Go的gob包提供。为何需要gob包?

因为对于特定于Go的环境,例如在使用Go编写的两个服务器之间进行通信,则有机会构建更多内容更容易使用,可能更有效。

2. gob的主要目标

  • 易于使用:gobs永远不会与其他语言一起使用;因为Go有反射,所以不需要单独的接口定义语言或“协议编译器”;
  • 传输效率:以XML和JSON为例的文本表示太慢,无法置于高效通信网络的中心。二进制编码是必要的;
  • Gob流必须是自我描述的:即使在您忘记它代表的数据之后很久,也始终能够解码存储在文件中的gob流;

3. Pbf的功能缺陷

协议缓冲区对gob的设计有重大影响,但有三个特意被故意避免。(不考虑协议缓冲区不是自描述的属性:如果您不知道用于编码协议缓冲区的数据定义,则可能无法解析它。)

  • 首先,协议缓冲区仅适用于我们在Go中称为结构的数据类型。(Pbf您不能在顶层编码整数或数组,只能将其放入到对应的包含字段的结构。)
  • 其次,协议缓冲器定义可以指定每当编码或解码类型T的值时都需要存在字段T.x和T.y。(它们也是一个维护问题。随着时间的推移,人们可能希望修改数据定义以删除必填字段,但这可能会导致数据的现有客户端崩溃。)
  • 再次,是默认值问题。(Pbf的默认值增加了设计和实现的复杂性,Gob基于Go的默认值规则,它具有该类型的“零值” - 并且它不需要传输

所以gob最终看起来像一种通用的,简化的协议缓冲区。

4. gob值 - 忽略零值,类型可变

gob值类似于go中的常量,对于类似int8和int16没有做区分,同样针对有符合和无符号也未做区分,比如值7,字节传输过程中的值有符号和无符号被相同的传递,接收值针对值进行解码操作,因此编码的值可能是int8类型,接收值类型变为int64。这个值是一个整数,只要它适合,一切都有效(不适合转换的会报错),这种与变量大小的分离为编码提供了一些灵活性:我们可以随着软件的发展扩展整数变量的类型,但仍然能够解码旧数据。

这种灵活性也适用于指针。比如int8, *int8, **int8, ****int8

1
2
3
4
5
6
7
// 发送者编码(没有必要发送零值)
type T struct{ X, Y, Z int } // Only exported fields are encoded and decoded.
var t = T{X: 7, Y: 0, Z: 8}

// 接收者解码(仅存在的字段收到影响,Z字段被忽略)
type U struct{ X, Y *int8 } // Note: pointers to int8s
var u U

从整数我们可以构建所有其他类型:字节,字符串,数组,切片,映射,甚至浮点数。浮点值由它们的IEEE 754浮点位模式表示,存储为整数,只要您知道它们的类型就可以正常工作,我们总是这样做。顺便说一句,该整数以字节反转顺序发送,因为浮点数的常见值(如小整数)在低端有很多零,我们可以避免传输。

Go使得gobs的一个很好的特性是它们允许你通过让你的类型满足GobEncoderGobDecoder接口来定义自己的编码,类似于JSON包的MarshalerUnmarshaler,以及来自包fmt的Stringer接口。此工具可以在传输数据时表示特殊功能,强制执行约束或隐藏机密。

5. gob类型底层实现 - 首次传递包含类型描述,后续基于类型编码ID

第一次发送给定类型时,gob包在数据流中包含该类型的描述。实际上,所发生的是编码器用于以标准gob编码格式编码描述类型的内部结构并为其提供唯一编号。 (基本类型,以及类型描述结构的布局,由软件预定义用于自举。)在描述类型之后,可以通过其类型编号引用它。

因此,当我们发送第一个类型T时,gob编码器发送T的描述并用类型编号标记它,比如127.所有值(包括第一个)都以该数字为前缀,因此T值流看起来像:

1
2
3
4
5
6
7
8
// go结构体类型
type Node struct {
    Value       int
    Left, Right *Node
}

// 编码后,拥有ID127标识
("define type id" 127, definition of type T)(127, T value)(127, T value), ...

6. 编译机器 - 利用Go的反射构造

6.1. 编码

第一次编码给定类型的值时,gob包会构建一个特定于该数据类型的解释机器。

gob包使用类型的反射来构造该机器,但是一旦机器被构建,它就不依赖于反射。

该机器使用包不安全和一些技巧将数据高速转换为编码字节。它可以使用反射并避免不安全,但会明显变慢。 (Go的协议缓冲支持采用了类似的高速方法,其设计受到gob实现的影响。)

相同类型的后续值使用已编译的机器,因此可以立即对它们进行编码。

6.2. 解码

解码类似但更难。解码值时,gob包保存一个字节切片,表示要解码的给定编码器定义类型的值,以及要对其进行解码的Go值

gob包为这一对构建了一台机器:在线上发送的gob类型与提供解码的Go类型交叉。然而,一旦构建了解码机,它又是一个无反射的引擎,它使用不安全的方法来获得最大速度。

7. gob使用 - 高效,易用的编码系统,用于传输数据。

利用gob传输数据,需要做的就是为gob包提供值和变量,它可以完成所有的工作。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
package main

import (
    "bytes"
    "encoding/gob"
    "fmt"
    "log"
    "time"
)

// 发送数据类型
type P struct {
    X, Y, Z  int
    Name     string
    BirthDay time.Time
    Phone    string
    deleted  bool   //小写开头不会被导出
}

// 接收数据类型
type Q struct {
    X, Y *int32
    Name string
    BirthDay time.Time
    Phone    string
    deleted  bool
}

func main() {
    // Initialize the encoder and decoder.  Normally enc and dec would be
    // bound to network connections and the encoder and decoder would
    // run in different processes.

    // 网络连接IO
    var network bytes.Buffer // Stand-in for a network connection

    // 发送者编码:Encode (send) the value.
    p := P{3, 4, 5, "Pythagoras", time.Now(), "18503061234", true}
    enc := gob.NewEncoder(&network) // Will write to network.
    err := enc.Encode(p)
    if err != nil {
        log.Fatal("encode error:", err)
    }

    // 接收者解码:Decode (receive) the value.
    var q Q
    dec := gob.NewDecoder(&network) // Will read from network.
    err = dec.Decode(&q)
    if err != nil {
        log.Fatal("decode error:", err)
    }
    fmt.Printf("%q: {%d,%d, %s, %s, %v}\n", q.Name, *q.X, *q.Y, q.BirthDay, q.Phone, q.deleted)
}

8. 应用 - go的rpc包

pc软件包构建在gobs之上,可将此编码/解码自动化转换为传输,以便通过网络进行方法调用。

9. 参考