mormot 1.18 第11章 json - javascript对象表示法

json是一种用于指定数据结构和数组的行业标准格式。（它是ecma 404的一个子集。）虽然它最初是在javascript语言中定义的，但由于以下原因，它已成为一种流行的互联网格式，用于指定和交换数据：

• 它很紧凑，使用的数据字节比其他大多数格式都少
• 当增加足够的空格时，人类可以很容易地阅读
• 它解析效率高，因此可以非常快速地完成解析

其他替代方案是通用的xml（在rest/http中是json的替代方案），或iso osi网络模型中的asn.1/ber（用于ldap、snmp和其他一些互联网和osi协议）。

例如，考虑一个名字数组的json。

{
	"employees": [{
			"firstname": "john",
			"lastname": "doe"
		},
		{
			"firstname": "anna",
			"lastname": "smith"
		},
		{
			"firstname": "peter",
			"lastname": "jones"
		}
	]
}

使用xml的替代方案是：

<employees>
    <employee>
        <firstname>john</firstname>
        <lastname>doe</lastname>
    </employee>
    <employee>
        <firstname>anna</firstname>
        <lastname>smith</lastname>
    </employee>
    <employee>
        <firstname>peter</firstname>
        <lastname>jones</lastname>
    </employee>
</employees>

显然，json版本占用的空间更少，而且许多人发现它更具可读性。

一种名为bson的二进制编码版本因成功的mongodb nosql数据库而流行。它只是计算机优化的json版本。

mormot具有非常快的json编码和解码功能。针对服务器的性能，windows和linux在intel版本上进行了手动优化。开放平台版本是高效的pascal。

json/bson有许多用途。例如，您可能偶尔需要扩展一个字段以容纳比设计时设想的数据类型更多的数据。只要数据在范围内，就可以使用json在任何这样的字段中存储任何对象。

一些数据库，特别是postgresql和sqlite3，允许几乎任何大小的数据都适合在文本字段中。它们没有强加像varchar(3)这样的定义所隐含的严格限制。

mongodb以json/bson格式存储数据属性。我们将在nosql章节中介绍这一点。

在rest/http/s协议中，以及通常在html5/javascript页面使用ajax（异步javascript交换）时，json数据会在客户端和服务器之间发送。

它也是一种将数据临时保存到文件中以与其他程序交换的优秀方式，是现代csv（逗号分隔值）导入系统的替代方案。

11.1 与json之间的转换

在像类这样的对象和json之间转换的过程被称为序列化。为此，我们将使用tdocvariant，这是一种delphi variant类型。

tdocvariants由以下几部分组成：

• 名称/值对
• 值可以是任何类型，包括：
  • 值（dvobject子类型）
  • 数组（dvarray子类型）
  • 嵌套的tdocvariant（tdocvariant类型）

json的美妙之处在于它可以存储任何动态值对象的内容，你不需要坚持使用预定义的模式。你的对象可以嵌套到任何深度（受可用内存限制）。

赋值可以通过值或通过引用来进行。按值是默认的，也是最安全的，但当运行时必须复制一个大型json变量中的所有数据记录时，它的速度会较慢。按引用是最快的选择，并且可以立即进行引用计数赋值。

通过后期绑定在代码中访问属性几乎没有速度损失。此外，序列化和反序列化速度非常快，占用的内存也非常少。

与tdynarray动态数组包装器集成，就像记录序列化一样。

这将在后面进行描述。

任何包含作为已发布属性的变体自定义类型的tsqlrecord实例都将被mormot的核心识别，并会自动正确地将所有支持的数据库序列化为json。数据将存储在文本列中，而不是作为blob存储。

此外，任何基于接口的soa服务都能够使用或发布变体内容。

最后，变体实例与delphi的ide完全集成。当你在ide调试器中显示一个变体时，它将显示为json。

在你的程序中使用tdocvariants有两种方式：

• 作为常规的变体变量，然后使用后期绑定，或者更快的_safe()来访问数据。
• 作为tdocvariants，然后返回一个带有variant(sampledocvariant)的实例。

以下是一个示例：

var
  v: variant;
...
  tdocvariant.new(v); // 或者稍微慢一点的 v := tdocvariant.new;
  v.name := 'john';
  v.year := 1972;
  // 现在v包含 {"name":"john","year":1982}
  writeln(v);

var
  v1, v2: variant; // 作为任何变体存储
...
  v1 := _obj(['name', 'john', 'year', 1972]);
  v2 := _obj(['name', 'john', 'doc', _obj(['one', 1, 'two', 2.5])]); // 包含嵌套对象

然后，您可以通过两种方式将这些对象转换为json：

• 使用variantsavejson()函数，它直接返回一个utf-8内容。这是快速的方法。
• 将变体实例转换为字符串。这种方法较慢，但有效。

writeln(variantsavejson(v1));// 显式转换为rawutf8
writeln(v1); // 从变体隐式转换为字符串
// 这两个命令都将写入'"name":"john","year":1982

writeln(variantsavejson(v2)); // 显式转换为rawutf8
writeln(v2); // 从变体隐式转换为字符串
// 这两个命令都将写入'{”name”:”john”,”doc”:{”one”:1,”two”:2.5}}

在服务器代码中，您可能希望使用更快的方法，但如果您忘记在客户端中使用它，可能不会有太大的区别。

请记住，键名是在运行时确定的，因此如果您在键名上打错字，很可能会收到错误。

您可以使用exists方法来测试键的存在：

if not v1.exists('name') then
  v1.name := 'john';

请注意，您可以通过分配或重新分配值来轻松替换任何值。

v1.name := 'joe';
v1.name := 'joclyn';

您还可以使用v1.tojson进行反序列化，并且可以使用v1.delete(keyname)释放/删除/删除元素。

可以定义数组：

v1 := _arr(['john','mark','luke']);
v2 := _obj(['name','john','array', _arr(['one','two',2.5])]); // 作为嵌套数组
// _arr() 较慢，适用于客户端，_fastarr() 是服务器的选项。

如果您已经了解json，那么有一种高效的方法可以生成tdocvariants。

var
  v1,v2,v3,v4: variant; // 存储为任何变体
...
  v1 := _json('{"name":"john","year":1982}'); // 严格的json语法
  v2 := _json('{"name:"john",year:1982}');    // mongodb扩展语法用于名称
  v3 := _json('{"name":?,"year":?}',[],['john',1982]);
  v4 := _jsonfmt('{%:?,%:?}',['name','year'],['john',1982]);

  writeln(variantsavejson(v1));
  writeln(variantsavejson(v2));
  writeln(variantsavejson(v3));
  writeln( v4 );

所有这四个都会写入 { "name": "john", "year" : 1982 }

v3和v4的标记演示了变量的传递。

11.2 复制变体

通过_obj()、_arr()、_json()和_jsonfmt()创建的变体通常具有按值复制的模式，这意味着会将数据的副本放置在新变量中。这有两个主要影响：

• 性能较慢，尤其是当变体很大时
• 对变体副本所做的更改不会反映到实际对象上

例如：

v1 := _obj(['name', 'john', 'year', 1973]);
v2 := v1;
v2.name := 'josh';
writeln(v1.name, v2.name);

这将同时显示john和josh，因为变量是解耦的。

这四个函数还有一个可选的第二个参数dvovaluecopiedbyreference，它将改变上述程序的输出，以反映相同的耦合变量。

例如：

v1 := _obj(['name', 'john', 'year', 1973], [dvovaluecopiedbyreference]);
v2 := v1;
v2.name := 'josh';
writeln(v1.name, v2.name);

结果将是john和josh。

_objfast、_arrfast()、_jsonfast和_jsonfmtfast这四个函数只是调用同名函数的别名，但设置了dvovaluecopiedbyreference参数。

实际上，在典型的delphi编程中，当使用tobject后代时，您是通过引用来传递数据的，因此这应该是熟悉的领域。

您可以随时将tdocvariant更改为以下两种方式之一：

• 通过引用使用，调用_uniquefast(variable)
• 通过值使用，调用_unique(variable)

11.3 tdocvariant的用途

您会惊讶于tdocvariants的频繁使用。当您无法使用类或记录，因为您在设计时不知道所有字段时，它们非常有用。

mormot将在任何定义了变体属性的tsqlrecord派生类中支持tdocvariants；并且它会自动将结果作为json存储在数据库的文本字段中。

mormot在像nosql和日志记录这样的情况下使用tdocvariants，以及在所有可能的记录类型未预先定义且无法预先定义的情况下使用。tdocvarient为delphi带来了一个无模式类，这更类似于python或javascript等后期绑定语言。

tdocvariant是为html/javascript页面的ajax查询提供json的自然方式。

11.4 数据分片

有时将json对象存储在文本字段中是有效的，这被称为分片。

type

  tsqlrecorddata = class(tsqlrecord)
  private
    fname: rawutf8;
    fdata: variant;
  publishes 
    property name: rawutf8 read ftest write ftest stored as_unique;
    property data: variant read } fdata write fdata;
  end;

此记录中有三个字段：唯一id、唯一名称和data。

var

  arec: tsqlrecorddata;
  aid: tid;

begin

  // 初始化一个记录
  arec := tsqlrecorddata.create;
  arec.name := 'joe'; // 一个唯一键
  arec.data := _jsonfast('{name:"joe",age:30}');

  // 创建一个tdocvariant
  // 或者我们可以使用这种重载的构造函数来处理简单字段
  arec := tsqlrecorddata.create(['joe', _objfast(['name', 'joe', 'age', 30])]);

  // 现在我们可以处理数据，例如通过后期绑定：
  writeln(arec.name); // 将输出 'joe'
  writeln(arec.data); // 将输出 '{"name":"joe","age":30\}'

  // (自动转换为json字符串)}
  arec.data.age := arec.data.age + 1; // 年龄增加一岁
  arec.data.interests := 'football'; // 向模式添加属性
  aid := aclient.add(arec, true); // 将存储{"name":"joe","age":31,"interests":"football"}
  arec.free;

  // 现在我们可以通过aid创建的整数或通过name='joe'来检索数据

end;

在这里，我们已经将json数据存储在data字段中。以下sql函数可以从json描述的对象中返回属性。

jsonget函数	描述
jsonget(arrcolumn,0)	从json数组中按索引返回属性值
jsonget(objcolumn,'propname')	从json对象中按名称返回属性值
jsonget(objcolumn,'obj1.obj2.prop')	通过路径（包括嵌套的json对象）返回属性值
jsonget(objcolumn,'prop1,prop2')	从json对象中提取按名称指定的属性
jsonget(objcolumn,'prop1,obj1.prop')	从json对象中提取按名称（包括嵌套的json对象）指定的属性
jsonget(objcolumn,'prop*')	从json对象中提取按通配符名称指定的属性
jsonget(objcolumn,'prop,obj1.p')	从json对象中提取按通配符名称（包括嵌套的json对象）指定的属性

例如：

jsonget(objcolumn,'owner') = {"login":"smith","id":123456} 作为文本
jsonget(objcolumn,'owner.login') = "smith" 作为文本
jsonget(objcolumn,'owner.id') = 123456 作为整数
jsonget(objcolumn,'owner.name') = null
jsonget(objcolumn,'owner.login,owner.id') ={"owner.login":"smith","owner.id":123456} 作为文本
jsonget(objcolumn,'owner.i*') = {"owner.id":123456} 作为文本
jsonget(objcolumn,'owner.*') = {"owner.login":"smith","owner.id":123456} 作为文本
jsonget(objcolumn,'unknown.*') = null 

// 使用jsonhas返回true或false
jsonhas(objcolumn,'owner') = true
jsonhas(objcolumn,'owner.login') = true
jsonhas(objcolumn,'owner.name') = false
jsonhas(objcolumn,'owner.i*') = true
jsonhas(objcolumn,'owner.n*') = false

注意：本文由hieroly翻译于2024年04月26日