低时延

宏观,主要指架构、算法这一层次,而微观指深度关注底层的软硬件,比如 CPU、网络、操作系统等。

以 CPU 为例,从第一性原理分解,要充分压榨其性能,需熟悉两方面:数据与指令。

  • 数据,是低延迟关注的第一要务,包括了亲缓存性与扁平数据模型、内存对齐、减少cache miss、copy free等等。

  • 指令,则是其次要重视的,包括了无分支、向量化(如SIMD)等。