1iaan 3cc97b9454 实现全量持久化:save操作落盘,启动时读取到内存
增量持久化:执行修改操作时将cmd追加到log中,启动时逐条取出顺序执行
2026-01-07 18:43:28 +08:00
2024-05-25 14:23:43 +00:00
2026-01-06 19:16:12 +08:00
2024-05-25 14:23:43 +00:00
2024-05-25 14:23:43 +00:00
2024-05-25 14:23:43 +00:00
2024-05-25 14:30:54 +00:00
2024-05-21 14:16:44 +00:00
2024-05-25 14:23:43 +00:00
2024-05-18 14:10:08 +00:00
2026-01-06 19:16:12 +08:00
2026-01-06 19:16:12 +08:00
2024-05-18 14:10:08 +00:00
2024-05-25 14:23:43 +00:00

9.1 Kvstore

目前KV存储没有持久化down 之后 就清空。

  1. 全量持久化。 save() -> 全保存数据集。
  2. 增量持久化。 每执行一条,把命令写入文件里。下次允许把日志重新运行。

目前KV存储 key value 都是调用的 malloc 都是系统的内存分配。

  1. 会出现大量的内存碎片,实现一个内存池,管理内存数据。
  2. 对比有内存池和没有内存池的性能差异,以及开源内存池 jemalloc 的性能差别。
  3. 性能测:
    1. qps 有没有内存池。 2.虚拟内存的占用情况 htop。插入百万条数据集(KV*100wset 200w del 100w delete 200w set 100w)。

目前的kv存储是单指令的一条指令一交互。

从单挑指令实现批量处理。

对于同一个连接,目前缺少对以下情况的处理:

  1. 收到半包
  2. 收到多条消息

对不同连接隔离他们的消息到不同的缓冲区要不先不考虑不同的连接的情况Nytoco代码不是很熟。

如果read->execute->send->read同步循环不会出现缓冲区被覆盖的情况。但是可能会有半包或者两个命令都抵达了才触发事件。所以应用层需要解析到完整请求才执行下一步。

目前KV存储是一个单点服务实现一个主从同步的功能。

主从同步启动两个KVstore。在a里set在b里get。

目前的Key和Value都是单个单词的实现支持特殊字符。

如:空格回车换行。支持插入博客。

这里需要在协议中定义消息长度而不是特殊字符做分隔来确定哪些数据是key哪些是value。

还要修改底层不要用strlen和strcpy用memcpy。

面试题

  1. 为什么会实现kvstore使用场景在哪里
  2. reactor, ntyco, io_uring的三种网络模型的性能差异
  3. 多线程的kvstore该如何改进
  4. 私有协议如何设计会更加安全可靠?
  5. 协议改进以后,对已有的代码有哪些改变?
  6. kv引擎实现了哪些
  7. 每个kv引擎的使用场景以及性能差异
  8. 测试用例如何实现并且保证代码覆盖率超过90%
  9. 网络并发量如何qps如何
  10. 能够跟哪些系统交互使用?

架构设计

image

Description
No description provided
Readme 28 MiB
Languages
C 87.1%
Shell 3.6%
Makefile 3.3%
CMake 2.6%
Lua 2.5%
Other 0.9%