/llm-inference/lightllm

https://github.com/ModelTC/lightllm

https://github.com/ModelTC/lightllm/blob/main/docs/LightLLM.md

• lightllm代码解读——显存管理机制：https://zhuanlan.zhihu.com/p/667730434

• lightllm代码解读——之模型推理：https://zhuanlan.zhihu.com/p/666731524

• https://github.com/ModelTC/lightllm/tree/main

• LightLLM：纯Python超轻量高性能LLM推理框架: https://mp.weixin.qq.com/s/-wMLMGAHkxeyDYkixqni9Q