Ghostlink

針對異質本地集群的分散式LLM推論架構。具備零拷貝SPSC環形緩衝區、自動調校以及與OpenAI相容的API。

Ghostlink 是什麼？

針對異質本地集群的分散式LLM推論架構。具備零拷貝SPSC環形緩衝區、自動調校以及與OpenAI相容的API。