MACaQ
針對 GGUF 的 SOTA 模型無關量化,本地推論及其他應用。使用 llama.cpp、vLLM、Diffusers 和量化並執行文字、圖像、影片和音訊模型
MACaQ 是什麼?
針對 GGUF 的 SOTA 模型無關量化,本地推論及其他應用。使用 llama.cpp、vLLM、Diffusers 和 PyTorch 量化並執行文字、圖像、影片和音訊模型。
針對 GGUF 的 SOTA 模型無關量化,本地推論及其他應用。使用 llama.cpp、vLLM、Diffusers 和量化並執行文字、圖像、影片和音訊模型
針對 GGUF 的 SOTA 模型無關量化,本地推論及其他應用。使用 llama.cpp、vLLM、Diffusers 和 PyTorch 量化並執行文字、圖像、影片和音訊模型。