ggml是什麼

GGML是一箇專注於機器學習的C庫，主要用於幫助開發者在消費級硬件上運行大型語言模型(LLM)。

GGML由Georgi Gerganov創建，是一箇純C語言編寫的框架，旨在降低內存消耗，提高運行效率。它定義了用於分發大型語言模型的二進制格式，並使用了量化技術，使模型能夠在不同的硬件上運行。GGML目前主要被業餘愛好者使用，但在企業模型部署方面也有廣泛的應用前景。