數據格式標準
GGUF（Georgi Gerganov Unified Format）是一種由llama.cpp提出的數據格式標準，主要用於存儲模型的tokenizer、weight、vocab和hyparameters。這種格式的表現形式是一箇二進制文件，例如gml-model-f16.gguf。GGUF是GGML團隊增加的一箇新功能，它允許在模型中添加額外的信息，而原來的GGML模型是不支持這一點的。GGUF被設計爲可擴展，以便未來有新功能時可以添加到模型中，而不會破壞與舊模型的兼容性。需要注意的是，這個功能是Breaking Change，意味着GGML新版本量化出來的模型都是GGUF格式的，這意味着舊的GGML格式最終會被GGUF格式取代，而且也不能將老的GGML格式直接轉成GGUF格式。