Vicuna模型是一個基於LLaMA模型的微調版本，專門設計用於處理多輪對話和長序列。以下是Vicuna模型的主要特點和訓練過程：
數據來源：Vicuna模型使用從ShareGPT收集的用戶共享數據進行微調。ShareGPT是一個ChatGPT數據共享網站，用戶會上傳自己覺得有趣的ChatGPT回答。
訓練過程：
數據收集：首先從ShareGPT收集了大約7萬個對話。
訓練腳本改進：改進了斯坦福Alpaca提供的訓練腳本，以更好地處理多輪對話和長序列。
訓練環境：訓練是在8個A100 GPU上，使用PyTorch FSDP（Fully Sharded Data Parallel）在一天內完成的。
技術改進：
記憶體最佳化：為了使Vicuna能夠理解長上下文，將最大上下文長度從512擴展到2048，以增加對長對話的理解能力。同時，利用梯度檢查點和快閃記憶體注意力來解決記憶體壓力問題。
多輪對話處理：調整訓練損失以考慮多輪對話，並僅根據聊天機器人的輸出計算微調損失，以提高對話的連貫性和自然度。
開源與商業使用限制：Vicuna模型是完全開源的，但研究團隊明確強調，該模型不能用於任何商業目的。
通過上述改進和技術最佳化，Vicuna模型在理解和生成多輪對話方面表現出色，尤其是在處理長序列時。