BLOOM模型是一個由BigScience組織開發和發布的開源語言模型，其全稱為BigScience Large Open-science Open-access Multilingual Language Model。該模型是基於Transformer的解碼器-only（Decoder-Only）架構，具有1760億參數，與GPT-3具有相同的規模。BLOOM模型是在名為ROOTS的語料庫上進行訓練的，該語料庫包含46種自然語言和13種程式語言，總計59種語言。
BLOOM模型的特點包括：
開源性：BLOOM是第一個開源且參數規模超過1000億的語言模型。
參與人員：超過1000名研究人員參與了BLOOM模型的開發，這些研究人員來自全球250多個機構和60個國家。
訓練成本：訓練BLOOM模型的算力成本超過300萬歐元，由CNRS和GENCI提供支持。訓練是在法國巴黎的Jean Zay超級計算機上完成的。
性能：在多個數據源上實現了良好的性能，展現了其在自然語言處理任務中的強大能力。
BigScience組織是一個開放式協作組織，旨在促進學術界、非營利組織和小型公司的研究實驗室能夠更好地研究和利用大型語言模型（LLM）。BLOOM模型的發布是BigScience組織的一個重要成果，它為全球研究者提供了一個強大且免費的工具，以推動人工智慧技術的發展。