IBM Granite

IBM Granite
Логотип программы IBM Granite
Скриншот программы IBM Granite
Снимок экрана примера ответа Granite, описывающего Википедию
Тип Мультимодальное обучение
Большая языковая модель
Генеративный предобученный трансформер
Фундаментальная модель[англ.]
Разработчик IBM Research[англ.][1]
Первый выпуск 7 ноября 2023; 15 месяцев назад (2023-11-07)
Аппаратные платформы IBM Watsonx[англ.] (изначально)
GitHub
Hugging Face
RHEL AI
Лицензия Проприетарная
Модели кода: Открытый исходный код (Apache 2.0)[2]
Сайт ibm.com/granite
Логотип Викисклада Медиафайлы на Викискладе

IBM Granite — серия моделей искусственного интеллекта, разработанных компанией IBM, которые используют архитектуру декодера[англ.] (decoder-only).[3] Анонс этих моделей состоялся 7 сентября 2023 года,[4][5] а через 4 дня была опубликована первая статья о них.[6] Изначально они предназначались для использования в облачной платформе Watsonx[англ.] от IBM.[7] Позже IBM открыла исходный код.[8][9] Модели Granite обучены на наборах данных, собранных из Интернета, научных публикаций, а также документов из юридической[англ.] и финансовой сфер.[1][10][11]

Фундаментальные модели

Фундаментальная модель[англ.] (Foundation model) — модель искусственного интеллекта, обученная на данных в большом масштабе, что позволяет адаптировать её к широкому спектру задач.[12]

Первые фундаментальные модели Granite — это Granite.13b.instruct и Granite.13b.chat. Число «13b» в их названии означает 13 миллиардов — количество параметров этих моделей, что меньше, чем у большинства больших моделей того времени. Более поздние версии варьируются от 3 до 34 миллиардов параметров.[4][13]

6 мая 2024 года IBM открыла исходный код своей серии моделей Granite Code, выпустив четыре варианта под лицензией Apache 2, позволяющей свободное использование, модификацию и распространение программного обеспечения. Модели были размещены на платформе Hugging Face для публичного доступа.[14][15] Согласно собственному отчёту IBM, модель Granite 8b демонстрирует более высокую производительность, чем LLaMA 3, в различных задачах, связанных с программированием, при сопоставимом количестве параметров.[8][16]

21 октября 2024 — анонс Granite 3.0 с моделями 2B/8B для бизнес-задач, интеграцией с NVIDIA NIM и Google Cloud.[17]

См.также

Примечания

  1. ↑ 1 2 McDowell, Steve. IBM's New Granite Foundation Models Enable Safe Enterprise AI. Forbes.
  2. ↑ ibm-granite/granite-code-models, IBM Granite, 8 мая 2024, Дата обращения: 9 февраля 2025
  3. ↑ IBM Granite. IBM (24 июня 2024).
  4. ↑ 1 2 Nirmal, Dinesh. Building AI for business: IBM's Granite foundation models. IBM (7 сентября 2023).
  5. ↑ IBM debuts Granite series of hardware-efficient language models (7 сентября 2023).
  6. ↑ Granite Foundation Models (PDF). IBM (30 ноября 2023).
  7. ↑ Fritts, Harold. IBM Adds Meta Llama 3 To watsonx, Expands AI Offerings (амер. англ.). StorageReview.com (22 апреля 2024). Дата обращения: 9 февраля 2025.
  8. ↑ 1 2 Jindal, Siddharth. IBM Releases Open-Source Granite Code Models, Outperforms Llama 3 (амер. англ.). Analytics India Magazine (7 мая 2024). Дата обращения: 9 февраля 2025.
  9. ↑ Open sourcing IBM's Granite code models (9 февраля 2021).
  10. ↑ Azhar, Ali. IBM Patents a Faster Method to Train LLMs for Enterprises. Datanami (8 апреля 2024). Дата обращения: 9 февраля 2025.
  11. ↑ Wiggers, Kyle. IBM rolls out new generative AI features and models (амер. англ.). TechCrunch (7 сентября 2023). Дата обращения: 9 февраля 2025.
  12. ↑ Introducing the Center for Research on Foundation Models (CRFM). Stanford HAI (18 августа 2021).
  13. ↑ Pawar, Sahil. IBM Introduces Granite Series LLM Models for Watsonx Platform (амер. англ.). Analytics Drift (11 сентября 2023). Дата обращения: 9 февраля 2025.
  14. ↑ Nine, Adrianna (2024-05-07). "IBM Makes Granite AI Models Open-Source Under New InstructLab Platform". ExtremeTech[англ.].
  15. ↑ IBM open-sources its Granite AI models - and they mean business (англ.). ZDNET. Дата обращения: 9 февраля 2025.
  16. ↑ Synced. IBM's Granite Code: Powering Enterprise Software Development with AI Precision | Synced (амер. англ.). syncedreview.com (13 мая 2024). Дата обращения: 9 февраля 2025.
  17. ↑ Maryam, Ashoori. IBM’s New Granite 3.0 Generative AI Models Are Small, Yet Highly Accurate and Efficient (амер. англ.). Nvidia (21 сентября 2024). Дата обращения: 9 февраля 2025.

Ссылки