mAI CPU — собственная языковая модель на 300 млн параметров

Описание кейса

  • Программирование и IT
  • Искусственный интелект

Ссылка на проект:

https://github.com/manxeun/MoutCPU

Разработал собственную языковую модель mAI CPU с нуля на архитектуре Transformer, без использования готовой базовой модели. Размер модели — около 300 млн параметров. Настроил обучение, токенизацию, инференс и собственный пайплайн запуска модели. Работал с Python, PyTorch и собственной инфраструктурой для экспериментов и тестирования.

Прикрепленные файлы

  • 32.png

Полный макет кейса

Другие работы исполнителя

  • example-image

    Moutcome

  • example-image

    mAI Sage — собственный AI-ассистент на базе ...