Lemur70B: возможности SOTA open LLM по балансировке текста и кода

Представляем Lemur: современные открытые предварительно обученные большие языковые модели, балансирующие возможности текста и кода

Загрузите модели

Введение

Открытые модели большого языка (LLM) традиционно разрабатывались либо для текстовых задач, либо для задач, связанных с кодом, с ограниченными возможностями эффективного баланса обоих. Однако многие сложные языковые приложения, в частности агенты языковых моделей, требуют систем с многогранным набором навыков, охватывающих понимание, рассуждения, планирование, кодирование и обоснование контекста.

В этой работе мы представляем Lemur и Lemur-chat, современные открытые предварительно обученные и контролируемые тонко настроенные большие языковые модели, балансирующие возможности текста и кода.

Предварительное обучение и контролируемая тонкая настройка

Мы предварительно обучаем Llama 2 на данных с интенсивным использованием кода объемом ~ 100 Б, с последующей контролируемой точной настройкой данных общедоступных инструкций и диалогов объемом ~ 300 Тыс. для улучшения навыков кодирования и обоснования при сохранении конкурентоспособных текстовых рассуждений и производительности знаний.

Оценка

Lemur превосходит другие модели языков с открытым исходным кодом по показателям кодирования, но при этом остается конкурентоспособным в области текстовых рассуждений и производительности знаний.

Lemur-chat значительно превосходит другие модели с открытым исходным кодом, контролируемые для точной настройки по различным параметрам.

Проект Lemur – это открытое совместное исследование XLang Lab и Salesforce Research. Мы хотели бы поблагодарить Salesforce Research, Google Research и Amazon AWS за их безвозмездную поддержку этого проекта с открытым исходным кодом! Модели с открытым исходным кодом еще предстоит пройти долгий путь по сравнению с моделями с закрытым исходным кодом. Тем не менее, мы надеемся, что работа Lemur станет ценным вкладом в создание более мощной и сбалансированной основы для модели с открытым исходным кодом и стимулирование исследований агентных моделей.