Прототип с помощью моделей искусственного интеллекта

Если вы хотите разработать созданное приложение ИИ, можно использовать GitHub Models для поиска и экспериментов с моделями искусственного интеллекта бесплатно. После того как вы будете готовы перенести приложение в рабочую среду, оставьте согласие на платное использование для вашего предприятия.

Владельцы организации могут интегрировать предпочитаемые пользовательские модели в GitHub Models, используя собственные ключи API LLM организации. См . раздел AUTOTITLE.

См. также Ответственное использование моделей GitHub.

Поиск моделей ИИ

Чтобы найти модель ИИ, выполните приведенные действия.

1. Перейдите к github.com/marketplace/models.

2. Нажмите кнопку "Модель": выберите модель в левом верхнем углу страницы.

3. Выберите модель в раскрывающемся меню.

   Кроме того, в раскрывающемся меню щелкните "Просмотреть все модели", выберите модель в Marketplace, а затем выберите Playground.

Модель открывается на игровой площадке модели. Сведения о модели отображаются на боковой панели справа. Если боковая панель не отображается, разверните ее, щелкнув значок справа от игровой площадки.

Экспериментирование с моделями искусственного интеллекта на детской площадке

Детская площадка модели ИИ — это бесплатный ресурс, позволяющий настраивать параметры модели и отправлять запросы, чтобы узнать, как модель реагирует.

Чтобы настроить параметры для модели, на детской площадке выберите вкладку "Параметры " на боковой панели.

Чтобы просмотреть код, соответствующий выбранным параметрам, перейдите на вкладку "Чат " на вкладку "Код ".

Сравнение моделей

Запрос можно отправить в две модели одновременно и сравнить ответы.

При открытии одной модели на детской площадке нажмите кнопку "Сравнить", а затем в раскрывающемся меню выберите модель для сравнения. Выбранная модель открывается во втором окне чата. При вводе запроса в любом окне чата запрос отображается в другом окне. Запросы отправляются одновременно, чтобы можно было сравнить ответы из каждой модели.

Все заданные параметры используются для обеих моделей.

Оценка моделей ИИ

После начала тестирования запросов на игровой площадке можно оценить производительность модели с помощью структурированных метрик. Оценки помогают сравнить несколько конфигураций запросов в разных моделях и определить, какую настройку лучше всего выполнять.

В представлении "Сравнения" можно применять вычислители, такие как сходство, релевантность и основание, чтобы оценить, насколько хорошо каждый результат соответствует вашим ожиданиям. Вы также можете определить собственные критерии оценки с помощью пользовательского оценщика запросов.

Пошаговые инструкции см. в разделе "Оценка выходных данных".

Экспериментирование с моделями ИИ с помощью API

GitHub предоставляет бесплатное использование API, чтобы экспериментировать с моделями искусственного интеллекта в собственном приложении.

Действия по использованию каждой модели похожи. Как правило, вам потребуется:

1. Перейдите к github.com/marketplace/models.

2. Нажмите кнопку "Модель": выберите модель в левом верхнем углу страницы.

3. Выберите модель в раскрывающемся меню.

   Кроме того, в раскрывающемся меню щелкните "Просмотреть все модели", выберите модель в Marketplace, а затем выберите Playground.

   Модель открывается на игровой площадке модели.

4. Перейдите на вкладку "Код ".

5. При необходимости используйте раскрывающийся список языков, чтобы выбрать язык программирования.

6. При необходимости используйте раскрывающийся список SDK, чтобы выбрать используемый пакет SDK.

   Все модели можно использовать с пакетом SDK для вывода ИИ Azure, а некоторые модели поддерживают дополнительные пакеты SDK. Если вы хотите легко переключаться между моделями, следует выбрать пакет SDK для вывода искусственного интеллекта Azure. Если вы выбрали "REST" в качестве языка, вы не будете использовать пакет SDK. Вместо этого вы будете использовать конечную точку API напрямую.

7. Откройте пространство кода или настройте локальную среду:

   • Чтобы запустить пространство кода, щелкните Run codespaces, а затем нажмите кнопку "Создать новое пространство кода".
   • Чтобы выполнить локально, выполните следующую команду:
     • Создайте GitHub personal access token. Маркер должен иметь models:read разрешения. См . раздел AUTOTITLE.
     • Сохраните маркер в качестве переменной среды.
     • При необходимости установите зависимости для пакета SDK.

8. Используйте пример кода, чтобы запросить модель.

Использование бесплатного API ограничено. См . приведенные ниже ограничения скорости .

Сохранение и предоставление общего доступа к экспериментам на детской площадке

Вы можете сохранить и предоставить общий доступ к ходу выполнения на детской площадке с предварительно настроенными наборами. Предустановки сохраняются:

• Текущее состояние
• Параметры
• Журнал чата (необязательно)

Чтобы создать предустановку для текущего контекста, выберите PRESET-NAME в правом верхнем углу игровой площадки, а затем выберите октикон "плюс" aria-hidden="true" aria-label="plus" %} Создать новую предустановку. Вам нужно назовите предустановку, и вы также можете указать предустановку описания, включить журнал чата и разрешить общий доступ к предустановкам.

Существует два способа загрузки предустановки:

• Выберите предустановку: PRESET-NAME , а затем выберите предустановку, которую вы хотите загрузить.
• Открытие URL-адреса общего предустановки

После загрузки предустановки можно изменить, поделиться или удалить предустановку:

• Чтобы изменить предустановку, измените параметры и предложите модели. Когда вы удовлетворены изменениями, выберите раскрывающееся меню preset-NAME раскрывающееся меню %}, а затем выберите Измените предустановку и сохраните обновления.
• Чтобы предоставить общий доступ к предустановке, выберите раскрывающееся меню предустановки: PRESET-NAME раскрывающееся меню "%octicon "share" aria-hidden="true" aria-label="share" %} Для получения url-адреса, доступного для общего доступа.
• Чтобы удалить предустановку, выберите раскрывающееся меню PRESET-NAME раскрывающееся меню %} и выберите { % octicon "корзина" aria-hidden="true" aria-label="корзина" %} Удалите предустановку и подтвердите удаление.

Использование редактора запросов

Редактор запросов в GitHub Models предназначен для итерации, уточнения и улучшения запросов. Это выделенное представление обеспечивает ориентированный и интуитивно понятный интерфейс для создания и тестирования входных данных, что позволяет:

• Быстрое тестирование и уточнение запросов без сложности многоэтапного взаимодействия.
• Запросы точной настройки точности и релевантности в проектах.
• Используйте специализированное пространство для сценариев с одним поворотом, чтобы обеспечить согласованные и оптимизированные результаты.

Чтобы получить доступ к редактору запроса, щелкните редактор запроса Редактор запроса в правом верхнем углу игровой площадки.

Экспериментирование с моделями ИИ в Visual Studio Code

Если вы предпочитаете экспериментировать с моделями ИИ в интегрированной среде разработки, можно установить расширение ai Toolkit для Visual Studio Code, а затем протестировать модели с настраиваемыми параметрами и контекстом.

1. В Visual Studio Codeустановите предварительную версию набора средств ИИ для Visual Studio Code.

2. Чтобы открыть расширение, щелкните значок набора средств ИИ на панели действий.

3. Авторизуйте набор средств ИИ для подключения к учетной записи GitHub.

4. В разделе "Мои модели" панели "Набор средств ИИ" щелкните "Открыть каталог моделей", а затем найдите модель для экспериментов.

   • Чтобы использовать модель, размещенную удаленно через GitHub Models, на карточке модели нажмите кнопку "Попробовать на игровой площадке".
   • Чтобы скачать и использовать модель локально, на карточке модели нажмите кнопку "Скачать". После завершения скачивания на той же карточке модели нажмите кнопку "Загрузить" на игровой площадке.

5. На боковой панели укажите все инструкции контекста и параметры вывода для модели, а затем отправьте запрос.

Запуск в производство

Ограничения бесплатной скорости, предоставляемые на детской площадке и использовании API, предназначены для начала работы с экспериментированием. Когда вы готовы перейти за рамки бесплатного предложения, у вас есть два варианта доступа к моделям ИИ за пределами бесплатных ограничений:

• Вы можете отказаться от платного использования для GitHub Models, что позволяет вашей организации получать доступ к повышенным ограничениям скорости, большим окнам контекста и дополнительным функциям. См . раздел AUTOTITLE.
• Если у вас есть существующая подписка OpenAI или Azure, вы можете принести собственные ключи API (BYOK) для доступа к пользовательским моделям. Выставление счетов и использование осуществляется непосредственно через учетную запись поставщика, например идентификатор подписки Azure. См . раздел AUTOTITLE.

Ограничения скорости

Платформа и бесплатное использование API ограничены запросами в минуту, запросы в день, маркеры на запрос и одновременные запросы. Если вы получаете ограничение скорости, вам потребуется дождаться ограничения скорости, который вы получите, чтобы сбросить, прежде чем вы сможете запросить больше запросов.

Модели с низкой, высокой и высокой степенью внедрения имеют разные ограничения скорости. Чтобы узнать, какой тип используемой модели, см. сведения о модели в GitHub Marketplace.

Для пользовательских моделей, доступных с помощью собственных ключей API, ограничения скорости устанавливаются и применяются поставщиком модели.

Уровень ограничения скорости	Пределы скорости	Copilot Free	Copilot Pro	Copilot Business	Копилот Энтерпрайз
Низкая	Запросы в минуту	15	15	15	20
	Запросы в день	150	150	300	450
	Маркеры для каждого запроса	8000 в, 4000 out	8000 в, 4000 out	8000 в, 4000 out	8000 в, 8000 из
	Число одновременных запросов	5	5	5	8
Высокий уровень	Запросы в минуту	10	10	10	15
	Запросы в день	50	50	100	150
	Маркеры для каждого запроса	8000 в, 4000 out	8000 в, 4000 out	8000 в, 4000 out	16000 в, 8000 out
	Число одновременных запросов	2	2	2	4
Векторное представление	Запросы в минуту	15	15	15	20
	Запросы в день	150	150	300	450
	Маркеры для каждого запроса	64 000	64 000	64 000	64 000
	Число одновременных запросов	5	5	5	8
Предварительная версия Azure OpenAI o1	Запросы в минуту	Нет данных	1	2	2
	Запросы в день	Нет данных	8	10	12
	Маркеры для каждого запроса	Нет данных	4000 в, 4000 из	4000 в, 4000 из	4000 в, 8000 из
	Число одновременных запросов	Нет данных	1	1	1
Azure OpenAI o1, o3 и gpt-5	Запросы в минуту	Нет данных	1	2	2
	Запросы в день	Нет данных	8	10	12
	Маркеры для каждого запроса	Нет данных	4000 в, 4000 из	4000 в, 4000 из	4000 в, 8000 из
	Число одновременных запросов	Нет данных	1	1	1
Azure OpenAI o1-mini, o3-mini, o4-mini, gpt-5-mini, gpt-5-nano и gpt-5-chat	Запросы в минуту	Нет данных	2	3	3
	Запросы в день	Нет данных	12	15	20
	Маркеры для каждого запроса	Нет данных	4000 в, 4000 из	4000 в, 4000 из	4000 в, 4000 из
	Число одновременных запросов	Нет данных	1	1	1
DeepSeek-R1, DeepSeek-R1-0528 и MAI-DS-R1	Запросы в минуту	1	1	2	2
	Запросы в день	8	8	10	12
	Маркеры для каждого запроса	4000 в, 4000 из	4000 в, 4000 из	4000 в, 4000 из	4000 в, 4000 из
	Число одновременных запросов	1	1	1	1
xAI Grok-3	Запросы в минуту	1	1	2	2
	Запросы в день	15	15	20	30
	Маркеры для каждого запроса	4000 в, 4000 из	4000 в, 4000 из	4000 в, 8000 из	4000 в, 16000 из
	Число одновременных запросов	1	1	1	1
xAI Grok-3-Mini	Запросы в минуту	2	2	3	3
	Запросы в день	30	30	40	50
	Маркеры для каждого запроса	4000 в, 8000 из	4000 в, 8000 из	4000 в, 12000 out	4000 в, 12000 out
	Число одновременных запросов	1	1	1	1

Эти ограничения могут изменяться без уведомления.

Отзыв

Чтобы задать вопросы и поделиться отзывами, ознакомьтесь с этой записью обсуждения моделей GitHub. Чтобы узнать, как другие используют GitHub Models, посетите обсуждения сообщества GitHub для моделей.