Блок Зрение отправляет картинку в vision-модель (модель, которая понимает изображение): описание, объекты, текст на снимке.
С зрением в Pailot вы можете:
- Анализировать публичный URL или загруженный файл
- Задавать свой
prompt(что именно извлечь) - Выбирать модель вроде gpt-4o или Claude 3
- Получать текст разбора и расход токенов
Блок не генерирует картинки — только читает их. Нужен ключ API (Application Programming Interface — программный интерфейс) провайдера модели. Источник: imageUrl или imageFile.
Блок ставят на холст как отдельный шаг или прикрепляют к агенту. Ключ — в переменных окружения рабочего пространства.
Инструменты
vision_tool
Разбор изображения: содержание, текст, объекты, подробное описание.
Вход
| Параметр | Тип | Обязательный | Описание |
|---|---|---|---|
apiKey | string | Да | Ключ API выбранного провайдера модели |
imageUrl | string | Нет | Публичный URL изображения |
imageFile | file | Нет | Файл изображения |
model | string | Нет | Vision-модель (gpt-4o, claude-3-opus-20240229 и др.) |
prompt | string | Нет | Свой промпт для разбора |
Выход
| Параметр | Тип | Описание |
|---|---|---|
content | string | Текст разбора и описание изображения |
model | string | Модель, которой выполнен разбор |
tokens | number | Всего токенов на разбор |
usage | object | Детальный расход токенов |
↳ input_tokens | number | Токены на вход |
↳ output_tokens | number | Токены на ответ |
↳ total_tokens | number | Суммарный расход |