Shuyan AI: парсинг веб-страниц, живой поиск и OCR документов как API

Тот, кто строит агентов, рано или поздно упирается в одну и ту же стену: модель достаточно умна, но не видит страницу, которую ей поручено прочитать. Либо её знания обрываются на дате обучения, либо HTML приходит погребённым под меню и рекламой, либо решающий документ существует только в виде сканированного PDF. Именно этот зазор и занимает Shuyan AI. Компания не обучает модели, она продаёт тот самый трубопровод, который приводит внешний мир к виду, пригодному для модели. Три вопроса решают, стоит ли подключаться: действительно ли выход чистый и структурированный, можно ли проследить результат поиска до проверяемого источника и выдерживает ли задержка нужную вам параллельность.

Компания позиционирует себя как инфраструктуру данных для эпохи больших моделей и описывает подход как двухмодальный, объединяя зрение и код. Один путь интерпретирует страницу в том виде, в каком она отрисована; другой извлекает структуру логикой кода, и оба проверяют друг друга. Это отвечает двум классическим слабостям сбора данных: страницам, отрисованным на клиенте, которых простой HTTP-запрос не видит, и хрупким селекторам, ломающимся при смене вёрстки. Поставщик утверждает, что его индекс охватывает более 300 доменов и сотни миллионов структурированных записей, отфильтровывая рекламный шум.

Продукт делится на три слоя. Внизу три интерфейса данных: парсинг, поиск и OCR. Выше — площадка моделей с агрегированными вызовами нескольких поставщиков, диалоговыми агентами, режимом глубокого исследования и интеграцией с рабочими процессами MCP. По краям — сервисы наборов данных и платформа BI-аналитики. Большинство команд будет обращаться лишь к двум-трём точкам нижнего слоя; остальное — смежные возможности того же поставщика, и оценивать их стоит отдельно.

Как устроены ключевые возможности

Парсинг: вернуть отрисованную страницу как читаемый текст

Отправляете целевой URL, получаете структурированный Markdown или JSON. Ценность не в том, что страницу можно скачать, а в том, что после этого не нужно писать правила очистки: текст, иерархия заголовков и таблицы сохраняются, где это возможно, а реклама и навигация удаляются. В конвейере поиска по документам этот шаг задаёт потолок качества фрагментов, а качество фрагментов задаёт потолок полноты выдачи. Грязный вход даёт фрагменты, близкие в векторном пространстве и бесполезные на практике. Поддержка динамической отрисовки и сложных вёрсток — ровно то, что даёт визуальный путь по сравнению с чистым разбором DOM.

Живой поиск: слой поиска с проверяемыми источниками

Поисковая точка рассчитана на потребление моделью и возвращает оценённые структурированные фрагменты, а не голый список ссылок. Заявленные источники охватывают новости, энциклопедии, научные материалы и медиаплатформы, обновляясь на основе широкого обхода и собственного архива сайтов. В исследовательских приложениях разница видна в широте ссылок: поставщик утверждает, что режим глубокого исследования просматривает в семь раз больше страниц, чем обычный поиск, а значит даёт более длинный контекст и больше возможностей для перекрёстной проверки.

OCR документов: сохранить иерархию, а не только символы

Загружаете PDF или скан, движок извлекает текст, таблицы и формулы в Markdown и JSON с сохранением структуры документа. Сложность никогда не была в распознавании отдельных знаков, а в восстановлении организации: какая строка является заголовком, какая таблица тянется на три страницы, какой символ в формуле — нижний индекс. Иерархия важна дальше по цепочке, потому что база знаний режет материал по заголовкам. Если структура потеряна, остаётся только нарезка по фиксированному числу символов, а она рвёт фразы и таблицы.

Площадка моделей и MCP: вызовы моделей и данные в одном слое

Площадка агрегирует нескольких поставщиков моделей за одной точкой входа с единой оплатой и едиными форматами ответа, избавляя команду от поддержки нескольких развёртываний. Интеграция через MCP внедряет поиск и парсинг в рабочие процессы ИИ по стандартному интерфейсу и избавляет тех, кто уже использует этот протокол, от переписывания логики вызова инструментов. Вместе это означает настройку в одном месте: сторона данных и сторона моделей перестают быть отдельными интеграциями с отдельными точками отказа.

С чего начать

1. Зарегистрируйтесь на официальном сайте и создайте ключ API. Новым аккаунтам доступно 500 бесплатных вызовов — достаточно, чтобы прогнать все три интерфейса до решения о бюджете.
2. Проверьте парсинг на страницах, которые действительно важны. Возьмите от десяти до двадцати реальных URL, включая динамическую отрисовку, сложные таблицы и длинные тексты с разбивкой на страницы, и посмотрите, сохраняет ли полученный Markdown нужную структуру. Судить по примеру поставщика нельзя.
3. Для OCR сначала соберите пограничные образцы: двухколоночная вёрстка, таблицы через разрыв страницы, сканы с формулами. Ошибки структуры концентрируются именно там, и находить их до запуска заметно дешевле.
4. Если вы уже используете Dify или Coze, подключайте возможность внутри рабочего процесса агента, а не пишите бэкенд. При прямой интеграции вызывайте REST-точки: выбирайте Markdown, когда вывод будет проверять человек, и JSON, когда его будет разбирать программа.
5. Для государственных и финансовых задач поставщик предлагает частное развёртывание с высокой параллельностью, но форма поставки, сроки и стоимость не публикуются — нужен коммерческий диалог.

Цены и квоты

• Единственная опубликованная цифра — 500 бесплатных вызовов для нового аккаунта. Этого хватает на проверку гипотезы и совершенно недостаточно для рабочей нагрузки.
• Оплата поминутная по токенам, и поставщик оценивает цену примерно в треть от сопоставимых сервисов, начисляя только за успешные вызовы. Начисление только за успех здесь важнее, чем в обычном текстовом API, поскольку отказы парсинга случаются закономерно чаще.
• Цена за точку, скидки по объёму, стоимость частного развёртывания и правила расчётов после исчерпания бесплатной квоты не раскрываются. Уточняйте в консоли или у отдела продаж до планирования затрат.

Кому подходит

• Разработчикам агентов на Dify или Coze, которым нужны чтение страниц и живой поиск без собственных сборщиков и пулов прокси.
• Командам поиска по документам и баз знаний, чьи внутренние материалы лежат в PDF и сканах и должны сначала стать нарезаемым текстом с иерархией.
• Продуктам агрегации контента и сравнения цен, которые постоянно собирают и очищают данные о товарах и новостях и чувствительны к рекламному шуму.
• Техническим командам в финансах и госсекторе, которым нужны частное развёртывание и хранение данных внутри контура при сохранении живого поиска.

Ограничения и оговорки

• Все показатели производительности взяты у поставщика. Средняя задержка менее секунды, на сорок процентов быстрее рынка, доля ошибок ниже 0,01 процента и цена в треть рынка не имеют независимой проверки, а тестовый набор и типы страниц не раскрыты. Измеряйте на своих целевых сайтах.
• Прозрачность цен ограничена. Помимо 500 бесплатных вызовов, публичные материалы не сообщают ни цену за точку, ни потолок параллельности, ни политику ограничения частоты, ни то, начисляются ли неудачные повторы.
• Нет деталей по соответствию требованиям. Парсинг и поиск затрагивают чужой контент, поэтому границы авторского права, соблюдение правил robots и сроки хранения полученного нужно подтверждать письменно, особенно при перепубликации.
• Качество на других языках не заявлено. Поставщик подчёркивает точность на сложных китайских страницах: это плюс для китайских сайтов и ничего не говорит о других языках.
• Единственный подтверждаемый медиаматериал — официальный скриншот с якорной заглушкой, поэтому в статье нет изображений. Интерфейс и примеры вывода смотрите в консоли.

Частые вопросы

Shuyan AI — это сама модель?

Нет. Это слой данных и агрегации. Компания не обучает базовые модели, а продаёт точки парсинга, поиска и OCR плюс площадку, которая направляет запросы к сторонним моделям. Базовую модель вы выбираете сами.

В чём выигрыш по сравнению со своим сборщиком?

Прежде всего в стоимости поддержки. Свой сборщик должен справляться с динамической отрисовкой, защитой от ботов, устареванием селекторов и очисткой текста, и один редизайн может сломать всё. Управляемый API переносит эту нагрузку на поставщика ценой удельной стоимости и контроля: влияние на правила извлечения слабеет, что мешает на нетиповых страницах.

Подключается ли напрямую к Dify или Coze?

Поставщик заявляет поддержку обеих платформ и настройку внутри рабочего процесса агента. Названия плагинов и шаги проверяйте в актуальном списке платформы: в этой статье они не подтверждены.

Что будет после бесплатной квоты?

Правила расчётов и цена за точку сверх бесплатного уровня не публикуются. Проведите проверку в пределах 500 вызовов, затем запросите коммерческое предложение и уточните, начисляется ли оплата только за успех, чтобы модель затрат не поплыла.