Shuyan AI: APIs de extracción web, búsqueda en vivo y OCR para modelos

Quien construye agentes termina chocando con el mismo muro: el modelo es lo bastante listo, pero no ve la página que necesita leer. O su conocimiento se detiene en la fecha de entrenamiento, o el HTML llega sepultado bajo menús y anuncios, o el documento decisivo existe solo como PDF escaneado. Shuyan AI ataca ese hueco: no entrena modelos, vende la tubería que reordena el mundo exterior en algo que el modelo puede ingerir. Tres preguntas deciden si merece integrarse: si la salida es realmente limpia y estructurada, si un resultado de búsqueda puede rastrearse hasta una fuente verificable y si la latencia aguanta la concurrencia que necesitas.

La empresa se presenta como infraestructura de datos para la era de los grandes modelos y describe su enfoque como bimodal, combinando visión y código. Una vía usa visión artificial para interpretar la página tal como se renderiza; la otra extrae estructura mediante lógica de código, y ambas se contrastan. El planteamiento ataca dos debilidades clásicas del scraping: las páginas renderizadas en el cliente que una petición HTTP simple nunca ve y los selectores frágiles que se rompen cuando cambia el diseño. El proveedor afirma que su índice cubre más de 300 dominios y cientos de millones de registros estructurados, filtrando el ruido publicitario.

La oferta se divide en tres capas. Abajo están las tres interfaces de datos: extracción, búsqueda y OCR. Encima, un mercado de modelos que agrupa llamadas a varios proveedores, agentes conversacionales, un modo de investigación profunda e integración con flujos MCP. Alrededor aparecen servicios de conjuntos de datos y una plataforma de analítica BI. La mayoría de los equipos solo llamará a dos o tres puntos de la capa inferior; el resto son capacidades adyacentes del mismo proveedor y conviene evaluarlas por separado.

Cómo funcionan las capacidades centrales

Extracción web: reconstruir la página renderizada como texto legible

Se envía una URL y se recibe Markdown o JSON estructurado. El valor no está en poder descargar la página, sino en no tener que escribir reglas de limpieza después: se conservan cuerpo, jerarquía de encabezados y tablas donde es posible, mientras se descartan anuncios y navegación. En una tubería de recuperación este paso fija el techo de la calidad de los fragmentos, y esa calidad fija el techo de la recuperación. Una entrada sucia produce fragmentos parecidos en el espacio vectorial e inútiles en la práctica. El proveedor declara compatibilidad con páginas de renderizado dinámico y diseños complejos, que es justo lo que aporta una vía de visión frente a un analizador DOM puro.

Búsqueda en vivo: una capa de recuperación citable

El endpoint de búsqueda está diseñado para consumo por modelos y devuelve fragmentos puntuados y estructurados, no una lista pelada de enlaces. Las fuentes declaradas abarcan noticias, enciclopedias, material académico y plataformas de medios, actualizadas contra un rastreo amplio y un archivo propio de sitios. En aplicaciones de investigación la diferencia visible está en la amplitud de referencias: el proveedor sostiene que su modo de investigación profunda consulta siete veces más páginas que una búsqueda normal, lo que implica más contexto y más margen para contrastar afirmaciones.

OCR de documentos: conservar la jerarquía, no solo los caracteres

Se sube un PDF o un escaneo y el motor extrae texto, tablas y fórmulas en Markdown y JSON que mantienen la estructura del documento. Lo difícil nunca fue reconocer glifos sueltos, sino reconstruir la organización: qué línea es un encabezado, qué tabla cruza tres páginas, qué símbolo de una fórmula es un subíndice. La jerarquía importa aguas abajo porque una base de conocimiento fragmenta por encabezados. Si se pierde, solo queda cortar por número fijo de caracteres, lo que parte frases y tablas por la mitad.

Mercado de modelos y MCP: llamadas y datos en una sola capa

El mercado agrega varios proveedores de LLM tras un único endpoint con facturación y formatos unificados, de modo que el equipo no mantiene varios despliegues. La integración MCP inyecta búsqueda y extracción en flujos de IA mediante una interfaz estándar, lo que ahorra reescribir la lógica de llamadas a herramientas a quien ya usa ese protocolo. El beneficio conjunto es configurar en un solo lugar: el lado de datos y el de modelos dejan de ser integraciones separadas con fallos separados.

Cómo empezar

1. Regístrate en el sitio oficial y crea una clave de API. Las cuentas nuevas incluyen 500 llamadas gratuitas, suficientes para probar las tres interfaces antes de comprometer presupuesto.
2. Valida la extracción con las páginas que de verdad te importan. Elige entre diez y veinte URL reales, incluyendo renderizado dinámico, tablas complejas y artículos largos paginados, y revisa si el Markdown devuelto conserva la estructura necesaria. No juzgues por la página de ejemplo del proveedor.
3. Para el OCR, reúne primero muestras límite: maquetación a dos columnas, tablas que cruzan saltos de página y escaneos con fórmulas. Los errores estructurales se concentran justo ahí, y detectarlos antes del lanzamiento cuesta mucho menos.
4. Si ya usas Dify o Coze, monta la capacidad dentro de un flujo de agente en lugar de escribir un backend. Para integración directa, llama a los endpoints REST y elige Markdown cuando una persona vaya a revisar la salida y JSON cuando la vaya a parsear un programa.
5. Para cargas de gobierno o financieras el proveedor ofrece despliegue privado de alta concurrencia, pero la forma de entrega, el plazo y el coste no se publican: requieren una conversación comercial.

Precio y cuotas

• La única cifra publicada son 500 llamadas gratuitas por cuenta nueva. Alcanza para una prueba de concepto y está lejos del volumen de producción.
• La facturación se mide por tokens y el proveedor sitúa el precio en torno a un tercio del de servicios comparables, cobrando solo las llamadas exitosas. Cobrar solo el éxito importa más aquí que en una API de texto, porque los fallos de extracción son por naturaleza más frecuentes.
• El precio unitario por endpoint, los tramos por volumen, la cotización del despliegue privado y las reglas de liquidación al agotar la cuota gratuita no se publican. Confírmalos en la consola o con ventas antes de proyectar costes.

Para quién encaja

• Desarrolladores que construyen agentes en Dify o Coze y necesitan lectura de páginas y búsqueda en vivo sin mantener rastreadores ni grupos de proxies.
• Equipos de recuperación y bases de conocimiento cuyo material interno vive en PDF y escaneos y debe convertirse primero en texto fragmentable con jerarquía.
• Productos de agregación de contenido y comparación de precios que capturan y limpian datos de productos y noticias de forma continua y son sensibles al ruido publicitario.
• Equipos técnicos de finanzas o gobierno que necesitan despliegue privado y residencia de datos sin renunciar a la recuperación en vivo.

Límites y advertencias

• Todas las cifras de rendimiento las aporta el proveedor. La latencia media inferior a un segundo, el cuarenta por ciento más rápido que el sector, la tasa de error por debajo del 0,01 por ciento y el precio de un tercio carecen de referencia independiente, y no se detalla el corpus ni el tipo de páginas. Mide con tus propios sitios objetivo.
• La transparencia de precios es limitada. Más allá de las 500 llamadas, el material público no indica precio unitario, techo de concurrencia, política de límites ni si los reintentos fallidos se facturan.
• Faltan detalles de cumplimiento. La extracción y la búsqueda tocan contenido de terceros, así que los límites de derechos de autor, el tratamiento de robots y la retención de lo descargado necesitan confirmación por escrito, sobre todo si vas a redistribuir lo obtenido.
• La calidad multilingüe no se declara. El proveedor insiste en la precisión sobre páginas complejas en chino, ventaja para sitios chinos que no dice nada sobre el rendimiento con otros idiomas.
• El único activo multimedia confirmable es una captura oficial con ancla de sustitución, así que este artículo no incluye imágenes. Consulta la consola para ver la interfaz y ejemplos de salida.

Preguntas frecuentes

¿Shuyan AI es un modelo en sí mismo?

No. Es una capa de datos y agregación. No entrena modelos fundacionales: vende endpoints de extracción, búsqueda y OCR, además de un mercado que enruta hacia modelos de terceros. El modelo subyacente lo eliges tú.

¿Qué ventaja tiene frente a escribir mi propio rastreador?

Sobre todo el coste de mantenimiento. Un rastreador propio debe lidiar con renderizado dinámico, medidas anti-bot, selectores que caducan y limpieza de texto, y un solo rediseño puede romperlo todo. Una API gestionada traslada esa carga al proveedor a cambio de precio unitario y control: mandas menos sobre las reglas de extracción, lo que duele en páginas atípicas.

¿Se conecta directamente a Dify o Coze?

El proveedor afirma compatibilidad con ambas plataformas dentro de flujos de agente. Confirma nombres de plugin y pasos en el listado de cada plataforma, porque este artículo no los verifica.

¿Qué pasa al agotar la cuota gratuita?

Las reglas de liquidación y el precio unitario por encima del tramo gratuito no son públicos. Haz la validación dentro de las 500 llamadas y luego pide cotización confirmando si el cobro es solo por éxito, para que tu modelo de costes no se desvíe.