Shuyan AI: Web-Parsing, Live-Suche und Dokument-OCR als APIs für LLMs

Wer Agenten baut, stößt früher oder später an dieselbe Wand: Das Modell ist klug genug, aber es sieht die Seite nicht, die es lesen soll. Entweder endet sein Wissen am Trainingsstichtag, oder das HTML kommt unter Navigation und Werbung begraben an, oder das entscheidende Dokument existiert nur als gescannter PDF. Genau diese Lücke adressiert Shuyan AI. Das Unternehmen trainiert keine Modelle, sondern verkauft die Leitung, die die Außenwelt in eine für Modelle verdauliche Form bringt. Drei Fragen entscheiden über die Integration: Ist die Ausgabe wirklich sauber und strukturiert, lässt sich ein Suchergebnis bis zu einer prüfbaren Quelle zurückverfolgen, und hält die Latenz der benötigten Parallelität stand.

Das Unternehmen positioniert sich als Dateninfrastruktur für das Zeitalter großer Modelle und beschreibt seinen Ansatz als dual-modal, also Vision und Code kombiniert. Ein Pfad interpretiert die Seite so, wie sie gerendert wird; der andere extrahiert Struktur über Codelogik, und beide prüfen sich gegenseitig. Das adressiert zwei klassische Schwächen des Scrapings: clientseitig gerenderte Seiten, die ein einfacher HTTP-Abruf nie sieht, und brüchige Selektoren, die bei jedem Layoutwechsel versagen. Der Anbieter gibt an, sein Index umfasse über 300 Domänen und Hunderte Millionen strukturierter Datensätze, wobei Werberauschen herausgefiltert wird.

Das Angebot gliedert sich in drei Schichten. Unten liegen die drei Datenschnittstellen: Parsing, Suche und OCR. Darüber ein Modellmarktplatz mit gebündelten Aufrufen mehrerer Anbieter, dialogorientierten Agenten, einem Recherchemodus und MCP-Workflow-Integration. Am Rand stehen Datensatzdienste und eine BI-Analyseplattform. Die meisten Teams werden nur zwei oder drei Endpunkte der unteren Schicht nutzen; der Rest sind angrenzende Fähigkeiten desselben Anbieters und sollte getrennt bewertet werden.

Wie die Kernfunktionen arbeiten

Web-Parsing: eine gerenderte Seite als lesbarer Text

Man sendet eine Ziel-URL und erhält strukturiertes Markdown oder JSON. Der Wert liegt nicht im Abruf, sondern darin, dass danach keine eigenen Bereinigungsregeln nötig sind: Fließtext, Überschriftenhierarchie und Tabellen bleiben erhalten, wo es geht, Werbung und Navigation entfallen. In einer Retrieval-Pipeline bestimmt dieser Schritt die Obergrenze der Chunk-Qualität, und diese bestimmt die Obergrenze der Trefferqualität. Schmutzige Eingaben erzeugen Chunks, die im Embedding-Raum ähnlich und praktisch nutzlos sind. Die Angabe, dynamisch gerenderte Seiten und komplexe Layouts zu unterstützen, ist genau der Mehrwert eines Vision-Pfads gegenüber einem reinen DOM-Parser.

Live-Suche: eine Retrieval-Schicht mit belegbaren Quellen

Der Suchendpunkt ist für Modellkonsum gebaut und liefert bewertete, strukturierte Textfragmente statt einer bloßen Linkliste. Als Quellen werden Nachrichten, Enzyklopädien, Fachliteratur und Medienplattformen genannt, laufend aktualisiert gegen einen breiten Crawl und ein selbst aufgebautes Site-Archiv. Bei Rechercheanwendungen zeigt sich der Unterschied in der Referenzbreite: Der Anbieter behauptet, sein Recherchemodeus konsultiere siebenmal so viele Seiten wie eine gewöhnliche Suche, was längeren Kontext und mehr Raum zur Gegenprüfung bedeutet.

Dokument-OCR: Hierarchie statt nur Zeichen

Man lädt ein PDF oder einen Scan hoch, und die Engine extrahiert Text, Tabellen und Formeln in Markdown und JSON, die die Dokumentstruktur bewahren. Schwierig war nie die Erkennung einzelner Glyphen, sondern die Rekonstruktion der Ordnung: welche Zeile eine Überschrift ist, welche Tabelle über drei Seiten läuft, welches Symbol in einer Formel tiefgestellt ist. Die Hierarchie wirkt stromabwärts, weil eine Wissensbasis entlang Überschriften segmentiert. Geht die Struktur verloren, bleibt nur das Schneiden nach fester Zeichenzahl, was Sätze und Tabellen zerteilt.

Marktplatz und MCP: Modellaufrufe und Daten in einer Schicht

Der Marktplatz bündelt mehrere LLM-Anbieter hinter einem Endpunkt mit einheitlicher Abrechnung und einheitlichen Antwortformaten, sodass kein Team mehrere Bereitstellungen pflegen muss. Die MCP-Integration speist Suche und Parsing über eine Standardschnittstelle in KI-Workflows ein und erspart Teams, die dieses Protokoll bereits nutzen, das Neuschreiben der Werkzeugaufruflogik. Zusammen bedeutet das Konfiguration an einer Stelle: Datenseite und Modellseite sind keine getrennten Integrationen mit getrennten Fehlerbildern mehr.

Einstieg

1. Auf der offiziellen Seite registrieren und einen API-Schlüssel erzeugen. Neukonten erhalten 500 kostenlose Aufrufe, genug, um alle drei Schnittstellen zu testen, bevor Budget gebunden wird.
2. Das Parsing an den Seiten prüfen, die wirklich zählen. Zehn bis zwanzig echte URLs auswählen, darunter dynamisch gerenderte, komplexe Tabellen und paginierte Langtexte, und kontrollieren, ob das zurückgegebene Markdown die nötige Struktur bewahrt. Die Beispielseite des Anbieters ist kein Maßstab.
3. Für OCR zuerst Grenzfälle zusammenstellen: zweispaltige Layouts, Tabellen über Seitenumbrüche, Scans mit Formeln. Genau dort häufen sich Strukturfehler, und sie vor dem Start zu finden ist deutlich billiger.
4. Wer Dify oder Coze bereits nutzt, kann die Fähigkeit im Agenten-Workflow einhängen, statt ein Backend zu schreiben. Für die direkte Integration die REST-Endpunkte aufrufen und Markdown wählen, wenn Menschen die Ausgabe prüfen, JSON, wenn Programme sie parsen.
5. Für Behörden und Finanzwesen bietet der Anbieter private Bereitstellung mit hoher Parallelität, doch Lieferform, Vorlaufzeit und Kosten sind nicht veröffentlicht und brauchen ein Verkaufsgespräch.

Preise und Kontingente

• Die einzige veröffentlichte Zahl sind 500 kostenlose Aufrufe für Neukonten. Das reicht für einen Machbarkeitstest und liegt weit unter Produktionsvolumen.
• Abgerechnet wird tokengenau, und der Anbieter beziffert den Preis auf etwa ein Drittel vergleichbarer Dienste, wobei nur erfolgreiche Aufrufe berechnet werden. Die Beschränkung auf Erfolg wiegt hier schwerer als bei einer reinen Text-API, weil Parsing-Fehler naturgemäß häufiger auftreten.
• Stückpreise je Endpunkt, Mengenstaffeln, Angebote für private Bereitstellung und Abrechnungsregeln nach Erschöpfen des Gratiskontingents sind nicht veröffentlicht. Vor der Kostenplanung im Konsolenbereich oder mit dem Vertrieb klären.

Für wen es passt

• Entwickler, die Agenten in Dify oder Coze bauen und Seitenlesen sowie Live-Suche brauchen, ohne Crawler und Proxy-Pools zu betreiben.
• Teams für Retrieval und Wissensbasen, deren internes Material in PDFs und Scans liegt und erst zu hierarchiebewusstem, teilbarem Text werden muss.
• Produkte für Content-Aggregation und Preisvergleich, die laufend Produkt- und Nachrichtendaten holen und bereinigen und empfindlich auf Werberauschen reagieren.
• Technikteams in Finanzwesen oder Verwaltung, die private Bereitstellung und Datenhaltung im eigenen Bereich brauchen und dennoch Live-Retrieval wollen.

Grenzen und Vorbehalte

• Alle Leistungszahlen stammen vom Anbieter. Unter einer Sekunde Durchschnittslatenz, vierzig Prozent schneller als der Branchendurchschnitt, Fehlerquote unter 0,01 Prozent und ein Drittel des Preises haben keine unabhängige Referenz, und Testkorpus sowie Seitentypen bleiben ungenannt. Gegen die eigenen Zielseiten messen.
• Die Preistransparenz ist begrenzt. Über die 500 Gratisaufrufe hinaus nennen öffentliche Unterlagen weder Stückpreis noch Parallelitätsobergrenze, Ratenbegrenzung oder die Frage, ob fehlgeschlagene Wiederholungen berechnet werden.
• Angaben zur Rechtskonformität fehlen. Parsing und Suche berühren Inhalte Dritter, daher sind Urheberrechtsgrenzen, der Umgang mit Robots-Regeln und Aufbewahrungsfristen des Abgerufenen schriftlich zu klären, besonders bei Weitergabe der Inhalte.
• Die mehrsprachige Qualität bleibt offen. Der Anbieter betont Genauigkeit bei komplexen chinesischen Seiten, ein Vorteil für chinesische Sites, der nichts über andere Sprachen aussagt.
• Das einzige belegbare Medienasset ist ein offizieller Screenshot mit Platzhalter-Anker, deshalb enthält dieser Artikel keine Bilder. Schnittstelle und Beispielausgaben im Konsolenbereich prüfen.

Häufige Fragen

Ist Shuyan AI selbst ein Modell?

Nein. Es ist eine Daten- und Aggregationsschicht. Das Unternehmen trainiert keine Grundmodelle, sondern verkauft Parsing-, Such- und OCR-Endpunkte sowie einen Marktplatz, der an Fremdmodelle weiterleitet. Das zugrunde liegende Modell wählt man selbst.

Was ist der Vorteil gegenüber einem eigenen Crawler?

Vor allem der Wartungsaufwand. Ein eigener Crawler muss dynamisches Rendering, Bot-Abwehr, veraltende Selektoren und Textbereinigung bewältigen, und ein einziges Redesign kann alles brechen. Eine gehostete API verlagert diese Last zum Anbieter, zum Preis von Stückkosten und Kontrolle: Der Einfluss auf Extraktionsregeln sinkt, was bei ungewöhnlichen Seiten schmerzt.

Lässt es sich direkt an Dify oder Coze anbinden?

Der Anbieter nennt beide Plattformen als unterstützt und im Agenten-Workflow konfigurierbar. Plugin-Namen und Einrichtungsschritte in der jeweiligen Plattform prüfen, da dieser Artikel sie nicht verifiziert.

Was passiert nach dem Gratiskontingent?

Abrechnungsregeln und Stückpreise oberhalb der Gratisstufe sind nicht öffentlich. Die Validierung innerhalb der 500 Aufrufe abschließen und dann ein Angebot anfordern, inklusive Bestätigung, ob nur Erfolg berechnet wird, damit das Kostenmodell nicht driftet.