数眼智能AI: LLM에 웹 파싱·실시간 검색·문서 OCR을 붙이는 데이터 파이프라인

에이전트를 만드는 사람은 결국 같은 벽에 부딪힌다. 모델은 충분히 똑똑한데, 읽어야 할 페이지를 보지 못한다. 지식이 학습 시점에 멈춰 있거나, HTML이 내비게이션과 광고에 파묻혀 있거나, 결정적인 자료가 스캔한 PDF로만 존재한다. 数眼智能AI가 노리는 지점이 여기다. 모델을 학습시키는 대신, 외부 세계를 모델이 삼킬 수 있는 형태로 다듬는 배관을 판다. 도입할 가치는 세 가지로 갈린다. 추출 결과가 실제로 깨끗한 구조화 데이터인지, 검색 결과가 검증 가능한 출처까지 추적되는지, 필요한 동시성에서 지연이 버티는지.

공식 설명에 따르면 이 회사는 대규모 모델 시대의 지능형 데이터 인프라를 표방하며 기술 노선은 시각과 코드의 이중 모달이다. 한쪽은 렌더링된 페이지를 컴퓨터 비전으로 이해하고, 다른 쪽은 코드 논리로 구조를 추출하며 둘이 서로 검증한다. 이 조합이 겨냥하는 것은 전통적 수집의 약점, 즉 클라이언트에서 그려져 단순 HTTP 요청으로는 보이지 않는 페이지와 레이아웃이 바뀌면 깨지는 선택자다. 공급사는 자체 시스템이 300개 이상 영역과 수억 건 규모의 구조화 데이터를 덮고 광고 잡음을 걸러낸다고 밝힌다.

제품군은 세 층으로 나뉜다. 맨 아래에 웹 파싱, 검색, OCR 세 가지 데이터 인터페이스가 있고, 그 위에 여러 모델 묶음 호출과 대화형 에이전트, 심층 조사, MCP 워크플로 연동을 담은 모델 광장이 있다. 주변에는 데이터셋 서비스와 BI 분석 플랫폼이 놓인다. 대부분의 팀이 실제로 쓰는 것은 최하층의 두세 개이며, 나머지는 같은 공급사의 인접 기능으로 따로 평가하면 된다.

핵심 기능의 구조

웹 파싱: 렌더링된 페이지를 읽을 수 있는 텍스트로 되돌리기

대상 URL을 보내면 구조화된 마크다운이나 JSON이 돌아온다. 가치는 페이지를 가져올 수 있다는 점이 아니라, 가져온 뒤 정제 규칙을 직접 쓰지 않아도 된다는 점이다. 본문과 제목 계층, 표는 가능한 범위에서 유지되고 광고와 내비게이션은 제거된다. 검색 증강 파이프라인에서 이 단계는 청크 품질의 상한을 정하고, 청크 품질은 검색 정확도의 상한을 정한다. 지저분한 입력은 임베딩 공간에서 비슷하지만 실제로는 쓸모없는 조각을 만든다. 동적 렌더링과 복잡한 레이아웃을 지원한다는 설명은 순수 DOM 파서에 대비한 시각 파싱의 존재 이유이기도 하다.

실시간 검색: 출처로 되돌아갈 수 있는 검색 계층

검색 API는 모델 소비를 전제로 설계되어 링크 목록이 아니라 관련도로 점수화된 구조화 조각을 돌려준다. 정보원은 뉴스, 백과, 학술 자료, 미디어 플랫폼 등을 아우르며 대규모 수집본과 자체 구축한 사이트 아카이브를 바탕으로 계속 갱신된다. 조사형 애플리케이션에서 차이는 참조 범위로 드러난다. 공급사는 심층 조사 모드가 일반 검색의 7배에 달하는 페이지를 참조한다고 말하며, 이는 더 긴 문맥과 주장을 교차 검증할 여지를 뜻한다.

문서 OCR: 글자만이 아니라 계층을 유지

PDF나 스캔본을 올리면 엔진이 본문, 표, 수식을 추출해 문서 구조를 유지한 마크다운과 JSON으로 내놓는다. 어려운 것은 개별 글자 인식이 아니라 조직 구조의 복원이다. 어느 줄이 제목이고, 어느 표가 세 페이지에 걸치며, 수식의 어느 기호가 아래첨자인지 판별하는 일이다. 계층은 하류에서 효과를 낸다. 지식 베이스는 제목 계층을 따라 분할하므로 구조를 잃으면 고정 글자 수로 자를 수밖에 없고, 문장과 표가 중간에서 끊긴다.

모델 광장과 MCP: 모델 호출과 데이터 주입을 한 층에

모델 광장은 여러 공급사의 모델을 하나의 창구로 묶고 과금과 응답 형식을 통일한다. 개발팀이 여러 배포를 유지하지 않아도 된다. MCP 연동은 검색과 파싱을 표준 인터페이스로 AI 워크플로에 주입하므로, 이미 이 프로토콜을 쓰는 팀은 도구 호출 로직을 다시 쓰지 않아도 된다. 두 가지를 겹쳤을 때의 실무적 의미는 설정을 한곳에 모은다는 것이다. 데이터 쪽과 모델 쪽이 별도 통합, 별도 장애 지점으로 남지 않는다.

도입 절차

1. 공식 사이트에서 계정을 만들고 API 키를 발급받는다. 신규 계정에는 500회 무료 호출이 있어 예산을 정하기 전에 세 인터페이스를 모두 돌려볼 수 있다.
2. 웹 파싱은 실제로 중요한 페이지로 검증한다. 동적 렌더링, 복잡한 표, 긴 문서의 페이지 분할을 포함한 실제 URL을 10~20개 골라, 돌아온 마크다운이 필요한 구조를 유지하는지 본다. 공급사의 예시 페이지로 판단하면 안 된다.
3. OCR은 경계 사례로 시작한다. 두 단 레이아웃, 페이지를 넘어가는 표, 수식이 들어간 스캔본을 준비한다. 구조 오류는 대개 이런 자료에서 나오며, 출시 전에 발견하는 편이 훨씬 싸다.
4. 이미 Dify나 Coze를 쓴다면 서버를 직접 쓰지 않고 에이전트 워크플로에 붙일 수 있다. 직접 연동한다면 REST를 호출하고, 사람이 확인할 때는 마크다운, 프로그램이 해석할 때는 JSON을 고른다.
5. 공공과 금융처럼 규제가 강한 환경을 위해 고동시성 프라이빗 배포를 제공하지만, 제공 형태와 기간, 비용은 공개되지 않았다. 상담을 통한 확인이 필요하다.

가격과 한도

• 공개된 유일한 숫자는 신규 계정의 500회 무료 호출이다. 개념 검증에는 충분하지만 운영 트래픽에는 턱없이 부족하다.
• 과금은 토큰 단위 정밀 과금이며, 공급사는 가격이 경쟁 서비스의 약 3분의 1 수준이고 성공한 호출에만 과금한다고 밝힌다. 성공 과금은 파싱 계열에서 더 중요하다. 페이지 파싱의 실패율은 일반 텍스트 API보다 본질적으로 높다.
• 인터페이스별 단가, 물량 구간 할인, 프라이빗 배포 견적, 무료 한도 초과 후 정산 방식은 모두 비공개다. 비용을 추정하기 전에 콘솔이나 영업 채널에서 확인해야 한다.

어울리는 사용자

• Dify나 Coze에서 에이전트를 만드는 개발자: 크롤러와 프록시 풀을 직접 유지하지 않고 페이지 읽기와 검색을 붙이고 싶은 경우.
• 검색 증강 지식 베이스를 만드는 팀: 사내 자료 상당수가 PDF와 스캔본이라 먼저 분할 가능한 계층 텍스트로 바꿔야 하는 경우.
• 콘텐츠 집계와 가격 비교 서비스: 상품과 뉴스 데이터를 계속 수집·정제해야 하고 광고 잡음에 민감한 경우.
• 금융·공공 등 규제가 강한 분야의 기술팀: 데이터가 외부로 나가지 않는 프라이빗 배포를 유지하면서 실시간 검색도 필요로 하는 경우.

제약과 주의점

• 성능 수치는 모두 공급사 설명이다. 평균 응답 1초 미만, 업계보다 40퍼센트 빠름, 오류율 0.01퍼센트 미만, 경쟁 대비 3분의 1 가격은 독립 기준이 없고 측정 조건과 페이지 유형도 밝히지 않는다. 자사 대상 사이트로 직접 측정해야 한다.
• 가격 투명성이 제한적이다. 500회 무료 한도 외에 단가, 동시성 상한, 속도 제한 정책, 실패한 재시도 과금 여부가 공개 자료에 없다.
• 준법 관련 세부가 빠져 있다. 파싱과 검색은 제3자 콘텐츠를 다루므로 저작권 경계, 로봇 규칙 처리, 수집 내용의 보관 기간과 이용 범위를 서면으로 확인해야 한다. 수집물을 재배포할 계획이라면 특히 중요하다.
• 다국어 품질은 명시되지 않았다. 공식은 복잡한 중국어 장면의 정확성을 강조하는데, 중국어 사이트에는 장점이지만 대상 페이지가 다른 언어 중심이라면 별도 검증이 필요하다.
• 확인 가능한 미디어 자산은 공식 스크린샷 한 장뿐이고 공개 페이지에 제품 화면 상세 이미지는 없어 이 글에는 이미지를 넣지 않았다. 화면과 반환 예시는 공식 콘솔에서 확인하기 바란다.

자주 묻는 질문

数眼智能AI는 모델 자체인가요

아니다. 데이터와 집계 계층이다. 기반 모델을 학습하지 않고 웹 파싱, 검색, 문서 OCR 세 인터페이스와 여러 모델로 연결하는 모델 광장을 제공한다. 기반 모델은 직접 골라야 한다.

직접 크롤러를 쓰는 것보다 나은 점은 무엇인가요

주로 유지보수 비용이다. 자체 크롤러는 동적 렌더링, 봇 차단 대응, 선택자 만료, 본문 정제를 감당해야 하고 개편 한 번에 전부 깨질 수 있다. 관리형 API는 그 부담을 공급사로 옮긴다. 대가는 단가와 통제력이다. 추출 규칙에 개입할 여지가 줄어 특수한 페이지에서는 조정 폭이 좁다.

Dify나 Coze에 바로 연결되나요

공급사는 두 플랫폼 지원과 에이전트 워크플로 내 설정을 밝히고 있다. 플러그인 이름과 설정 절차는 각 플랫폼의 실제 목록에서 확인해야 하며, 이 글에서 검증하지는 않았다.

무료 한도를 다 쓰면 어떻게 되나요

초과 후 정산 규칙과 단가는 공개되지 않았다. 500회 안에서 검증을 마치고 성공 호출만 과금되는지 확인한 뒤 견적을 받으면 비용 추정의 어긋남을 줄일 수 있다.