소개
Ling 3.1 Flash는 inclusionAI가 2026년 9월 29일에 공개한 하이브리드 추론형 Mixture-of-Experts 모델입니다. 개발사는 전체 560B 파라미터 중 토큰당 25B가 활성화된다고 설명합니다. 이곳에서는 OpenAI 호환 채팅 엔드포인트 하나로 제공되며, 입력 텍스트는 최대 262,144토큰, 출력은 최대 262,144토큰을 지원하고, 모든 요청에서 도구 호출과 스트리밍을 사용할 수 있습니다.
| 항목 | 값 |
|---|---|
| 입력 | 텍스트 |
| 출력 | 텍스트 |
| 입력 예산 | 262,144 tokens |
| max_tokens 상한 | 262,144 |
핵심 기능 및 하이라이트
아주 큰 모델이지만 그중 일부만 실행합니다
inclusionAI의 모델 카드는 Ling 3.1 Flash를 선형 하이브리드 Mixture-of-Experts로 설명합니다. 전체 560B 파라미터 중, 라우팅 가능한 512개 전문가 가운데 8개와 공유 전문가 1개가 토큰마다 활성화되어 실제로는 약 25B 파라미터가 동작합니다. Flash라는 이름은 이 설계를 가리킵니다. 큰 모델이지만 훨씬 작은 모델의 속도로 답하도록 만들어졌다는 뜻입니다.
도움이 될 때만 생각하고, 필요 없으면 건너뜁니다
reasoning_effort는 none, low, medium, high를 받으며 기본값은 medium입니다. 분류, 추출, 짧은 채팅처럼 지연 시간이 중요한 작업에는 none이나 low를 쓰고, 여러 단계가 필요한 문제에는 high로 올리세요. 개발사는 이 모델을 네이티브 하이브리드 추론 모델이라고 소개하므로, 엔드포인트 하나로 두 방식을 모두 다룰 수 있습니다.
한 번의 요청에 25만 토큰 이상
262,144토큰의 입력은 영어 기준 약 190,000 단어에 해당합니다. 긴 계약서, 첨부 파일을 텍스트로 붙여 넣은 지원 대화, 중간 규모의 코드 모듈을 그대로 담기에 충분합니다. 모델 카드는 공개 모델에 1M 토큰 윈도우를 명시하지만, 이 엔드포인트가 받는 값은 262,144이며 계획을 세울 때 기준으로 삼아야 할 숫자는 이 값입니다.
같은 호출에서 도구 호출과 스트리밍을 함께 사용합니다
도구 정의를 최대 128개 보내면 모델이 함수 호출을 반환합니다. 이를 애플리케이션에서 실행하고 결과를 tool 메시지로 다시 보내면 됩니다. 응답은 작성되는 대로 스트리밍되며, 후속 서비스가 JSON 객체를 요구하면 response_format으로 요청할 수 있습니다.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
messages | 예 | Ling 3.1 Flash에 상품명과 배송일 추출 자료를 포함한 대화를 순서대로 보냅니다. 도구 결과는 원래 tool_call_id와 연결합니다. 1개 이상 · 256개 이하 |
max_tokens | 아니요 | Ling 3.1 Flash의 |
reasoning_effort | 아니요 | Ling 3.1 Flash에서는 none, low, medium, high를 선택하며 기본값은 medium입니다. 상품명과 배송일 추출 사례에서 설정별 출력 토큰 사용량을 비교합니다. |
stop | 아니요 | Ling 3.1 Flash의 중지 문자열을 하나 또는 최대 4개 지정합니다. Ling 3.1 Flash에서는 일치한 표시는 최종 텍스트에 포함되지 않습니다. 1자 이상 · 1개 이상 · 4개 이하 |
temperature | 아니요 | Ling 3.1 Flash의 샘플링을 조절합니다. 상품명과 배송일 추출 평가에서는 다른 응답 경향이 필요한 경우에만 기본값을 변경합니다. |
top_p | 아니요 | Ling 3.1 Flash의 nucleus sampling을 조절합니다. 상품명과 배송일 추출 비교에서는 top_p와 temperature를 따로 변경해 각 설정의 영향을 확인합니다. |
tools | 아니요 | Ling 3.1 Flash에 상품명과 배송일 추출용 OpenAI 형식 함수 정의를 최대 128개 전달합니다. Ling 3.1 Flash에서는 인수 검증과 실행은 앱에서 처리합니다. 128개 이하 |
parallel_tool_calls | 아니요 | Ling 3.1 Flash이 한 응답에서 여러 독립 함수를 제안하도록 허용하는 설정입니다. 각 작업 실행은 앱에서 관리합니다. 기본값: |
tool_choice | 아니요 | Ling 3.1 Flash의 tool_choice는 auto / none / required / function를 받습니다. Ling 3.1 Flash에서는 실행 결과는 원래 호출의 tool_call_id와 함께 돌려줍니다. |
response_format | 아니요 | Ling 3.1 Flash에 상품명과 배송일 추출 결과를 텍스트 또는 구조화된 JSON으로 요청합니다. Ling 3.1 Flash에서는 반환된 JSON이 필요한 필드를 충족하는지 검증합니다. |
요금
입력 $0.075 / 출력 $0.225 100만 토큰당
활용 사례
대량 분류와 추출
지원 티켓에 태그를 붙이고, 이메일에서 이름, 날짜, 금액을 뽑아내거나, 메시지를 알맞은 큐로 보냅니다. reasoning_effort를 none 또는 low로 설정하고 temperature는 낮게 유지하며, JSON 객체를 요청하면 후처리 없이 각 답변을 파싱할 수 있습니다.
제품과 어시스턴트를 위한 빠른 채팅
페르소나와 운영 규칙은 시스템 메시지에 넣고, 대화는 오래된 순서부터 보내며, 응답은 사용자에게 스트리밍하세요. 큰 컨텍스트 덕분에 긴 대화 기록도 요약하지 않고 그대로 보낼 수 있습니다.
도구를 쓰는 에이전트 루프
검색 함수, 데이터베이스 조회, 티켓 처리 작업을 모델에 제공하고 언제 호출할지는 모델이 판단하게 합니다. 개발사는 터미널 기반 도구 사용과 소프트웨어 엔지니어링을 의도된 용도로 제시합니다.
긴 문서 읽기
정책 매뉴얼, 녹취록, 코드 모듈을 붙여 넣고 자료를 먼저, 질문을 마지막에 두세요. 각 주장을 뒷받침하는 대목을 찾아 달라고 요청하면 됩니다. 여러 섹션을 종합해야 답이 나오는 경우에는 reasoning_effort를 높이세요.
프롬프트 가이드 및 실전 팁
medium에서 시작하고 한 단계씩 조정합니다
medium이 기본값입니다. 짧고 명확하게 정의된 작업에는 low나 none으로 낮춰 지연 시간이 얼마나 줄어드는지 확인하세요. 잘못된 답의 비용이 추가 토큰보다 클 때에만 high로 올리세요. 운영 기본값을 바꾸기 전에 직접 가진 예시 몇 개로 출력을 비교하는 것이 좋습니다.
max_tokens에 사고 과정 몫을 남겨 두세요
max_tokens의 기본값은 4,096입니다. 사고 과정도 같은 예산에서 차감되므로, 긴 답변이나 높은 추론 강도를 쓸 때는 값을 올리세요. 그렇지 않으면 보이는 답변이 끝나기 전에 예산이 소진될 수 있습니다. 답변을 완료된 것으로 처리하기 전에 종료 사유를 확인하세요.
긴 자료는 앞에, 질문은 뒤에 둡니다
각 자료에 출처를 표시하고, 문서는 대화 초반에 배치한 뒤 질문을 마지막에 쓰세요. 지침은 시스템 메시지에 두어야 인용된 텍스트와 혼동되지 않습니다.
같은 ID로 도구 결과를 돌려보냅니다
모델이 함수 호출을 요청하면 실행한 뒤, 같은 tool_call_id를 담은 tool 메시지로 출력을 보내세요. 대화의 일관성을 유지하려면 어시스턴트의 이전 도구 호출 기록도 대화에 그대로 남겨 두어야 합니다.
Ling 3.1 Flash로 텍스트를 추출합니다
고객 안내문에서 상품명, 배송일과 각 항목의 근거 문구를 요청합니다. 이 엔드포인트는 텍스트 전용이므로 문서 사진 대신 내용을 입력합니다. 공개 입력 한도는 262,144토큰이며 inclusionAI가 설명하는 모델 자체의 1M 컨텍스트와 구별됩니다.
추론 예산을 선택합니다
기본 추론량은 medium이며 none, low, high도 선택할 수 있습니다. 단순 추출에는 none을, 여러 단계의 판단이 필요한 사례에는 high를 비교합니다. 기본 출력 한도는 4,096토큰이며 한도를 높여도 토큰 단가는 달라지지 않습니다.
추출을 후속 작업에 연결합니다
프로그램이 읽을 값은 response_format으로 JSON을 요청하고 원문과 대조합니다. Ling이 병렬 도구 호출을 제안해도 실제 실행과 결과 반환은 앱에서 처리합니다. 생성된 날짜만으로 배송 상태가 확인되지는 않습니다.
콘텐츠 허용 여부는 선택한 Ling 3.1 Flash이 결정합니다. Ling 3.1 Flash에서는 NSFW 동작은 달라질 수 있으며, 제한 없는 콘텐츠 처리를 보장하지 않습니다.
API 빠른 시작
curl --fail-with-body -sN https://api.spicyapi.ai/v1/chat/completions \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $(uuidgen)" \
-d '{
"model": "inclusionai/ling-3.1-flash/chat",
"messages": [
{
"role": "user",
"content": "Summarise the following release notes into three bullet points."
}
],
"stream": true
}' \
| jq --unbuffered -Rrj 'select(startswith("data: ")) | .[6:] | select(. != "[DONE]") | fromjson | if .error then "\n[error] \(.error.message)\n" else (.choices[0].delta.content? // empty) end'
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.