
GPT-6.2 API là lựa chọn hiện tại của OpenAI cho công việc agent: changelog API khuyên dùng gpt-6.2-sol "cho lập trình và quy trình agent hằng ngày" và gpt-6.2-astra cho "các tác vụ suy luận và lập trình đòi hỏi cao." Hướng dẫn này kết nối một trong hai model vào coding agent thông qua endpoint Responses của PoYo, với function tool, vòng lặp có giới hạn, streaming tiến độ, ngữ cảnh repository lớn, và caching giúp các phiên dài có chi phí hợp lý. Hãy bắt đầu trên trang model GPT-6.2 Sol và để dành GPT-6.2 Astra cho việc nâng cấp.
Nếu bạn chưa gửi yêu cầu đầu tiên, hãy bắt đầu với hướng dẫn GPT-6.2 API.
API cung cấp gì cho một coding agent
| Mục | GPT-6.2 trên PoYo |
|---|---|
| Model ID | gpt-6.2-sol (mặc định), gpt-6.2-astra (nâng cấp) |
| Endpoint cho agent | POST https://api.poyo.ai/v1/responses (OpenAI SDK, base_url="https://api.poyo.ai/v1") |
| Tool calling | Chỉ trên Responses; OpenAI: "tool calling yêu cầu Responses" |
| Ngữ cảnh / đầu vào tối đa / đầu ra tối đa | 1,050,000 / 922,000 / 128,000 token |
| Streaming | "stream": true; response.completed mang đầu ra cuối cùng và usage |
| Suy luận | reasoning.effort; none bị từ chối, bắt đầu từ medium |
| Giá mỗi 1M (Sol) | $1.60 đầu vào / $8 đầu ra / $0.08 đọc cache / $2 ghi cache |
| Giá mỗi 1M (Astra) | $6.40 đầu vào / $32 đầu ra / $0.32 đọc cache / $8 ghi cache |
| Lỗi | 400 trường không hợp lệ, 401 khóa sai, 402 không đủ tín dụng, 404 model không xác định; thử lại 429 / 5xx với backoff |
Tài liệu Responses của PoYo mô tả tools, tool_choice, parallel_tool_calls, reasoning, include, store, previous_response_id và truncation, đồng thời cho biết khả năng hỗ trợ công cụ tùy thuộc vào model. Trang model của OpenAI liệt kê function calling và một bộ hosted tool cho GPT-6.2. Tài liệu của PoYo chỉ đưa web_search_preview làm ví dụ hosted tool, nên agent này dùng function tool của riêng bạn, do bạn kiểm soát từ đầu đến cuối.
Định nghĩa function tool
Hãy giữ bộ công cụ nhỏ và an toàn. Model chỉ có thể yêu cầu những hành động mà bạn đã cài đặt:
import json, os, subprocess
from pathlib import Path
from openai import OpenAI
client = OpenAI(base_url="https://api.poyo.ai/v1", api_key=os.environ["POYO_API_KEY"])
REPO = Path("/srv/checkout").resolve()
TOOLS = [
{"type": "function", "name": "read_file",
"description": "Read a UTF-8 text file from the repository.",
"parameters": {"type": "object", "properties": {"path": {"type": "string"}},
"required": ["path"], "additionalProperties": False}},
{"type": "function", "name": "write_file",
"description": "Replace a file in the repository with new content.",
"parameters": {"type": "object",
"properties": {"path": {"type": "string"}, "content": {"type": "string"}},
"required": ["path", "content"], "additionalProperties": False}},
{"type": "function", "name": "run_tests",
"description": "Run the test suite and return the last 200 lines of output.",
"parameters": {"type": "object", "properties": {}, "additionalProperties": False}},
]
def safe_path(p: str) -> Path:
full = (REPO / p).resolve()
if not full.is_relative_to(REPO):
raise ValueError("path escapes the repository")
return full
def call_tool(name: str, args: dict) -> str:
try:
if name == "read_file":
return safe_path(args["path"]).read_text(encoding="utf-8")[:200_000]
if name == "write_file":
safe_path(args["path"]).write_text(args["content"], encoding="utf-8")
return "ok"
if name == "run_tests":
r = subprocess.run(["pytest", "-q"], cwd=REPO, capture_output=True, text=True, timeout=600)
return "\n".join((r.stdout + r.stderr).splitlines()[-200:])
return f"unknown tool {name}"
except Exception as e: # return errors to the model instead of crashing the loop
return f"error: {e}"
Hãy chạy agent trên một bản checkout hoặc container dùng một lần rồi bỏ, không bao giờ chạy trên working tree của bạn.
Vòng lặp agent có giới hạn
Vòng lặp gửi cuộc hội thoại, thực thi mọi mục function_call, nối thêm một function_call_output với cùng call_id, và lặp lại cho tới khi model trả lời mà không gọi công cụ. Nó dừng lại khi chạm giới hạn số lượt hoặc ngân sách tính bằng đô la.
PRICES = {"gpt-6.2-sol": (1.60, 8.00, 0.08, 2.00), "gpt-6.2-astra": (6.40, 32.00, 0.32, 8.00)}
def cost(model, u) -> float:
p_in, p_out, p_read, p_write = PRICES[model]
d = getattr(u, "input_tokens_details", None)
read = getattr(d, "cached_tokens", 0) or 0
write = getattr(d, "cache_write_tokens", 0) or 0
return ((u.input_tokens - read - write) * p_in + read * p_read
+ write * p_write + u.output_tokens * p_out) / 1e6
DEVELOPER = ("You are a coding agent working in a Python repository. "
"Read files before editing. Run the tests after every change. "
"When the tests pass, reply with a short summary and no tool call.")
def run_agent(task: str, model="gpt-6.2-sol", max_turns=30, budget_usd=3.00):
items = [{"role": "developer", "content": DEVELOPER},
{"role": "user", "content": task}]
spent = 0.0
for turn in range(max_turns):
resp = client.responses.create(
model=model, input=items, tools=TOOLS,
reasoning={"effort": "medium"}, max_output_tokens=16000,
store=False, include=["reasoning.encrypted_content"],
)
spent += cost(model, resp.usage)
items += [o.model_dump(exclude_none=True) for o in resp.output]
calls = [o for o in resp.output if o.type == "function_call"]
if not calls:
return resp.output_text, spent, turn + 1
for c in calls:
items.append({"type": "function_call_output", "call_id": c.call_id,
"output": call_tool(c.name, json.loads(c.arguments))})
if spent >= budget_usd:
break
raise RuntimeError(f"stopped after {turn + 1} turns, ${spent:.3f} spent")
Vì sao vòng lặp được xây dựng như vậy:
- Các mục đầu ra được gửi lại theo đúng thứ tự, kể cả reasoning item. Với các yêu cầu có
storelà false, như trong chế độ Zero Data Retention, hướng dẫn GPT-6.2 của OpenAI yêu cầu "gửi lại các mục đầu ra trước đó theo đúng thứ tự, kể cả các reasoning item đã mã hóa."include=["reasoning.encrypted_content"]yêu cầu trả về các mục này. Cách thay thế là dùngprevious_response_idvới các phản hồi được lưu, điều mà PoYo cũng có tài liệu mô tả. - Lịch sử chỉ được nối thêm. OpenAI cảnh báo rằng chỉnh sửa giữa cuộc hội thoại có thể khiến Responses API bỏ các reasoning item, điều này "có thể làm giảm chất lượng câu trả lời và tăng lượng token sử dụng," và một lần chỉnh sửa cũng phá vỡ tiền tố đã cache.
- Ngân sách được kiểm tra mỗi lượt, dùng cùng bảng giá với hóa đơn.
Chúng tôi chưa chạy chính xác vòng lặp này từ đầu đến cuối trên PoYo cho bài viết này. Hãy chạy nó trên một tác vụ nhỏ trước và xác nhận rằng các tool call và usage trông đúng như mong đợi.
Streaming tiến độ tới người dùng
Các lượt agent dài sẽ có cảm giác chậm nếu không có phản hồi. Hãy stream từng lượt, hiển thị các delta văn bản, và lấy đầu ra cuối cùng từ response.completed. Đây là các loại sự kiện mà PoYo có tài liệu:
def stream_turn(model, items):
final = None
with client.responses.create(model=model, input=items, tools=TOOLS,
reasoning={"effort": "medium"}, max_output_tokens=16000,
store=False, include=["reasoning.encrypted_content"],
stream=True) as stream:
for event in stream:
if event.type == "response.output_text.delta":
print(event.delta, end="", flush=True)
elif event.type == "response.completed":
final = event.response
elif event.type == "response.failed":
raise RuntimeError(event.response)
return final # same object as the non-streaming call: .output, .usage
Thay stream_turn vào vòng lặp ở chỗ responses.create. Các tool call được đọc từ final.output y như trước.
Ngữ cảnh dài: 922K vào, 128K ra
GPT-6.2 nhận tối đa 922,000 token đầu vào cho mỗi yêu cầu. Một agent có thể nạp trước một phần lớn của repository thay vì đọc từng tệp một. Có ba giới hạn chi phối lựa chọn đó:
- Mỗi lượt đều gửi lại lịch sử. Một snapshot 200K token qua 20 lượt là ít nhất 4M token đầu vào. Với giá $1.60 của Sol, con số đó là $6.40 khi không có cache. Với một lần ghi cache snapshot ($0.40) và 19 lần đọc cache ở $0.08 ($0.30), chi phí khoảng $0.70.
- Gói ngữ cảnh dài của OpenAI bắt đầu khi vượt 272K token đầu vào. Trang giá của OpenAI tăng gấp đôi giá đầu vào và cache, và tính 1.5× giá đầu ra cho toàn bộ yêu cầu khi vượt ngưỡng đó. Hãy giữ các yêu cầu của agent dưới 272K trừ khi tác vụ cần nhiều hơn, và kiểm tra trang model để biết giá PoYo áp dụng.
- Suy luận dùng chung ngân sách đầu ra.
max_output_tokensgiới hạn cả văn bản hiển thị lẫn suy luận. Hãy yêu cầu mỗi lần gọiwrite_filechỉ ghi một tệp thay vì viết lại toàn bộ repo.
Hãy cắt bớt đầu ra công cụ trước khi nối vào: trả về 200 dòng cuối của một lần chạy test, không phải 20,000 dòng. Điều đó giữ mức tăng mỗi lượt, và cả hóa đơn, tuyến tính và nhỏ.
Prompt caching cho các phiên agent
Hướng dẫn caching của OpenAI đặt ra các quy tắc sau cho GPT-6.2:
| Quy tắc | Giá trị |
|---|---|
| Giá đọc cache | 0.05× giá đầu vào ($0.08 mỗi 1M trên Sol, $0.32 trên Astra, trên PoYo) |
| Giá ghi cache | 1.25× giá đầu vào với thời gian lưu mặc định 30 phút ($2 / $8 mỗi 1M trên PoYo) |
| Tiền tố tối thiểu có thể cache | 1,024 token đầu vào hiển thị |
| Breakpoint ngầm định | Cuối tin nhắn hợp lệ mới nhất |
| Trường usage | usage.input_tokens_details.cached_tokens (đọc), cache_write_tokens (ghi) |
Để tăng khả năng trúng cache:
- Đặt nội dung ổn định lên đầu. Tin nhắn developer, rồi định nghĩa công cụ, rồi snapshot repository, rồi tới tác vụ.
- Dùng tin nhắn
developer, không dùnginstructionscấp cao nhất. GPT-6.2 nốiinstructionsvào sauinput, nên chúng sẽ nằm ngoài tiền tố. - Không bao giờ chỉnh sửa các mục trước đó. Hãy nối thêm đầu ra công cụ; đừng viết lại lịch sử.
- Giữ thiết lập ổn định trong một phiên. Hướng dẫn của OpenAI yêu cầu giữ nguyên tiền tố khi bạn thay đổi thiết lập giữa các phản hồi.
OpenAI cũng có tài liệu về prompt_cache_options (breakpoint tường minh và thời gian lưu 12 giờ). Schema Responses của PoYo không liệt kê trường này và được khai báo là không nhận trường thừa (additionalProperties: false), nên hãy bỏ nó ra và dựa vào implicit caching. Một phiên 25 lượt ở trường hợp tốt nhất trên Sol giảm từ $3.82 khi không có cache xuống khoảng $0.74; phép tính có trong Giá GPT-6.2 API.
Khi nào chuyển lần chạy sang Astra
Hãy bắt đầu mọi lần chạy trên gpt-6.2-sol. Nếu nó dừng ở giới hạn lượt mà test vẫn thất bại, hãy khởi động lại tác vụ trên gpt-6.2-astra với một danh sách mục mới. Đừng đổi model bên trong cùng một cuộc hội thoại, vì OpenAI cho biết việc đổi model có thể làm mất các reasoning item. Phép tính định tuyến và một router có trong GPT-6.2 Sol API vs GPT-6.2 Astra API. Để xem cách một nhà cung cấp khác xử lý cùng vòng lặp này, hãy so sánh với Gemini 4 Carbon API cho coding agent.
Câu hỏi thường gặp
GPT-6.2 API có hỗ trợ function calling không?
Có, trên /v1/responses. Định nghĩa công cụ với type: "function", đọc các mục function_call từ output, và gửi kết quả trở lại dưới dạng các mục function_call_output với cùng call_id.
Tôi có thể dùng công cụ của GPT-6.2 API với Chat Completions không?
Không. OpenAI cho biết GPT-6.2 hỗ trợ Chat Completions, nhưng tool calling yêu cầu Responses.
Làm sao stream một lượt agent của GPT-6.2 API?
Đặt stream: true trên Responses, in các sự kiện response.output_text.delta, và đọc tool call cùng usage từ sự kiện response.completed.
Làm sao giảm chi phí GPT-6.2 API trong các phiên agent dài?
Giữ một tiền tố ổn định (tin nhắn developer, công cụ, snapshot) ở đầu, nối thêm thay vì chỉnh sửa, cắt bớt đầu ra công cụ, và giữ dưới 272K token đầu vào cho mỗi yêu cầu khi có thể.
Nên dùng model GPT-6.2 nào cho coding agent của tôi?
Hãy bắt đầu với gpt-6.2-sol, có giá mỗi token bằng một phần tư Astra, và khởi động lại lần chạy thất bại trên gpt-6.2-astra.