เพดานและการควบคุมการใช้จ่าย

การใช้จ่ายบน Grid ถูกจำกัดด้วยการควบคุมสามอย่างที่เป็นอิสระต่อกัน และทั้งหมดถูกตรวจก่อนเรียกผู้ให้บริการ การเรียกที่ติดข้อใดข้อหนึ่งจะถูกปฏิเสธและไม่มีค่าใช้จ่าย

การควบคุม	ผู้กำหนด	ขอบเขต	ข้อผิดพลาดเมื่อเกิน
ยอดเงินในกระเป๋าเงินของโปรเจกต์	ผู้ที่เติมเงิน	ขอบเขตแข็ง — ไม่มีเงิน ไม่มีการเรียก	`402 insufficient_budget`
นโยบายการเรียกใช้	Owner ขององค์กร	โมเดล ขนาด output การใช้จ่ายรายวัน/รายเดือน	`403 policy_denied` · `403 budget_limit`
วงเงินของคีย์	ผู้สร้างคีย์	การใช้จ่ายของคีย์หนึ่งต่อหนึ่งรอบ	`403 key_limit`

กระเป๋าเงินคือขอบเขตแข็ง#

เงินอยู่ที่กระเป๋าเงินของโปรเจกต์ หนึ่งใบต่อหนึ่งโปรเจกต์ ก่อนการเรียกจะทำงาน admission จะคำนวณ reservation — ประมาณการค่าใช้จ่ายแบบระมัดระวัง — แล้วตรวจกับสิ่งที่กระเป๋าเงินเจียดได้จริง: ยอดที่เติมไว้ ลบทุกอย่างที่คิดเงินไปแล้ว ลบยอดที่ถือค้างไว้ทั้งหมด หาก reservation ไม่พอดี การเรียกจะล้มเหลวด้วย 402 insufficient_budget และไม่มีการกันเงินใด ๆ

admission ทุกครั้งถือไว้อย่างน้อยหนึ่ง micro-USD ดังนั้นแม้การเรียกที่ราคาปัดเป็นศูนย์ก็ยังต้องมีกระเป๋าเงินที่เติมแล้วและมียอดว่างให้ใช้ ไม่มีเพดานหรือนโยบายใดยกระดับขอบเขตนี้ได้ — การเติมเงินเป็นทางแก้เดียว

วงเงินของคีย์#

เมื่อคุณสร้างคีย์ API คุณกำหนดวงเงินให้มันได้: จำนวนเงินหน่วย micro-USD (limitMicro) และรอบรีเซ็ต — daily, weekly, monthly หรือ lifetime

รอบใช้เวลา UTC: หนึ่งวันตามปฏิทิน หนึ่งสัปดาห์เริ่มวันจันทร์ 00:00 UTC หนึ่งเดือนตามปฏิทิน ส่วน lifetime ไม่รีเซ็ตเลย
ยอดที่ถือค้างไว้นับรวมด้วย reservation ที่ยังไม่ทราบผลจะนับรวมในวงเงินต่อไปจนกว่าจะตัดบัญชี แม้ข้ามขอบเขตของรอบไปแล้วก็ตาม
เมื่อถึงวงเงิน การเรียกจะล้มเหลวด้วย 403 key_limit จนกว่ารอบจะหมุนไปหรือยอดที่ถือไว้จะถูกปล่อย

วงเงินถูกกำหนดตายตัวตอนสร้าง และคงเดิมเมื่อหมุนเวียนคีย์ หากต้องการเปลี่ยน ให้ออกคีย์ใหม่ ไม่มีเงินที่เป็นของคีย์ — วงเงินเพียงจำกัดว่าคีย์หนึ่งดึงเงินจากกระเป๋าเงินของโปรเจกต์ได้มากเท่าใด

เพดานจากนโยบายการเรียกใช้#

Owner ขององค์กรกำหนดนโยบายการเรียกใช้แบบมีชื่อได้ โดยมีเพดานสามชนิด:

allowedModels — รายการผลิตภัณฑ์ที่อนุญาต; การเรียกที่ระบุสิ่งอื่นจะถูกปฏิเสธ
maxOutputTokens — เพดานขนาด output ที่ขอได้ (ไม่เกิน 8192)
dailyMicro / monthlyMicro — เพดานการใช้จ่ายหน่วย micro-USD; เมื่อกำหนดทั้งคู่ เพดานรายวันต้องต่ำกว่าเพดานรายเดือน

นโยบายหนึ่งใช้กับทั้งองค์กร หรือใช้กับโปรเจกต์เดียวเมื่อมี projectId นโยบายที่เปิดใช้งานและใช้บังคับได้ทั้งหมดมีผลพร้อมกัน: รายการที่อนุญาตจะตัดกัน และทุกเพดานต้องมีที่ว่างพอสำหรับ reservation ใหม่ ยอดที่ถือค้างไว้นับรวมในเพดานของนโยบายเช่นเดียวกับที่นับรวมในวงเงินของคีย์

การปฏิเสธเรื่องโมเดลหรือขนาด output ตอบ 403 policy_denied; เพดานที่ใช้หมดแล้วตอบ 403 budget_limit ทั้งสองเป็นการหยุดเด็ดขาด — ไม่มีการล้นไปยังนโยบายอื่น และการเติมเงินไม่ได้ยกเพดานของนโยบาย ทางแก้คือแก้ไขนโยบาย ซึ่งมีเพียง Owner ที่ทำได้

เพดานจำกัดเท่านั้น ไม่เคยให้สิทธิ์

นโยบายทำได้เพียงทำให้สิ่งที่ผู้เรียกทำได้แคบลงเท่านั้น มันไม่ใช่กระเป๋าเงินและไม่ใช่การให้สิทธิ์เข้าถึง — เงินยังมาจากกระเป๋าเงินของโปรเจกต์ และการเข้าถึงยังมาจากการกำหนดผลิตภัณฑ์และ grant ของโปรเจกต์ การไม่ตั้งนโยบายหมายถึง “ไม่มีข้อจำกัดเพิ่มเติม” ไม่ใช่ “ไม่มีการควบคุมการใช้จ่าย”: ขอบเขตของกระเป๋าเงินและวงเงินของคีย์ยังคงมีผล

เมื่อข้อจำกัดทำงาน#

สิ่งที่คุณเห็น	ความหมาย	วิธีแก้
`402 insufficient_budget`	กระเป๋าเงินของโปรเจกต์ครอบคลุม reservation ไม่ได้	เติมเงิน
`403 budget_limit`	ถึงเพดานรายวันหรือรายเดือนของนโยบายที่ Owner ตั้งไว้	Owner ปรับขึ้นหรือผ่อนคลายนโยบาย หรือรอให้ครบรอบ
`403 key_limit`	วงเงินของคีย์เองถูกใช้หมดสำหรับรอบนั้น	รอการรีเซ็ต หรือออกคีย์ใหม่ที่มีวงเงินสูงกว่า
`403 policy_denied`	โมเดลหรือขนาด output ที่ขอไม่ได้รับอนุญาต	เรียกโมเดลที่อนุญาต หรือลด `max_tokens`

นอกเหนือจากการใช้จ่าย admission ยังจำกัดอัตราการเรียกไว้ที่ 30 คำขอต่อนาทีภายในองค์กรหนึ่ง — ดู ขีดจำกัดอัตรา

ถัดไป#

นโยบายและ guardrail — การเขียนและจัดการนโยบาย
การใช้งานและการวัดปริมาณ — สิ่งที่ใช้จ่ายไปจริง และใช้ที่ไหน