นโยบายและ guardrail

กลไกสองอย่างทำงานกับการเรียกก่อนที่มันจะถึงโมเดล: นโยบายการเรียกใช้ตัดสินว่าผลิตภัณฑ์ใด คำตอบใหญ่เท่าใด ใช้จ่ายได้เท่าใด; ส่วน guardrail pack ตรวจสอบสิ่งที่อยู่ในคำขอ ทั้งคู่ทำงานภายใน admission ก่อน reservation ใด ๆ — การเรียกที่ถูกปฏิเสธไม่เคยถูกคิดเงิน ไม่ส่งอะไรไปยังผู้ให้บริการ และไม่ทิ้งระเบียนการใช้งานไว้

นโยบายการเรียกใช้#

นโยบายการเรียกใช้คือกฎที่มีชื่อซึ่งเป็นขององค์กรคุณ ส่วนประกอบของมัน:

• Name และแฟล็ก active — นโยบายที่ไม่ active ยังอยู่ในรายการแต่ไม่จำกัดสิ่งใด
• ขอบเขตโปรเจกต์ที่เป็นตัวเลือก (projectId) — หากไม่มี นโยบายจะใช้กับทั้งองค์กร
• allowedModels — รายการผลิตภัณฑ์ที่อนุญาต
• maxOutputTokens — เพดานขนาด output ที่ขอได้
• dailyMicro / monthlyMicro — เพดานการใช้จ่ายหน่วย micro-USD
• guardrail pack และโหมดเนื้อหา — อยู่ด้านล่าง

นโยบายไม่ลบล้างกันเอง นโยบายที่ active ทุกฉบับซึ่งใช้บังคับกับการเรียกหนึ่งยังคงมีผลทั้งหมด: รายการที่อนุญาตจะตัดกัน ทุกเพดานถูกตรวจ และโหมด guardrail ที่เข้มที่สุดเป็นผู้ชนะ การเรียกที่ผ่านนโยบายหนึ่งยังถูกอีกนโยบายหนึ่งปฏิเสธได้

ใครทำอะไรได้ สมาชิกทุกคนขององค์กรอ่านรายการนโยบายได้ — คุณไม่ต้องเดาว่าข้อจำกัดใดใช้กับคุณ มีเพียง Owner ขององค์กร ที่สร้าง แก้ไข ปิดใช้งาน หรือลบนโยบายได้ ทุกการเปลี่ยนแปลงถูกบันทึกตรวจสอบ และการเปิด/ปิดใช้งานเป็นการกระทำโดยเจตนาที่มี audit event ของตัวเอง ข้อจำกัดที่ถูกยกเลิกจึงปรากฏชัดว่าถูกยกเลิก ไม่ใช่หายไปเงียบ ๆ

guardrail pack#

นโยบายหนึ่งประกอบ content pack ได้สูงสุดสามชุด โดยตรวจกับข้อความของข้อความจากผู้ใช้เท่านั้น:

• pii — ที่อยู่อีเมล หมายเลขโทรศัพท์ หมายเลขบัตรชำระเงิน (ตรวจด้วย Luhn) และเลขประจำตัวประชาชนไทย
• secrets — AWS access key ID, บล็อก private key, bearer token และ token ที่มีเอนโทรปีสูง
• injection — ถ้อยคำที่พยายามลบล้างคำสั่ง ความพยายามดึงข้อมูล system prompt และรูปแบบ jailbreak/การใช้ tool ในทางที่ผิด

แต่ละนโยบายกำหนดโหมดเนื้อหา และเมื่อนโยบายทับซ้อนกัน โหมดที่เข้มที่สุดที่ใช้บังคับได้จะชนะในแต่ละ pack:

คุณสมบัติสามข้อที่สำคัญเมื่อคุณพึ่งพากลไกนี้:

• ล้มเหลวแบบปิด การตรวจสอบทำงานภายใน admission transaction หากการประเมินนโยบายทำไม่สำเร็จ การเรียกจะไม่ถูกรับเข้า — ไม่มีการปล่อยผ่านโดยไม่ตรวจ
• เนื้อหาที่ถูกบล็อกไม่เคยถูกส่งกลับ การปฏิเสธบอกว่ามี guardrail ตรวจพบ ไม่ได้บอกว่าพบอะไร ร่องรอยการตรวจสอบเก็บจำนวนครั้งที่กฎทำงาน ไม่ใช่ข้อความที่ตรวจพบ
• การบล็อกเกิดก่อนเงินเคลื่อนไหว ไม่มีการกัน reservation ไม่มีการเรียกผู้ให้บริการ ไม่มีการสร้างระเบียนการใช้งาน; การปฏิเสธถูกบันทึกเป็น audit event ชนิด invocation.denied

สิ่งที่ผู้เรียกเห็น#

ไม่มีข้อใดเป็นความผิดพลาดชั่วคราว — การลองคำขอเดิมซ้ำจะล้มเหลวเหมือนเดิม การ backoff เป็นการตอบสนองที่ผิด ให้เปลี่ยนการเรียก หรือขอให้ Owner เปลี่ยนนโยบาย

ถัดไป#

• เพดานและการควบคุมการใช้จ่าย — รายละเอียดของเพดานและวงเงินของคีย์
• ข้อผิดพลาด — รายการรหัสทั้งหมดและสิ่งที่แก้แต่ละรหัสได้