概述
Moderation endpoint是一个工具，您可以使用它来检查内容是否符合OpenAI的使用政策。开发人员因此可以识别出我们的使用政策禁止的内容，并采取行动，例如通过过滤它。
该模型分类以下类别：
| 类别 | 描述 |
|---|---|
| 仇恨 | 煽动或宣传基于种族、性别、民族、宗教、国籍、性取向、残疾状态或种姓的仇恨内容。 |
| 仇恨/威胁 | 包括针对特定群体的暴力或严重伤害的仇恨内容。 |
| 自我伤害 | 促进、鼓励或描绘自我伤害行为，如自杀，割伤和饮食失调等内容。 |
| 色情 | 旨在引起性兴奋的内容，例如描述性活动或推广性服务（不包括性教育和健康）。 |
| 色情/未成年人 | 涉及未满18岁个体的色情内容。 |
| 暴力 | 推广或美化暴力，庆祝他人遭受苦难或屈辱的内容。 |
| 暴力/图形化 | 以极端详细方式描绘死亡、暴力或严重身体损伤等具有暴力倾向的内容。 |
当监控OpenAI API的输入和输出时，中介端点可免费使用。我们目前不支持监控第三方流量。
我们正在不断努力改进我们的分类器准确性，特别是在
hate、violence/graphic内容方面进行改进。我们目前对非英语语言的支持还有限。
快速入门
要为一段文本获取分类，请像以下代码片段中演示的那样向审核终端点发出请求：
curl https://api.openai.com/v1/moderations \ -X POST \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -d '{"input": "Sample text goes here"}'以下是端点的示例输出。它返回以下字段：
-
flagged：如果模型将内容分类为违反OpenAI使用政策，则设置为true，否则为false。 -
categories：包含每个类别二进制使用政策违规标志的字典。对于每个类别，如果模型将相应的类别标记为违规，则该值为true，否则为false。 -
category_scores：包含由模型输出的每个类别原始分数的字典，表示模型对输入是否违反OpenAI该类别政策的信心度。该值介于0和1之间，其中较高的值表示更高的置信度。不应将得分解释为概率。
"id": "modr-XXXXX", "model": "text-moderation-001", "results": [ { "categories": { "hate": false, "hate/threatening": false, "self-harm": false, "sexual": false, "sexual/minors": false, "violence": false, "violence/graphic": false }, "category_scores": { "hate": 0.18805529177188873, "hate/threatening": 0.0001250059431185946, "self-harm": 0.0003706029092427343, "sexual": 0.0008735615410842001, "sexual/minors": 0.0007470346172340214, "violence": 0.0041268812492489815, "violence/graphic": 0.00023186142789199948 }, "flagged": false } ]}OpenAI将持续升级Moderation Endpoint的基础模型。因此，依赖于category_scores的自定义策略可能需要随时间重新校准。
© 版权声明
文章版权归作者所有，严禁转载。
THE END