chore: update prompt

README.md

@@ -68,16 +68,17 @@ _✨ All in one 的 OpenAI 接口，整合各种 API 访问方式，开箱即用
 7. 支持**通道管理**，批量创建通道。
 8. 支持**用户分组**以及**渠道分组**。
 9. 支持渠道**设置模型列表**。
-10. 支持发布公告，设置充值链接，设置新用户初始额度。
-11. 支持丰富的**自定义**设置，
+10. 支持**查看额度明细**。
+11. 支持发布公告，设置充值链接，设置新用户初始额度。
+12. 支持丰富的**自定义**设置，
     1. 支持自定义系统名称，logo 以及页脚。
     2. 支持自定义首页和关于页面，可以选择使用 HTML & Markdown 代码进行自定义，或者使用一个单独的网页通过 iframe 嵌入。
-12. 支持通过系统访问令牌访问管理 API。
-13. 支持用户管理，支持**多种用户登录注册方式**：
+13. 支持通过系统访问令牌访问管理 API。
+14. 支持用户管理，支持**多种用户登录注册方式**：
     + 邮箱登录注册以及通过邮箱进行密码重置。
     + [GitHub 开放授权](https://github.com/settings/applications/new)。
     + 微信公众号授权（需要额外部署 [WeChat Server](https://github.com/songquanpeng/wechat-server)）。
-14. 未来其他大模型开放 API 后，将第一时间支持，并将其封装成同样的 API 访问方式。
+15. 未来其他大模型开放 API 后，将第一时间支持，并将其封装成同样的 API 访问方式。
 
 ## 部署
 ### 基于 Docker 进行部署

common/model-ratio.go

@@ -26,8 +26,8 @@ var ModelRatio = map[string]float64{
 	"ada":                     10,
 	"text-embedding-ada-002":  0.2,
 	"text-search-ada-doc-001": 10,
-	"text-moderation-stable":  10,
-	"text-moderation-latest":  10,
+	"text-moderation-stable":  0.1,
+	"text-moderation-latest":  0.1,
 }
 
 func ModelRatio2JSONString() string {

controller/channel-test.go

@@ -59,7 +59,7 @@ func testChannel(channel *model.Channel, request *ChatRequest) error {
 		return err
 	}
 	if response.Usage.CompletionTokens == 0 {
-		return errors.New(fmt.Sprintf("type %s, code %s, message %s", response.Error.Type, response.Error.Code, response.Error.Message))
+		return errors.New(fmt.Sprintf("type %s, code %v, message %s", response.Error.Type, response.Error.Code, response.Error.Message))
 	}
 	return nil
 }

controller/model.go

@@ -161,6 +161,24 @@ func init() {
 			Root:       "text-ada-001",
 			Parent:     nil,
 		},
+		{
+			Id:         "text-moderation-latest",
+			Object:     "model",
+			Created:    1677649963,
+			OwnedBy:    "openai",
+			Permission: permission,
+			Root:       "text-moderation-latest",
+			Parent:     nil,
+		},
+		{
+			Id:         "text-moderation-stable",
+			Object:     "model",
+			Created:    1677649963,
+			OwnedBy:    "openai",
+			Permission: permission,
+			Root:       "text-moderation-stable",
+			Parent:     nil,
+		},
 	}
 	openAIModelsMap = make(map[string]OpenAIModels)
 	for _, model := range openAIModels {

controller/relay.go

@@ -24,6 +24,7 @@ const (
 	RelayModeChatCompletions
 	RelayModeCompletions
 	RelayModeEmbeddings
+	RelayModeModeration
 )
 
 // https://platform.openai.com/docs/api-reference/chat
@@ -37,6 +38,7 @@ type GeneralOpenAIRequest struct {
 	Temperature float64   `json:"temperature"`
 	TopP        float64   `json:"top_p"`
 	N           int       `json:"n"`
+	Input       string    `json:"input"`
 }
 
 type ChatRequest struct {
@@ -63,7 +65,7 @@ type OpenAIError struct {
 	Message string `json:"message"`
 	Type    string `json:"type"`
 	Param   string `json:"param"`
-	Code    string `json:"code"`
+	Code    any    `json:"code"`
 }
 
 type OpenAIErrorWithStatusCode struct {
@@ -100,11 +102,13 @@ func Relay(c *gin.Context) {
 		relayMode = RelayModeCompletions
 	} else if strings.HasPrefix(c.Request.URL.Path, "/v1/embeddings") {
 		relayMode = RelayModeEmbeddings
+	} else if strings.HasPrefix(c.Request.URL.Path, "/v1/moderations") {
+		relayMode = RelayModeModeration
 	}
 	err := relayHelper(c, relayMode)
 	if err != nil {
 		if err.StatusCode == http.StatusTooManyRequests {
-			err.OpenAIError.Message = "负载已满，请稍后再试，或升级账户以提升服务质量。"
+			err.OpenAIError.Message = "当前分组负载已饱和，请稍后再试，或升级账户以提升服务质量。"
 		}
 		c.JSON(err.StatusCode, gin.H{
 			"error": err.OpenAIError,
@@ -143,6 +147,9 @@ func relayHelper(c *gin.Context, relayMode int) *OpenAIErrorWithStatusCode {
 			return errorWrapper(err, "bind_request_body_failed", http.StatusBadRequest)
 		}
 	}
+	if relayMode == RelayModeModeration && textRequest.Model == "" {
+		textRequest.Model = "text-moderation-latest"
+	}
 	baseURL := common.ChannelBaseURLs[channelType]
 	requestURL := c.Request.URL.String()
 	if channelType == common.ChannelTypeCustom {
@@ -180,6 +187,8 @@ func relayHelper(c *gin.Context, relayMode int) *OpenAIErrorWithStatusCode {
 		promptTokens = countTokenMessages(textRequest.Messages, textRequest.Model)
 	case RelayModeCompletions:
 		promptTokens = countTokenText(textRequest.Prompt, textRequest.Model)
+	case RelayModeModeration:
+		promptTokens = countTokenText(textRequest.Input, textRequest.Model)
 	}
 	preConsumedTokens := common.PreConsumedQuota
 	if textRequest.MaxTokens != 0 {
@@ -239,6 +248,9 @@ func relayHelper(c *gin.Context, relayMode int) *OpenAIErrorWithStatusCode {
 				quota = textResponse.Usage.PromptTokens + textResponse.Usage.CompletionTokens*completionRatio
 			}
 			quota = int(float64(quota) * ratio)
+			if ratio != 0 && quota <= 0 {
+				quota = 1
+			}
 			quotaDelta := quota - preConsumedQuota
 			err := model.PostConsumeTokenQuota(tokenId, quotaDelta)
 			if err != nil {

middleware/distributor.go

@@ -7,6 +7,7 @@ import (
 	"one-api/common"
 	"one-api/model"
 	"strconv"
+	"strings"
 )
 
 type ModelRequest struct {
@@ -64,6 +65,11 @@ func Distribute() func(c *gin.Context) {
 				c.Abort()
 				return
 			}
+			if strings.HasPrefix(c.Request.URL.Path, "/v1/moderations") {
+				if modelRequest.Model == "" {
+					modelRequest.Model = "text-moderation-stable"
+				}
+			}
 			userId := c.GetInt("id")
 			userGroup, _ := model.GetUserGroup(userId)
 			channel, err = model.GetRandomSatisfiedChannel(userGroup, modelRequest.Model)

router/relay-router.go

@@ -37,6 +37,6 @@ func SetRelayRouter(router *gin.Engine) {
 		relayV1Router.POST("/fine-tunes/:id/cancel", controller.RelayNotImplemented)
 		relayV1Router.GET("/fine-tunes/:id/events", controller.RelayNotImplemented)
 		relayV1Router.DELETE("/models/:model", controller.RelayNotImplemented)
-		relayV1Router.POST("/moderations", controller.RelayNotImplemented)
+		relayV1Router.POST("/moderations", controller.Relay)
 	}
 }