fix: fix zhipu streaming (#349)

* Fix #348

* chore: update implementation

---------

Co-authored-by: JustSong <songquanpeng@foxmail.com>

README.md

@@ -314,6 +314,7 @@ https://openai.justsong.cn
    + 额度 = 分组倍率 * 模型倍率 * （提示 token 数 + 补全 token 数 * 补全倍率）
    + 其中补全倍率对于 GPT3.5 固定为 1.33，GPT4 为 2，与官方保持一致。
    + 如果是非流模式，官方接口会返回消耗的总 token，但是你要注意提示和补全的消耗倍率不一样。
+   + 注意，One API 的默认倍率就是官方倍率，是已经调整过的。
 2. 账户额度足够为什么提示额度不足？
    + 请检查你的令牌额度是否足够，这个和账户额度是分开的。
    + 令牌额度仅供用户设置最大使用量，用户可自由设置。

controller/relay-openai.go

@@ -46,7 +46,7 @@ func openaiStreamHandler(c *gin.Context, resp *http.Response, relayMode int) (*O
 					err := json.Unmarshal([]byte(data), &streamResponse)
 					if err != nil {
 						common.SysError("error unmarshalling stream response: " + err.Error())
-						return
+						continue // just ignore the error
 					}
 					for _, choice := range streamResponse.Choices {
 						responseText += choice.Delta.Content
@@ -56,7 +56,7 @@ func openaiStreamHandler(c *gin.Context, resp *http.Response, relayMode int) (*O
 					err := json.Unmarshal([]byte(data), &streamResponse)
 					if err != nil {
 						common.SysError("error unmarshalling stream response: " + err.Error())
-						return
+						continue
 					}
 					for _, choice := range streamResponse.Choices {
 						responseText += choice.Text

controller/relay-zhipu.go

@@ -194,8 +194,8 @@ func zhipuStreamHandler(c *gin.Context, resp *http.Response) (*OpenAIErrorWithSt
 		if atEOF && len(data) == 0 {
 			return 0, nil, nil
 		}
-		if i := strings.Index(string(data), "\n"); i >= 0 {
-			return i + 1, data[0:i], nil
+		if i := strings.Index(string(data), "\n\n"); i >= 0 && strings.Index(string(data), ":") >= 0 {
+			return i + 2, data[0:i], nil
 		}
 		if atEOF {
 			return len(data), data, nil
@@ -208,14 +208,19 @@ func zhipuStreamHandler(c *gin.Context, resp *http.Response) (*OpenAIErrorWithSt
 	go func() {
 		for scanner.Scan() {
 			data := scanner.Text()
-			data = strings.Trim(data, "\"")
-			if len(data) < 5 { // ignore blank line or wrong format
-				continue
-			}
-			if data[:5] == "data:" {
-				dataChan <- data[5:]
-			} else if data[:5] == "meta:" {
-				metaChan <- data[5:]
+			lines := strings.Split(data, "\n")
+			for i, line := range lines {
+				if len(line) < 5 {
+					continue
+				}
+				if line[:5] == "data:" {
+					dataChan <- line[5:]
+					if i != len(lines)-1 {
+						dataChan <- "\n"
+					}
+				} else if line[:5] == "meta:" {
+					metaChan <- line[5:]
+				}
 			}
 		}
 		stopChan <- true