fix: fix xunfei crash (#451)

* 兼容讯飞v2接口

* Revert "兼容讯飞v2接口"

This reverts commit 21f05d1294.

* fix: fix implementation

---------

Co-authored-by: JustSong <songquanpeng@foxmail.com>
Co-authored-by: JustSong <39998050+songquanpeng@users.noreply.github.com>

README.en.md

@@ -1,5 +1,5 @@
 <p align="right">
-    <a href="./README.md">中文</a> | <strong>English</strong>
+    <a href="./README.md">中文</a> | <strong>English</strong> | <a href="./README.ja.md">日本語</a>
 </p>
 
 <p align="center">

README.ja.md

@@ -0,0 +1,298 @@
+<p align="right">
+    <a href="./README.md">中文</a> | <a href="./README.en.md">English</a> | <strong>日本語</strong>
+</p>
+
+<p align="center">
+  <a href="https://github.com/songquanpeng/one-api"><img src="https://raw.githubusercontent.com/songquanpeng/one-api/main/web/public/logo.png" width="150" height="150" alt="one-api logo"></a>
+</p>
+
+<div align="center">
+
+# One API
+
+_✨ 標準的な OpenAI API フォーマットを通じてすべての LLM にアクセスでき、導入と利用が容易です ✨_
+
+</div>
+
+<p align="center">
+  <a href="https://raw.githubusercontent.com/songquanpeng/one-api/main/LICENSE">
+    <img src="https://img.shields.io/github/license/songquanpeng/one-api?color=brightgreen" alt="license">
+  </a>
+  <a href="https://github.com/songquanpeng/one-api/releases/latest">
+    <img src="https://img.shields.io/github/v/release/songquanpeng/one-api?color=brightgreen&include_prereleases" alt="release">
+  </a>
+  <a href="https://hub.docker.com/repository/docker/justsong/one-api">
+    <img src="https://img.shields.io/docker/pulls/justsong/one-api?color=brightgreen" alt="docker pull">
+  </a>
+  <a href="https://github.com/songquanpeng/one-api/releases/latest">
+    <img src="https://img.shields.io/github/downloads/songquanpeng/one-api/total?color=brightgreen&include_prereleases" alt="release">
+  </a>
+  <a href="https://goreportcard.com/report/github.com/songquanpeng/one-api">
+    <img src="https://goreportcard.com/badge/github.com/songquanpeng/one-api" alt="GoReportCard">
+  </a>
+</p>
+
+<p align="center">
+  <a href="#deployment">デプロイチュートリアル</a>
+  ·
+  <a href="#usage">使用方法</a>
+  ·
+  <a href="https://github.com/songquanpeng/one-api/issues">フィードバック</a>
+  ·
+  <a href="#screenshots">スクリーンショット</a>
+  ·
+  <a href="https://openai.justsong.cn/">ライブデモ</a>
+  ·
+  <a href="#faq">FAQ</a>
+  ·
+  <a href="#related-projects">関連プロジェクト</a>
+  ·
+  <a href="https://iamazing.cn/page/reward">寄付</a>
+</p>
+
+> **警告**: この README は ChatGPT によって翻訳されています。翻訳ミスを発見した場合は遠慮なく PR を投稿してください。
+
+> **警告**： 英語版の Docker イメージは `justsong/one-api-en` です。
+
+> **注**: Docker からプルされた最新のイメージは、`alpha` リリースかもしれません。安定性が必要な場合は、手動でバージョンを指定してください。
+
+## 特徴
+1. 複数の大型モデルをサポート:
+   + [x] [OpenAI ChatGPT シリーズモデル](https://platform.openai.com/docs/guides/gpt/chat-completions-api) ([Azure OpenAI API](https://learn.microsoft.com/en-us/azure/ai-services/openai/reference) をサポート)
+   + [x] [Anthropic Claude シリーズモデル](https://anthropic.com)
+   + [x] [Google PaLM2 シリーズモデル](https://developers.generativeai.google)
+   + [x] [Baidu Wenxin Yiyuan シリーズモデル](https://cloud.baidu.com/doc/WENXINWORKSHOP/index.html)
+   + [x] [Alibaba Tongyi Qianwen シリーズモデル](https://help.aliyun.com/document_detail/2400395.html)
+   + [x] [Zhipu ChatGLM シリーズモデル](https://bigmodel.cn)
+2. **ロードバランシング**による複数チャンネルへのアクセスをサポート。
+3. ストリーム伝送によるタイプライター的効果を可能にする**ストリームモード**に対応。
+4. **マルチマシンデプロイ**に対応。[詳細はこちら](#multi-machine-deployment)を参照。
+5. トークンの有効期限や使用回数を設定できる**トークン管理**に対応しています。
+6. **バウチャー管理**に対応しており、バウチャーの一括生成やエクスポートが可能です。バウチャーは口座残高の補充に利用できます。
+7. **チャンネル管理**に対応し、チャンネルの一括作成が可能。
+8. グループごとに異なるレートを設定するための**ユーザーグループ**と**チャンネルグループ**をサポートしています。
+9. チャンネル**モデルリスト設定**に対応。
+10. **クォータ詳細チェック**をサポート。
+11. **ユーザー招待報酬**をサポートします。
+12. 米ドルでの残高表示が可能。
+13. 新規ユーザー向けのお知らせ公開、リチャージリンク設定、初期残高設定に対応。
+14. 豊富な**カスタマイズ**オプションを提供します:
+    1. システム名、ロゴ、フッターのカスタマイズが可能。
+    2. HTML と Markdown コードを使用したホームページとアバウトページのカスタマイズ、または iframe を介したスタンドアロンウェブページの埋め込みをサポートしています。
+15. システム・アクセストークンによる管理 API アクセスをサポートする。
+16. Cloudflare Turnstile によるユーザー認証に対応。
+17. ユーザー管理と複数のユーザーログイン/登録方法をサポート:
+    + 電子メールによるログイン/登録とパスワードリセット。
+    + [GitHub OAuth](https://github.com/settings/applications/new)。
+    + WeChat 公式アカウントの認証（[WeChat Server](https://github.com/songquanpeng/wechat-server)の追加導入が必要）。
+18. 他の主要なモデル API が利用可能になった場合、即座にサポートし、カプセル化する。
+
+## デプロイメント
+### Docker デプロイメント
+デプロイコマンド: `docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api-en`。
+
+コマンドを更新する: `docker run --rm -v /var/run/docker.sock:/var/run/docker.sock containrr/watchtower -cR`。
+
+`-p 3000:3000` の最初の `3000` はホストのポートで、必要に応じて変更できます。
+
+データはホストの `/home/ubuntu/data/one-api` ディレクトリに保存される。このディレクトリが存在し、書き込み権限があることを確認する、もしくは適切なディレクトリに変更してください。
+
+Nginxリファレンス設定:
+```
+server{
+   server_name openai.justsong.cn;  # ドメイン名は適宜変更
+
+   location / {
+          client_max_body_size  64m;
+          proxy_http_version 1.1;
+          proxy_pass http://localhost:3000;  # それに応じてポートを変更
+          proxy_set_header Host $host;
+          proxy_set_header X-Forwarded-For $remote_addr;
+          proxy_cache_bypass $http_upgrade;
+          proxy_set_header Accept-Encoding gzip;
+          proxy_read_timeout 300s;  # GPT-4 はより長いタイムアウトが必要
+   }
+}
+```
+
+次に、Let's Encrypt certbot を使って HTTPS を設定します:
+```bash
+# Ubuntu に certbot をインストール:
+sudo snap install --classic certbot
+sudo ln -s /snap/bin/certbot /usr/bin/certbot
+# 証明書の生成と Nginx 設定の変更
+sudo certbot --nginx
+# プロンプトに従う
+# Nginx を再起動
+sudo service nginx restart
+```
+
+初期アカウントのユーザー名は `root` で、パスワードは `123456` です。
+
+### マニュアルデプロイ
+1. [GitHub Releases](https://github.com/songquanpeng/one-api/releases/latest) から実行ファイルをダウンロードする、もしくはソースからコンパイルする:
+   ```shell
+   git clone https://github.com/songquanpeng/one-api.git
+
+   # フロントエンドのビルド
+   cd one-api/web
+   npm install
+   npm run build
+
+   # バックエンドのビルド
+   cd ..
+   go mod download
+   go build -ldflags "-s -w" -o one-api
+   ```
+2. 実行:
+   ```shell
+   chmod u+x one-api
+   ./one-api --port 3000 --log-dir ./logs
+   ```
+3. [http://localhost:3000/](http://localhost:3000/) にアクセスし、ログインする。初期アカウントのユーザー名は `root`、パスワードは `123456` である。
+
+より詳細なデプロイのチュートリアルについては、[このページ](https://iamazing.cn/page/how-to-deploy-a-website) を参照してください。
+
+### マルチマシンデプロイ
+1. すべてのサーバに同じ `SESSION_SECRET` を設定する。
+2. `SQL_DSN` を設定し、SQLite の代わりに MySQL を使用する。すべてのサーバは同じデータベースに接続する。
+3. マスターノード以外のノードの `NODE_TYPE` を `slave` に設定する。
+4. データベースから定期的に設定を同期するサーバーには `SYNC_FREQUENCY` を設定する。
+5. マスター以外のノードでは、オプションで `FRONTEND_BASE_URL` を設定して、ページ要求をマスターサーバーにリダイレクトすることができます。
+6. マスター以外のノードには Redis を個別にインストールし、`REDIS_CONN_STRING` を設定して、キャッシュの有効期限が切れていないときにデータベースにゼロレイテンシーでアクセスできるようにする。
+7. メインサーバーでもデータベースへのアクセスが高レイテンシになる場合は、Redis を有効にし、`SYNC_FREQUENCY` を設定してデータベースから定期的に設定を同期する必要がある。
+
+Please refer to the [environment variables](#environment-variables) section for details on using environment variables.
+
+### コントロールパネル（例: Baota）への展開
+詳しい手順は [#175](https://github.com/songquanpeng/one-api/issues/175) を参照してください。
+
+配置後に空白のページが表示される場合は、[#97](https://github.com/songquanpeng/one-api/issues/97) を参照してください。
+
+### サードパーティプラットフォームへのデプロイ
+<details>
+<summary><strong>Sealos へのデプロイ</strong></summary>
+<div>
+
+> Sealos は、高い同時実行性、ダイナミックなスケーリング、数百万人のユーザーに対する安定した運用をサポートしています。
+
+> 下のボタンをクリックすると、ワンクリックで展開できます。👇
+
+[![](https://raw.githubusercontent.com/labring-actions/templates/main/Deploy-on-Sealos.svg)](https://cloud.sealos.io/?openapp=system-fastdeploy?templateName=one-api)
+
+
+</div>
+</details>
+
+<details>
+<summary><strong>Zeabur へのデプロイ</strong></summary>
+<div>
+
+> Zeabur のサーバーは海外にあるため、ネットワークの問題は自動的に解決されます。
+
+1. まず、コードをフォークする。
+2. [Zeabur](https://zeabur.com?referralCode=songquanpeng) にアクセスしてログインし、コンソールに入る。
+3. 新しいプロジェクトを作成します。Service -> Add ServiceでMarketplace を選択し、MySQL を選択する。接続パラメータ（ユーザー名、パスワード、アドレス、ポート）をメモします。
+4. 接続パラメータをコピーし、```create database `one-api` ``` を実行してデータベースを作成する。
+5. その後、Service -> Add Service で Git を選択し（最初の使用には認証が必要です）、フォークしたリポジトリを選択します。
+6. 自動デプロイが開始されますが、一旦キャンセルしてください。Variable タブで `PORT` に `3000` を追加し、`SQL_DSN` に `<username>:<password>@tcp(<addr>:<port>)/one-api` を追加します。変更を保存する。SQL_DSN` が設定されていないと、データが永続化されず、再デプロイ後にデータが失われるので注意すること。
+7. 再デプロイを選択します。
+8. Domains タブで、"my-one-api" のような適切なドメイン名の接頭辞を選択する。最終的なドメイン名は "my-one-api.zeabur.app" となります。独自のドメイン名を CNAME することもできます。
+9. デプロイが完了するのを待ち、生成されたドメイン名をクリックして One API にアクセスします。
+
+</div>
+</details>
+
+## コンフィグ
+システムは箱から出してすぐに使えます。
+
+環境変数やコマンドラインパラメータを設定することで、システムを構成することができます。
+
+システム起動後、`root` ユーザーとしてログインし、さらにシステムを設定します。
+
+## 使用方法
+`Channels` ページで API Key を追加し、`Tokens` ページでアクセストークンを追加する。
+
+アクセストークンを使って One API にアクセスすることができる。使い方は [OpenAI API](https://platform.openai.com/docs/api-reference/introduction) と同じです。
+
+OpenAI API が使用されている場所では、API Base に One API のデプロイアドレスを設定することを忘れないでください（例: `https://openai.justsong.cn`）。API Key は One API で生成されたトークンでなければなりません。
+
+具体的な API Base のフォーマットは、使用しているクライアントに依存することに注意してください。
+
+```mermaid
+graph LR
+    A(ユーザ)
+    A --->|リクエスト| B(One API)
+    B -->|中継リクエスト| C(OpenAI)
+    B -->|中継リクエスト| D(Azure)
+    B -->|中継リクエスト| E(その他のダウンストリームチャンネル)
+```
+
+現在のリクエストにどのチャネルを使うかを指定するには、トークンの後に チャネル ID を追加します： 例えば、`Authorization: Bearer ONE_API_KEY-CHANNEL_ID` のようにします。
+チャンネル ID を指定するためには、トークンは管理者によって作成される必要があることに注意してください。
+
+もしチャネル ID が指定されない場合、ロードバランシングによってリクエストが複数のチャネルに振り分けられます。
+
+### 環境変数
+1. `REDIS_CONN_STRING`: 設定すると、リクエストレート制限のためのストレージとして、メモリの代わりに Redis が使われる。
+    + 例: `REDIS_CONN_STRING=redis://default:redispw@localhost:49153`
+2. `SESSION_SECRET`: 設定すると、固定セッションキーが使用され、システムの再起動後もログインユーザーのクッキーが有効であることが保証されます。
+    + 例: `SESSION_SECRET=random_string`
+3. `SQL_DSN`: 設定すると、SQLite の代わりに指定したデータベースが使用されます。MySQL バージョン 8.0 を使用してください。
+    + 例: `SQL_DSN=root:123456@tcp(localhost:3306)/oneapi`
+4. `FRONTEND_BASE_URL`: 設定されると、バックエンドアドレスではなく、指定されたフロントエンドアドレスが使われる。
+    + 例: `FRONTEND_BASE_URL=https://openai.justsong.cn`
+5. `SYNC_FREQUENCY`: 設定された場合、システムは定期的にデータベースからコンフィグを秒単位で同期する。設定されていない場合、同期は行われません。
+    + 例: `SYNC_FREQUENCY=60`
+6. `NODE_TYPE`: 設定すると、ノードのタイプを指定する。有効な値は `master` と `slave` である。設定されていない場合、デフォルトは `master`。
+    + 例: `NODE_TYPE=slave`
+7. `CHANNEL_UPDATE_FREQUENCY`: 設定すると、チャンネル残高を分単位で定期的に更新する。設定されていない場合、更新は行われません。
+    + 例: `CHANNEL_UPDATE_FREQUENCY=1440`
+8. `CHANNEL_TEST_FREQUENCY`: 設定すると、チャンネルを定期的にテストする。設定されていない場合、テストは行われません。
+    + 例: `CHANNEL_TEST_FREQUENCY=1440`
+9. `POLLING_INTERVAL`: チャネル残高の更新とチャネルの可用性をテストするときのリクエスト間の時間間隔 (秒)。デフォルトは間隔なし。
+    + 例: `POLLING_INTERVAL=5`
+
+### コマンドラインパラメータ
+1. `--port <port_number>`: サーバがリッスンするポート番号を指定。デフォルトは `3000` です。
+    + 例: `--port 3000`
+2. `--log-dir <log_dir>`: ログディレクトリを指定。設定しない場合、ログは保存されません。
+    + 例: `--log-dir ./logs`
+3. `--version`: システムのバージョン番号を表示して終了する。
+4. `--help`: コマンドの使用法ヘルプとパラメータの説明を表示。
+
+## スクリーンショット
+![channel](https://user-images.githubusercontent.com/39998050/233837954-ae6683aa-5c4f-429f-a949-6645a83c9490.png)
+![token](https://user-images.githubusercontent.com/39998050/233837971-dab488b7-6d96-43af-b640-a168e8d1c9bf.png)
+
+## FAQ
+1. ノルマとは何か？どのように計算されますか？One API にはノルマ計算の問題はありますか？
+    + ノルマ = グループ倍率 * モデル倍率 * (プロンプトトークンの数 + 完了トークンの数 * 完了倍率)
+    + 完了倍率は、公式の定義と一致するように、GPT3.5 では 1.33、GPT4 では 2 に固定されています。
+    + ストリームモードでない場合、公式 API は消費したトークンの総数を返す。ただし、プロンプトとコンプリートの消費倍率は異なるので注意してください。
+2. アカウント残高は十分なのに、"insufficient quota" と表示されるのはなぜですか？
+    + トークンのクォータが十分かどうかご確認ください。トークンクォータはアカウント残高とは別のものです。
+    + トークンクォータは最大使用量を設定するためのもので、ユーザーが自由に設定できます。
+3. チャンネルを使おうとすると "No available channels" と表示されます。どうすればいいですか？
+    + ユーザーとチャンネルグループの設定を確認してください。
+    + チャンネルモデルの設定も確認してください。
+4. チャンネルテストがエラーを報告する: "invalid character '<' looking for beginning of value"
+    + このエラーは、返された値が有効な JSON ではなく、HTML ページである場合に発生する。
+    + ほとんどの場合、デプロイサイトのIPかプロキシのノードが CloudFlare によってブロックされています。
+5. ChatGPT Next Web でエラーが発生しました: "Failed to fetch"
+    + デプロイ時に `BASE_URL` を設定しないでください。
+    + インターフェイスアドレスと API Key が正しいか再確認してください。
+
+## 関連プロジェクト
+[FastGPT](https://github.com/labring/FastGPT): LLM に基づく知識質問応答システム
+
+## 注
+本プロジェクトはオープンソースプロジェクトです。OpenAI の[利用規約](https://openai.com/policies/terms-of-use)および**適用される法令**を遵守してご利用ください。違法な目的での利用はご遠慮ください。
+
+このプロジェクトは MIT ライセンスで公開されています。これに基づき、ページの最下部に帰属表示と本プロジェクトへのリンクを含める必要があります。
+
+このプロジェクトを基にした派生プロジェクトについても同様です。
+
+帰属表示を含めたくない場合は、事前に許可を得なければなりません。
+
+MIT ライセンスによると、このプロジェクトを利用するリスクと責任は利用者が負うべきであり、このオープンソースプロジェクトの開発者は責任を負いません。

README.md

@@ -1,5 +1,5 @@
 <p align="right">
-   <strong>中文</strong> | <a href="./README.en.md">English</a>
+   <strong>中文</strong> | <a href="./README.en.md">English</a> | <a href="./README.ja.md">日本語</a>
 </p>
 
 
@@ -51,11 +51,13 @@ _✨ 通过标准的 OpenAI API 格式访问所有的大模型，开箱即用
   <a href="https://iamazing.cn/page/reward">赞赏支持</a>
 </p>
 
-> **Note**：本项目为开源项目，使用者必须在遵循 OpenAI 的[使用条款](https://openai.com/policies/terms-of-use)以及**法律法规**的情况下使用，不得用于非法用途。
+> **Note**
+> 本项目为开源项目，使用者必须在遵循 OpenAI 的[使用条款](https://openai.com/policies/terms-of-use)以及**法律法规**的情况下使用，不得用于非法用途。
+> 
+> 根据[《生成式人工智能服务管理暂行办法》](http://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm)的要求，请勿对中国地区公众提供一切未经备案的生成式人工智能服务。
 
-> **Note**：使用 Docker 拉取的最新镜像可能是 `alpha` 版本，如果追求稳定性请手动指定版本。
-
-> **Warning**：从 `v0.3` 版本升级到 `v0.4` 版本需要手动迁移数据库，请手动执行[数据库迁移脚本](./bin/migration_v0.3-v0.4.sql)。
+> **Warning**
+> 使用 Docker 拉取的最新镜像可能是 `alpha` 版本，如果追求稳定性请手动指定版本。
 
 ## 功能
 1. 支持多种大模型：

common/model-ratio.go

@@ -1,6 +1,9 @@
 package common
 
-import "encoding/json"
+import (
+	"encoding/json"
+	"strings"
+)
 
 // ModelRatio
 // https://platform.openai.com/docs/models/model-endpoint-compatibility
@@ -38,8 +41,8 @@ var ModelRatio = map[string]float64{
 	"text-moderation-stable":  0.1,
 	"text-moderation-latest":  0.1,
 	"dall-e":                  8,
-	"claude-instant-1":        0.75,
-	"claude-2":                30,
+	"claude-instant-1":        0.815,  // $1.63 / 1M tokens
+	"claude-2":                5.51,   // $11.02 / 1M tokens
 	"ERNIE-Bot":               0.8572, // ￥0.012 / 1k tokens
 	"ERNIE-Bot-turbo":         0.5715, // ￥0.008 / 1k tokens
 	"Embedding-V1":            0.1429, // ￥0.002 / 1k tokens
@@ -73,3 +76,19 @@ func GetModelRatio(name string) float64 {
 	}
 	return ratio
 }
+
+func GetCompletionRatio(name string) float64 {
+	if strings.HasPrefix(name, "gpt-3.5") {
+		return 1.333333
+	}
+	if strings.HasPrefix(name, "gpt-4") {
+		return 2
+	}
+	if strings.HasPrefix(name, "claude-instant-1") {
+		return 3.38
+	}
+	if strings.HasPrefix(name, "claude-2") {
+		return 2.965517
+	}
+	return 1
+}

common/redis.go

@@ -61,3 +61,8 @@ func RedisDel(key string) error {
 	ctx := context.Background()
 	return RDB.Del(ctx, key).Err()
 }
+
+func RedisDecrease(key string, value int64) error {
+	ctx := context.Background()
+	return RDB.DecrBy(ctx, key, value).Err()
+}

controller/relay-ali.go

@@ -177,9 +177,11 @@ func aliStreamHandler(c *gin.Context, resp *http.Response) (*OpenAIErrorWithStat
 				common.SysError("error unmarshalling stream response: " + err.Error())
 				return true
 			}
-			usage.PromptTokens += aliResponse.Usage.InputTokens
-			usage.CompletionTokens += aliResponse.Usage.OutputTokens
-			usage.TotalTokens += aliResponse.Usage.InputTokens + aliResponse.Usage.OutputTokens
+			if aliResponse.Usage.OutputTokens != 0 {
+				usage.PromptTokens = aliResponse.Usage.InputTokens
+				usage.CompletionTokens = aliResponse.Usage.OutputTokens
+				usage.TotalTokens = aliResponse.Usage.InputTokens + aliResponse.Usage.OutputTokens
+			}
 			response := streamResponseAli2OpenAI(&aliResponse)
 			response.Choices[0].Delta.Content = strings.TrimPrefix(response.Choices[0].Delta.Content, lastResponseText)
 			lastResponseText = aliResponse.Output.Text

controller/relay-baidu.go

@@ -215,9 +215,11 @@ func baiduStreamHandler(c *gin.Context, resp *http.Response) (*OpenAIErrorWithSt
 				common.SysError("error unmarshalling stream response: " + err.Error())
 				return true
 			}
-			usage.PromptTokens += baiduResponse.Usage.PromptTokens
-			usage.CompletionTokens += baiduResponse.Usage.CompletionTokens
-			usage.TotalTokens += baiduResponse.Usage.TotalTokens
+			if baiduResponse.Usage.TotalTokens != 0 {
+				usage.TotalTokens = baiduResponse.Usage.TotalTokens
+				usage.PromptTokens = baiduResponse.Usage.PromptTokens
+				usage.CompletionTokens = baiduResponse.Usage.TotalTokens - baiduResponse.Usage.PromptTokens
+			}
 			response := streamResponseBaidu2OpenAI(&baiduResponse)
 			jsonResponse, err := json.Marshal(response)
 			if err != nil {

controller/relay-text.go

@@ -194,7 +194,11 @@ func relayTextHelper(c *gin.Context, relayMode int) *OpenAIErrorWithStatusCode {
 	if err != nil {
 		return errorWrapper(err, "get_user_quota_failed", http.StatusInternalServerError)
 	}
-	if userQuota > 10*preConsumedQuota {
+	err = model.CacheDecreaseUserQuota(userId, preConsumedQuota)
+	if err != nil {
+		return errorWrapper(err, "decrease_user_quota_failed", http.StatusInternalServerError)
+	}
+	if userQuota > 100*preConsumedQuota {
 		// in this case, we do not pre-consume quota
 		// because the user has enough quota
 		preConsumedQuota = 0
@@ -311,6 +315,11 @@ func relayTextHelper(c *gin.Context, relayMode int) *OpenAIErrorWithStatusCode {
 			return errorWrapper(err, "close_request_body_failed", http.StatusInternalServerError)
 		}
 		isStream = isStream || strings.HasPrefix(resp.Header.Get("Content-Type"), "text/event-stream")
+
+		if resp.StatusCode != http.StatusOK {
+			return errorWrapper(
+				fmt.Errorf("bad status code: %d", resp.StatusCode), "bad_status_code", resp.StatusCode)
+		}
 	}
 
 	var textResponse TextResponse
@@ -322,14 +331,7 @@ func relayTextHelper(c *gin.Context, relayMode int) *OpenAIErrorWithStatusCode {
 		go func() {
 			if consumeQuota {
 				quota := 0
-				completionRatio := 1.0
-				if strings.HasPrefix(textRequest.Model, "gpt-3.5") {
-					completionRatio = 1.333333
-				}
-				if strings.HasPrefix(textRequest.Model, "gpt-4") {
-					completionRatio = 2
-				}
-
+				completionRatio := common.GetCompletionRatio(textRequest.Model)
 				promptTokens = textResponse.Usage.PromptTokens
 				completionTokens = textResponse.Usage.CompletionTokens
 

controller/relay-xunfei.go

@@ -75,7 +75,7 @@ type XunfeiChatResponse struct {
 	} `json:"payload"`
 }
 
-func requestOpenAI2Xunfei(request GeneralOpenAIRequest, xunfeiAppId string) *XunfeiChatRequest {
+func requestOpenAI2Xunfei(request GeneralOpenAIRequest, xunfeiAppId string, domain string) *XunfeiChatRequest {
 	messages := make([]XunfeiMessage, 0, len(request.Messages))
 	for _, message := range request.Messages {
 		if message.Role == "system" {
@@ -96,7 +96,7 @@ func requestOpenAI2Xunfei(request GeneralOpenAIRequest, xunfeiAppId string) *Xun
 	}
 	xunfeiRequest := XunfeiChatRequest{}
 	xunfeiRequest.Header.AppId = xunfeiAppId
-	xunfeiRequest.Parameter.Chat.Domain = "general"
+	xunfeiRequest.Parameter.Chat.Domain = domain
 	xunfeiRequest.Parameter.Chat.Temperature = request.Temperature
 	xunfeiRequest.Parameter.Chat.TopK = request.N
 	xunfeiRequest.Parameter.Chat.MaxTokens = request.MaxTokens
@@ -178,15 +178,28 @@ func buildXunfeiAuthUrl(hostUrl string, apiKey, apiSecret string) string {
 
 func xunfeiStreamHandler(c *gin.Context, textRequest GeneralOpenAIRequest, appId string, apiSecret string, apiKey string) (*OpenAIErrorWithStatusCode, *Usage) {
 	var usage Usage
+	query := c.Request.URL.Query()
+	apiVersion := query.Get("api-version")
+	if apiVersion == "" {
+		apiVersion = c.GetString("api_version")
+	}
+	if apiVersion == "" {
+		apiVersion = "v1.1"
+		common.SysLog("api_version not found, use default: " + apiVersion)
+	}
+	domain := "general"
+	if apiVersion == "v2.1" {
+		domain = "generalv2"
+	}
+	hostUrl := fmt.Sprintf("wss://spark-api.xf-yun.com/%s/chat", apiVersion)
 	d := websocket.Dialer{
 		HandshakeTimeout: 5 * time.Second,
 	}
-	hostUrl := "wss://aichat.xf-yun.com/v1/chat"
 	conn, resp, err := d.Dial(buildXunfeiAuthUrl(hostUrl, apiKey, apiSecret), nil)
 	if err != nil || resp.StatusCode != 101 {
 		return errorWrapper(err, "dial_failed", http.StatusInternalServerError), nil
 	}
-	data := requestOpenAI2Xunfei(textRequest, appId)
+	data := requestOpenAI2Xunfei(textRequest, appId, domain)
 	err = conn.WriteJSON(data)
 	if err != nil {
 		return errorWrapper(err, "write_json_failed", http.StatusInternalServerError), nil

i18n/en.json

@@ -520,5 +520,8 @@
   "代理": "Proxy",
   "此项可选，用于通过代理站来进行 API 调用，请输入代理站地址，格式为：https://domain.com": "This is optional, used to make API calls through the proxy site, please enter the proxy site address, the format is: https://domain.com",
   "取消密码登录将导致所有未绑定其他登录方式的用户（包括管理员）无法通过密码登录，确认取消？": "Canceling password login will cause all users (including administrators) who have not bound other login methods to be unable to log in via password, confirm cancel?",
-  "按照如下格式输入：": "Enter in the following format:"
+  "按照如下格式输入：": "Enter in the following format:",
+  "模型版本": "Model version",
+  "请输入星火大模型版本，注意是接口地址中的版本号，例如：v2.1": "Please enter the version of the Starfire model, note that it is the version number in the interface address, for example: v2.1",
+  "点击查看": "click to view"
 }

middleware/distributor.go

@@ -107,7 +107,7 @@ func Distribute() func(c *gin.Context) {
 		c.Set("model_mapping", channel.ModelMapping)
 		c.Request.Header.Set("Authorization", fmt.Sprintf("Bearer %s", channel.Key))
 		c.Set("base_url", channel.BaseURL)
-		if channel.Type == common.ChannelTypeAzure {
+		if channel.Type == common.ChannelTypeAzure || channel.Type == common.ChannelTypeXunfei {
 			c.Set("api_version", channel.Other)
 		}
 		c.Next()

model/cache.go

@@ -95,6 +95,14 @@ func CacheUpdateUserQuota(id int) error {
 	return err
 }
 
+func CacheDecreaseUserQuota(id int, quota int) error {
+	if !common.RedisEnabled {
+		return nil
+	}
+	err := common.RedisDecrease(fmt.Sprintf("user_quota:%d", id), int64(quota))
+	return err
+}
+
 func CacheIsUserEnabled(userId int) bool {
 	if !common.RedisEnabled {
 		return IsUserEnabled(userId)

web/src/components/LogsTable.js

@@ -43,6 +43,7 @@ function renderType(type) {
 
 const LogsTable = () => {
   const [logs, setLogs] = useState([]);
+  const [showStat, setShowStat] = useState(false);
   const [loading, setLoading] = useState(true);
   const [activePage, setActivePage] = useState(1);
   const [searchKeyword, setSearchKeyword] = useState('');
@@ -92,6 +93,17 @@ const LogsTable = () => {
     }
   };
 
+  const handleEyeClick = async () => {
+    if (!showStat) {
+      if (isAdminUser) {
+        await getLogStat();
+      } else {
+        await getLogSelfStat();
+      }
+    }
+    setShowStat(!showStat);
+  };
+
   const loadLogs = async (startIdx) => {
     let url = '';
     let localStartTimestamp = Date.parse(start_timestamp) / 1000;
@@ -129,13 +141,8 @@ const LogsTable = () => {
 
   const refresh = async () => {
     setLoading(true);
-    setActivePage(1)
+    setActivePage(1);
     await loadLogs(0);
-    if (isAdminUser) {
-      getLogStat().then();
-    } else {
-      getLogSelfStat().then();
-    }
   };
 
   useEffect(() => {
@@ -169,7 +176,7 @@ const LogsTable = () => {
     if (logs.length === 0) return;
     setLoading(true);
     let sortedLogs = [...logs];
-    if (typeof sortedLogs[0][key] === 'string'){
+    if (typeof sortedLogs[0][key] === 'string') {
       sortedLogs.sort((a, b) => {
         return ('' + a[key]).localeCompare(b[key]);
       });
@@ -190,7 +197,12 @@ const LogsTable = () => {
   return (
     <>
       <Segment>
-        <Header as='h3'>使用明细（总消耗额度：{renderQuota(stat.quota)}）</Header>
+        <Header as='h3'>
+          使用明细（总消耗额度：
+          {showStat && renderQuota(stat.quota)}
+          {!showStat && <span onClick={handleEyeClick} style={{ cursor: 'pointer', color: 'gray' }}>点击查看</span>}
+          ）
+        </Header>
         <Form>
           <Form.Group>
             {

web/src/pages/Channel/EditChannel.js

@@ -163,6 +163,9 @@ const EditChannel = () => {
     if (localInputs.type === 3 && localInputs.other === '') {
       localInputs.other = '2023-06-01-preview';
     }
+    if (localInputs.type === 18 && localInputs.other === '') {
+      localInputs.other = 'v2.1';
+    }
     if (localInputs.model_mapping === '') {
       localInputs.model_mapping = '{}';
     }
@@ -275,6 +278,20 @@ const EditChannel = () => {
               options={groupOptions}
             />
           </Form.Field>
+          {
+            inputs.type === 18 && (
+              <Form.Field>
+                <Form.Input
+                  label='模型版本'
+                  name='other'
+                  placeholder={'请输入星火大模型版本，注意是接口地址中的版本号，例如：v2.1'}
+                  onChange={handleInputChange}
+                  value={inputs.other}
+                  autoComplete='new-password'
+                />
+              </Form.Field>
+            )
+          }
           <Form.Field>
             <Form.Dropdown
               label='模型'