python 科大讯飞 文本转语音接口 + QT简单界面

来源:so.csdn.net 发布时间:Dec 7, 2020, 4:22:11 PM 原地址:https://blog.csdn.net/qq_43362426/article/details/110846134

文本转语音

由于是实验做的,且有点赶,也就没有怎么整理和疏通,只要能运行就行了。所以仅供借鉴,问题肯定很多,在这只是记录一下所学。

前提

首先你需要注册科大讯飞AI开放平台的账号,领取新用户免费额度(这里是文本转语音次数额度)。然后控制台创建一个应用,应用里开通文本转语音。
另外安装 pyqt5,这是我用的应用界面的模块,安装教程自行百度,这里不再说明。

源码

由于程序挺简单,加上界面丑陋,啊hhhhh。所以就直接给可运行源码了。

# ##***文本转语音***## #

# -*- coding:utf-8 -*-
#
# author: iflytek
#
# 本demo测试时运行的环境为:Windows + Python3.7
# 本demo测试成功运行时所安装的第三方库及其版本如下:
# cffi==1.12.3
# gevent==1.4.0
# greenlet==0.4.15
# pycparser==2.19
# six==1.12.0
# websocket==0.2.1
# websocket-client==0.56.0
# 合成小语种需要传输小语种文本、使用小语种发音人vcn、tte=unicode以及修改文本编码方式
# 错误码链接:https://www.xfyun.cn/document/error-code (code返回错误码时必看)
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os
import numpy as np
import sys
import wave

STATUS_FIRST_FRAME = 0  # 第一帧的标识
STATUS_CONTINUE_FRAME = 1  # 中间帧标识
STATUS_LAST_FRAME = 2  # 最后一帧的标识


class Ws_Param(object):
    # 初始化
    def __init__(self, APPID, APIKey, APISecret, Text):
        self.APPID = APPID
        self.APIKey = APIKey
        self.APISecret = APISecret
        self.Text = Text

        # 公共参数(common)
        self.CommonArgs = {
   "app_id": self.APPID}
        # 业务参数(business),更多个性化参数可在官网查看
        self.BusinessArgs = {
   "aue": "raw", "auf": "audio/L16;rate=16000", "vcn": "xiaoyan", "tte": "utf8","speed":20}
        self.Data = {
   "status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")}
        #使用小语种须使用以下方式,此处的unicode指的是 utf16小端的编码方式,即"UTF-16LE"”
        #self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")}

    # 生成url
    def create_url(self):
        url = 'wss://tts-api.xfyun.cn/v2/tts'
        # 生成RFC1123格式的时间戳
        now = datetime.now()
        date = format_date_time(mktime(now.timetuple()))

        # 拼接字符串
        signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"
        signature_origin += "date: " + date + "\n"
        signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"
        # 进行hmac-sha256进行加密
        signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
                                 digestmod=hashlib.sha256).digest()
        signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')

        authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (
            self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
        authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
        # 将请求的鉴权参数组合为字典
        v = {
   
            "authorization": authorization,
            "date": date,
            "host": "ws-api.xfyun.cn"
        }
        # 拼接鉴权参数,生成url
        url = url + '?' + urlencode(v)
        # print("date: ",date)
        # print("v: ",v)
        # 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释,比对相同参数时生成的url与自己代码生成的url是否一致
        # print('websocket url :', url)
        return url

def on_message(ws, message):
    try:
        message =json.loads(message)
        code = message["code"]
        sid = message["sid"]
        audio = message["data"]["audio"]
        audio = base64.b64decode(audio)
        status = message["data"]["status"]
        print(message)
        if status == 2:
            print("ws is closed")
            ws.close()
            # pcm2wav(r"./demo.pcm",r"./demo.wav")
        if code != 0:
            errMsg = message["message"]
            print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
        else:

            with open('./demo.pcm', 'ab') as f:
                f.write(audio)
                pcm2wav('./demo.pcm','./demo.wav')

    except Exception as e:
        print("receive msg,but parse exception:", e)



# 收到websocket错误的处理
def on_error(ws, error):
    print("### error:", error)


# 收到websocket关闭的处理
def on_close(ws):
    print("### closed ###")


# 收到websocket连接建立的处理
def on_open(ws):
    def run(*args):
        d = {
   "common": wsParam.CommonArgs,
             "business": wsParam.BusinessArgs,
             "data": wsParam.Data,
             }
        d = json.dumps(d)
        print(r"------>begin send")
        ws.send(d)
        if os.path.exists('./demo.pcm'):
            os.remove('./demo.pcm')

    thread.start_new_thread(run, ())

def wav2pcm(wavfile, pcmfile, data_type=np.int16):
    f = open(wavfile, "rb")
    f.seek(0)
    f.read(44)
    data = np.fromfile(f, dtype= data_type)
    data.tofile(pcmfile)


def pcm2wav(pcm_file, wav_file, channels=1, bits=16, sample_rate=16000):
    pcmf = open(pcm_file, 'rb')
    pcmdata = pcmf.read()
    pcmf.close()
 
    if bits % 8 != 0:
        raise ValueError("bits % 8 must == 0. now bits:" + str(bits))
 
    wavfile = wave.open(wav_file, 'wb')
    wavfile.setnchannels(channels)
    wavfile.setsampwidth(bits // 8)
    wavfile.setframerate(sample_rate)
    wavfile.writeframes(pcmdata)
    wavfile.close()


import sys
from PyQt5.QtWidgets import (QWidget, QToolTip, QDesktopWidget, QMessageBox,QTextEdit,QLabel,
    QPushButton, QApplication,QMainWindow, QAction, qApp, QHBoxLayout, QVBoxLayout,QGridLayout,
    QLineEdit)
from PyQt5.QtGui import QFont,QIcon
from PyQt5.QtCore import QCoreApplication
 
 
# ##***pcm转换***## #
import wave
def pcm2wav(pcm_file, wav_file, channels=1, bits=16, sample_rate=16000):
    pcmf = open(pcm_file, 'rb')
    pcmdata = pcmf.read()
    pcmf.close()
 
    if bits % 8 != 0:
        raise ValueError("bits % 8 must == 0. now bits:" + str(bits))
 
    wavfile = wave.open(wav_file, 'wb')
    wavfile.setnchannels(channels)
    wavfile.setsampwidth(bits // 8)
    wavfile.setframerate(sample_rate)
    wavfile.writeframes(pcmdata)
    wavfile.close()
    
# ##***应用图标***## #
class App(QWidget):
    def __init__(self):
        super().__init__()
        self.initUI()
 
    def initUI(self):
        APPID = QLabel('APPID')
        APISecret = QLabel('APISecret')
        APIKey = QLabel('APIKey')
        review = QLabel('Review')
 
        self.APPIDEdit = QTextEdit()
        self.APISecretEdit = QTextEdit()
        self.APIKeyEdit = QTextEdit()
        self.reviewEdit = QTextEdit()
 
        grid = QGridLayout()
        grid.setSpacing(5) # 创建了一个网格布局并且设置了组件之间的间距。
 
        grid.addWidget(APPID, 1, 0)
        grid.addWidget(self.APPIDEdit, 1, 1,3,1)
 
        grid.addWidget(APISecret, 2, 0)
        grid.addWidget(self.APISecretEdit, 2, 1,3,1)

        grid.addWidget(APIKey, 3, 0)
        grid.addWidget(self.APIKeyEdit, 3, 1,3,1)
        
        grid.addWidget(review, 4, 0)
        grid.addWidget(self.reviewEdit, 4, 1, 5, 1) # 如果我们向网格布局中增加一个组件,我们可以提供组件的跨行
        # 和跨列参数。在这个例子中,我们让reviewEdit组件跨了5行。
 
        self.setLayout(grid)
 
        QToolTip.setFont(QFont('SansSerif', 10))  # 这个静态方法设置了用于提示框的字体。
       
        trans1 = QPushButton('文字转换语音pcm', self)  # 创建按钮
        trans1.setToolTip('<b>文字转语音,文件会保存在软件当前目录下demo.pcm</b>')  # 设置按钮提示框
        trans1.resize(trans1.sizeHint())  # 改变按钮大小
        trans1.move(350, 450)  # 移动按钮位置
        
        trans2 = QPushButton('pcm转换wav', self)  # 创建按钮
        trans2.setToolTip('<b>将当前目录下demo.pcm转换为demo.wav</b>')  # 设置按钮提示框
        trans2.resize(trans2.sizeHint())  # 改变按钮大小
        trans2.move(250, 450)  # 移动按钮位置
        
        trans1.clicked.connect(self.buttonClicked)
        trans2.clicked.connect(self.buttonClicked)
        
        qbtn = QPushButton('Quit', self)  # 创建了一个按钮。按钮是一个QPushButton类的实例。
        # 构造方法的第一个参数是显示在button上的标签文本。第二个参数是父组件。
        # 父组件是Example组件,它继承了QWiget类。
        qbtn.clicked.connect(QCoreApplication.instance().quit)
        qbtn.resize(qbtn.sizeHint())
        qbtn.move(500, 50)
        
        
        self.resize(500, 500) 
        self.center()
        self.setWindowTitle('TTS_WS') # 创建一个窗口标题
        self.setWindowIcon(QIcon('./TTS.jfif')) # 创建一个QIcon对象并接收一个我们要显示的图片路径作为参数。
        self.show()
        
    def buttonClicked(self):
        sender = self.sender()
        print("sendr:"+sender.text())
        if(sender.text()=="文字转换语音pcm"):
            print("trans1:")
            print(self.reviewEdit.toPlainText())
            
            global wsParam
            # wsParam.Text = self.reviewEdit.toPlainText()
            # wsParam.APPID = self.APPIDEdit.toPlainText()
            # wsParam.APISecret = self.APISecretEdit.toPlainText()
            # wsParam.APIKey = self.APIKeyEdit.toPlainText()
            wsParam = Ws_Param(APPID=self.APPIDEdit.toPlainText(), APISecret=self.APISecretEdit.toPlainText()
                               ,APIKey=self.APIKeyEdit.toPlainText(),Text=self.reviewEdit.toPlainText())
            print(wsParam.APPID)
            print(wsParam.APISecret)
            print(wsParam.APIKey)
            print(wsParam.Text)
            websocket.enableTrace(False)
            wsUrl = wsParam.create_url()
            ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
            ws.on_open = on_open
            ws.run_forever(sslopt={
   "cert_reqs": ssl.CERT_NONE})
        else:
            print("trans2:")
            pcm2wav('./demo.pcm','./demo.wav')
            
    def closeEvent(self, event):
     
        reply = QMessageBox.question(self, 'Message',
                                     "Are you sure to quit?", QMessageBox.Yes |
                                     QMessageBox.No, QMessageBox.No)
        if reply == QMessageBox.Yes:
            event.accept()
        else:
            event.ignore()
            
    def center(self):
        qr = self.frameGeometry() # 获得主窗口的一个矩形特定几何图形。这包含了窗口的框架。
        cp = QDesktopWidget().availableGeometry().center() # 算出相对于显示器的绝对值。
        # 并且从这个绝对值中,我们获得了屏幕中心点。
        qr.moveCenter(cp) # 矩形已经设置好了它的宽和高。现在我们把矩形的中心设置到屏幕的中间去。
        # 矩形的大小并不会改变。
        self.move(qr.topLeft()) # 移动了应用窗口的左上方的点到qr矩形的左上方的点,因此居中显示在我们的屏幕上。
 
if __name__ == '__main__':
    # wsParam = Ws_Param(APPID='', APISecret='',APIKey='',Text='')
    wsParam = Ws_Param(APPID='', APISecret='',APIKey='',Text='')
    app = QApplication(sys.argv)
    ex = App()
    sys.exit(app.exec_())
 

解释

文本转语音 部分,与官网给出的 python 接口调用demo 相差无几,但是由于接收到的是 pcm 文件,无法直接播放,所以增加了 pcm 转 wav 部分:

on_message 部分改动:

def on_message(ws, message):
    try:
        message =json.loads(message)
        code = message["code"]
        sid = message["sid"]
        audio = message["data"]["audio"]
        audio = base64.b64decode(audio)
        status = message["data"]["status"]
        print(message)
        if status == 2:
            print("ws is closed")
            ws.close()
            # pcm2wav(r"./demo.pcm",r"./demo.wav")
        if code != 0:
            errMsg = message["message"]
            print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
        else:

            with open('./demo.pcm', 'ab') as f:
                f.write(audio)
                pcm2wav('./demo.pcm','./demo.wav') #增加改动

    except Exception as e:
        print("receive msg,but parse exception:", e) 

pcm2wav 实现:

def pcm2wav(pcm_file, wav_file, channels=1, bits=16, sample_rate=16000):
    pcmf = open(pcm_file, 'rb')
    pcmdata = pcmf.read()
    pcmf.close()
 
    if bits % 8 != 0:
        raise ValueError("bits % 8 must == 0. now bits:" + str(bits))
 
    wavfile = wave.open(wav_file, 'wb')
    wavfile.setnchannels(channels)
    wavfile.setsampwidth(bits // 8)
    wavfile.setframerate(sample_rate)
    wavfile.writeframes(pcmdata)
    wavfile.close()

然后就是 QT 部分:(里面多了个 pcm转wav 按钮,写多了,当时写懵了)
QT 部分源码就不贴了,上面有,大致流程就是 initUI 初始化界面组件,组件以一个纵向网络布局分布;然后四个 QTextEdit 组件,分别带 Lable,(三个都是写密钥的,一个写转换文本),之后是 QPushButton 按钮,通过 ${Button}.clicked.connect(self.buttonClicked) 触发,触发时通过识别 sender.text() ,也就是按钮名字,来区分按钮,调用函数。

缺陷

没有写报错机制,没有写接口调用过程的提示,同时肯定也有bug,这里就草草了事。

打包

这里打包用的是 pyinstaller,用 pip 可以直接安装

pyinstaller -F -w ./test.py

只用于记录一下,打过的代码,啊哈哈。有问题,欢迎一起讨论。