|
|
|
|
|
## 方言模型-16k：
|
|
|
|
|
|
但跟我们没关系你也在路上就在路上你啊心乱如麻了嘛这是为什么要你的事情已经清楚人家说那个叫人家带头的你他妈只有一点我操心啊那你来你已经停留在了一九九六年我手机你呢谁断了没两个逼逼他呢那只能这样一一老秋成搞不懂他妈刷个脸你们他妈都能不用啊小毛病妈了个逼那你来吗'
|
|
|
|
|
|
|
|
|
|
|
|
## 常规asr模型-16k：
|
|
|
|
|
|
- 不加辅助模型：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系你也长这么久戴头盔没有你的是心已经我刚跟人家说那个叫人家戴头盔你他妈直接一点我操狡辩滚啊那你来你已经停留在了一九九六了我手机你来谁断了那你那个逼逼啥呢滚不懂他妈刷个脸你们他妈逼逼我逼逼滚滚妈了个逼那你来妈
|
|
|
|
|
|
|
|
|
|
|
|
- +punc：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系，你也长这么久，戴头盔没有你的是心已经。我刚跟人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩滚啊。那你来你已经停留在了一九九六了，我手机你来谁断了？那你那个逼逼啥呢？滚，不懂他妈刷个脸，你们他妈逼逼，我逼逼。滚滚妈了个逼，那你来妈。'
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- 加辅助模型（punc+vad+lm）：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系，你得转这么久，再录上，你要十万流氓了吗？这头盔了没有啊，你的是心已经停。我看到人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩狡辩啊，那你来你已经停留在了一九九六了，我手机你来啊，摔断了，你那个逼逼啥呢？我操，他只能担心你，你老求神搞不懂，他妈刷个脸，你们他妈都能逼我啊，你笑了，你滚，【你怎么那么多吃的】，你妈了个逼，那你来吧。
|
|
|
|
|
|
|
|
|
|
|
|
- 加辅助模型（punc+vad 不含lm）：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系，你得转这么久，再录上，你要吃万流氓了吗？这头盔了没有啊，你的是心已经停，我看到人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩狡辩啊，那你来你已经停留在了一九九六了。我手机你来啊，摔断了，你那个逼逼啥呢？我操，他只能看心你，你老求神搞不懂他妈刷个脸，你们他妈都能逼我啊。嗯，笑要你滚，你怎么那么多吃的，哎，妈了个逼，那你来吧。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- 带时间戳？【结果和上一致】
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系，你得转这么久，再录上，你要十万流氓了吗？这头盔了没有啊，你的是心已经停。我看到人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩狡辩啊，那你来你已经停留在了一九九六了，我手机你来啊，摔断了，你那个逼逼啥呢？我操，他只能担心你，你老求神搞不懂，他妈刷个脸，你们他妈都能逼我啊，你笑了，你滚，你怎么那么多吃的，你妈了个逼，那你来吧。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## asr-8k：
|
|
|
|
|
|
- 不加辅助模型，配合标点模型：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系，你得昝多少钱，昝多少钱，你要千万能拿了吧，这是为什么呀？你的是心眼睛情况，跟人家说那个叫人家带头的，你他妈只有一点，我操酒店酒店啊，那你来你已经停留在了一九九六，我手机，你的手也断了，那可逼逼啥呢？那只能看你老秋很搞不懂他妈刷个脸，你们他妈都能逼用啊，滚滚你妈了个逼，那你来吗？
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 长音频版-16k：
|
|
|
|
|
|
- 不加辅助模型：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系你也长这么久戴头盔没有没没有你的是心已经我刚跟人家说那个叫人家戴头盔你他妈直接一点我操狡辩狡啊那你来你已经停留在了一九九六了我手机你来啊谁断那你那个逼逼我操狡辩滚搞不懂他妈刷个脸你他妈能逼逼我操你滚你妈了个逼那你来妈
|
|
|
|
|
|
|
|
|
|
|
|
- 加辅助模型：
|
|
|
|
|
|
|
|
|
|
|
|
但跟我们没关系，你得转这么久，再录上，你要十万流氓了吗？这头盔了没有啊，你的是心已经停。我看到人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩狡辩啊，那你来你已经停留在了一九九六了，我手机你来啊，摔断了，你那个逼逼啥呢？我操，他只能担心你，你老求神搞不懂，他妈刷个脸，你们他妈都能逼我啊，你笑了，你滚，你怎么那么多吃的，你妈了个逼，那你来吧。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 结论：
|
|
|
|
|
|
- 相比whisper模型，部分不太准确，但是骂人的话没有被过滤，而whisper中部分脏词识别不准或被过滤；
|
|
|
|
|
|
|
|
|
|
|
|
———————————————————————————————————————————————————————————————————————
|
|
|
|
|
|
|
|
|
|
|
|
## 同样内容的单人语音，但是采样率8k和16k：
|
|
|
|
|
|
|
|
|
|
|
|
### 8k asr：
|
|
|
|
|
|
本次交通事故机动车负全部责任。如果有疑问的话，我们稍后线到大队开。如果没有疑问的话，我现场可以把事故出具给你。
|
|
|
|
|
|
|
|
|
|
|
|
### 16k asr：【效果最好！】
|
|
|
|
|
|
本次交通事故机动车负全部责任。如果有疑问的话，我们到现到大队开。如果没有疑问的话，我现场可以把事故认定书出具给你。
|
|
|
|
|
|
|
|
|
|
|
|
### 16k dialect：
|
|
|
|
|
|
本次交通事故机动车负全部责任。如果有疑问的话，我们到现到大队开。如果没有疑问的话，我现场可以把事故认定书。
|
|
|
|
|
|
|
|
|
|
|
|
### paddlespeech whisper-16k:【效果仅次于16k-asr】
|
|
|
|
|
|
本次交通事故 机动车负全部责任 如果有疑问的话 我们到现在到大队开 如果没有疑问的话 我现场可以把事故的内容出去给你
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 2人重叠语音-其中一人方言：
|
|
|
|
|
|
### paddlespeech whisper-16k:
|
|
|
|
|
|
粉丝交通师傅 机动车负责不责任如果有疑问的话 我们到大厅粉丝交通师傅 我们到大厅
|
|
|
|
|
|
|
|
|
|
|
|
### 16k-asr:
|
|
|
|
|
|
本次交通事故机动车负全部责任，如果有疑问的话，我们到现到那边去。如果没有疑问的话，我现在等一下事故认定书出具给你。
|
|
|
|
|
|
|
|
|
|
|
|
### 16k dialect:
|
|
|
|
|
|
本次交通事故机动车负全部责任。如果有疑问的话，我们就不能保险到。如果没有疑问的话，我就等一下施工人员能不能出具给你？
|
|
|
|
|
|
|
|
|
|
|
|
## 结论：
|
|
|
|
|
|
1. **语音重叠时，都不能很好的检测所有人语音！**还是16k-asr检测结果最好！
|
|
|
|
|
|
|
|
|
|
|
|
2. **单人语音时，达摩院的16k-asr效果最好！**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
——————————————————————————————————————————————————————————————————————————————————————————
|
|
|
|
|
|
|
|
|
|
|
|
## 同样的视频，不同分辨率的语音分离+asr ：
|
|
|
|
|
|
### 16k语音分离+16k asr： 【从转的文本看，语音分离效果很不好，基本没有区分开不同语音！】
|
|
|
|
|
|
- 降噪
|
|
|
|
|
|
|
|
|
|
|
|
说话人 0: 但跟我没关系，你得暂住问题，暂住你要新冠柠檬了吗？现在不没有啊，你的是心已经停，我看到人家说那个叫人家戴头盔，你他妈直接一点，我操，九月九年啊，那你来你已经停留在了。一九九六年我是你来啊，谁断了，你这个逼逼啥的，这是能看得清，你老求红，搞不懂他妈刷个脸，你们他妈都能逼逼，我操懂啊，你滚你怎么这么多哦，妈了个逼哪里嘞？
|
|
|
|
|
|
|
|
|
|
|
|
说话人 1: 这跟没关系，你得暂时么就再录我，你要身外柠檬的话，这是为了损害你的，你的是新鲜情况的右边酒店啊，那你来你已经停留在了。一九九六年。我操你你你也断了，知道是为啥呢？他不能看得清，他等于六个储存，我们怎么知道播放七五米，不是你怎么这么多啊，你用不用？
|
|
|
|
|
|
|
|
|
|
|
|
- 不降噪
|
|
|
|
|
|
|
|
|
|
|
|
说话人 0: 但跟我们没关系，如果感觉问题到没有，新冠毒苗没有啊。我告诉人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩啊，那你来你已经停留在了一九九一，我手你来啊，我手断了啊，那你在这逼逼啥呢？搞不懂他妈刷个脸，你们他妈都能逼，我操受不了，你滚，你怎么那么多，你妈了个逼那里来。
|
|
|
|
|
|
|
|
|
|
|
|
说话人 1: 但跟我没关系，你得到时候你把这你你心乱迷茫，这是为了你看你你的是是天爷爷的衣服哦，那这样子两个人是你已经并没有这个，一九九六年我应该没说，我一开始没开玩笑，真了，他已经丢了，我就成不到。你开你怎么了？你怎么这么多啊，那有什么忙？
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 8k语音分离+8k asr：【可能是语音分离效果好，所以转文本效果也好一点，即使8k asr模型效果不如16k asr】
|
|
|
|
|
|
- 降噪
|
|
|
|
|
|
|
|
|
|
|
|
说话人 0: 但是跟我们没关系，你得昝多少钱，昝多少钱，你吃饭就完了吧。这为了你看你的你的是心已经停工了，眼丑脚辩脚辩你已经停留在了一九九六，我手手断了，吓死人了，已经快已经老师好好。
|
|
|
|
|
|
|
|
|
|
|
|
说话人 1: 没有啊，我告诉人家说那个叫人家带头亏，你他妈只有一点，我操啊，那你来你来，你咋该逼逼啥呢？懂不懂他妈刷个脸，你们他妈都能逼，我操求了，你滚你妈了个逼哪里的？
|
|
|
|
|
|
|
|
|
|
|
|
说话人 2: 嗯，说错了。
|
|
|
|
|
|
|
|
|
|
|
|
- 不降噪 【最好还是降噪！！】
|
|
|
|
|
|
|
|
|
|
|
|
说话人 0: 但跟我没关系，你有啥子问题，但是你那个新浪不就完了吗？就是为了你看你你的是心已经停留在一起，脚辩脚结石，你已经停留在了一九九六五八三零。那手机号，还有你老修改，你怎么那么多事是吧啊？
|
|
|
|
|
|
|
|
|
|
|
|
说话人 1: 没有啊，我告诉人家说那个叫人家带头问你，他妈只有一点，我操啊，那你来嗯你来到底干干逼干啥？刷个脸，你们他妈的刷个脸，你们他妈都能逼吗？我去滚滚，你妈了个逼，哪里的？
|
|
|
|
|
|
|
|
|
|
|
|
说话人 2: 十二月份真真。
|
|
|
|
|
|
|
|
|
|
|
|
### 16k-asr-dialect:【效果不好！】
|
|
|
|
|
|
说话人 0: 哎，跟我没关系，你也敢动就敢动。这个规定没有你的事情，已经结果肯定跟人家说那个叫人家带头问你，他妈只有一点，我操你来啊，那你来你已经停留在了一九九零年，我手你的手段搞不懂，他妈刷个脸，你们他妈都能不用啊，我妈了个逼那里来。
|
|
|
|
|
|
|
|
|
|
|
|
说话人 1: 跟我们没关系，你也打电话就打电话，你用心乱流氓，这是为了处判你啊，你的是心理性侵犯的伤情，你已经停留在了一九九六年，而且已经死亡死亡死亡死亡他已经有死亡死亡死亡死亡赔偿这个赔偿赔偿。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 不用语音分离，直接16k-asr:
|
|
|
|
|
|
|
|
|
|
|
|
- 方言：【效果不好！】
|
|
|
|
|
|
- 降噪 【效果不好！】
|
|
|
|
|
|
|
|
|
|
|
|
但是跟我们没关系，你也在路上，就在路上。你啊人家说那个叫人家叫人家叫人家叫人家叫人家带头，你他妈只有一点，我操狡辩，狡辩狡辩啊，那你来你已经停留在了一九九六年二十年，你来才断了那两个逼逼，他妈的搞不懂，他妈刷个脸，你们他妈都能不用啊，滚滚滚滚你妈了个逼，那你来。
|
|
|
|
|
|
|
|
|
|
|
|
- 不降噪
|
|
|
|
|
|
|
|
|
|
|
|
但跟我没关系，你也在这问题，他就是你对新冠融完了吗？这是为了要他刚才人家说那个叫人家带头问你，他妈只有一点，我操啊，那你呢你已经停留在了。一九九六年我手中你呢不卖这个皮皮擦呢，他搞不懂，他妈刷个脸，你们他妈都能屏幕啊，你妈了个逼，那你的啊。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- 降噪
|
|
|
|
|
|
|
|
|
|
|
|
但是我们没关系，你也得多多久再录制你心乱流氓了吗？戴头盔了没有啊，你的是心已经停留。我刚人人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩狡辩啊，那你来你已经停留在了一九九六了，我手你你来啊，也断了，那你那个逼逼啥呢？这不能相信啊，你老储存搞不懂，他妈刷个脸，你们他妈都能逼，我该你笑了，你滚，你怎么那么多吃啊，妈了个逼。
|
|
|
|
|
|
|
|
|
|
|
|
- 不降噪【更好！】
|
|
|
|
|
|
|
|
|
|
|
|
但跟我没关系，你也改多少就改多少，你的心乱如麻了吗？没有啊，你的是心已经，我刚刚人家说那个叫人家戴头盔，你他妈直接一点，我操狡辩啊。那你来你已经停留在了一九九六了，我手你你来我手断了我那你那个逼逼啥呢？不能开玩笑，他已经六好羞成你他妈搞不懂他妈个脸脸，你们他妈都能通过，该什么滚，你怎么那么多，你妈了个逼，那你呢？
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 结论：
|
|
|
|
|
|
1. 16k语音分离模型几乎无法正确分离语音！
|
|
|
|
|
|
2. 不用语音分离，直接16k-asr，在语音没有太多重叠时效果还是可以的，效果比8k语音分离+8k asr好点！
|
|
|
|
|
|
3. 不用语音分离的转文本，是否需要降噪，看具体语音文件！！没有绝对的好和坏；
|
|
|
|
|
|
|
