|
|
|
|
|
####
|
|
|
|
|
|
|
|
|
|
|
|
## 尝试提取交警的语音
|
|
|
|
|
|
|
|
|
|
|
|
### 1. 语音分离
|
|
|
|
|
|
|
|
|
|
|
|
语音分离模型限制因素较多（采样率，输入音频较大显存不够，多人时分离效果不好）；
|
|
|
|
|
|
|
|
|
|
|
|
### 2. pyannote.audio 说话人分离
|
|
|
|
|
|
|
|
|
|
|
|
说话人分离后，再拼接语音片段数量top1的说话人所有语音，再转文本：说话人数范围2-7；
|
|
|
|
|
|
|
|
|
|
|
|
#### 20200922_155233_803.mp4
|
|
|
|
|
|
|
|
|
|
|
|
视频转音频降噪后9M
|
|
|
|
|
|
|
|
|
|
|
|
分离得到的不同说话人的语音片段数量
|
|
|
|
|
|
SPEAKER_02 count 48
|
|
|
|
|
|
SPEAKER_06 count 42
|
|
|
|
|
|
SPEAKER_05 count 14
|
|
|
|
|
|
SPEAKER_04 count 10
|
|
|
|
|
|
SPEAKER_01 count 9
|
|
|
|
|
|
SPEAKER_03 count 7
|
|
|
|
|
|
SPEAKER_00 count 4
|
|
|
|
|
|
- 不降噪：
|
|
|
|
|
|
|
|
|
|
|
|
调调调这边这边很有可能到，现在没没出，应该没有了，就没到了。嗯，有可能没到往这边调点啊，有了再再往后再往后嗯，点点往前往前往前没关系，这这个你刚从车上下来的吧，这个这个白衣服是谁啊？这个白衣服的人是这个白衣服的人是谁？我我我我再往前再往前，大卡车刚好挡住啊，那你车子停在什么地方的，再往前再往前一点，时间往前一点，再往前再往前再往前，不不用不用管，再往前再往前再往前再往前再往前再往前，你车子什么时候进来的那那这个时候怎么没进，还没进来的，不是不是不是不是不是是你保险公司有有没有疑问，有没有啊？有没有你没有你一个一个事故现场肯定是是是是在这里发生的，这个肯定没有问题，对不对？嗯，啊，没有问题，我就出事故认定书了。嗯，这个柳江路多少号的。嗯，好了啊，行吧，你看一下，确认一下手机上收到了啊。
|
|
|
|
|
|
- 降噪：
|
|
|
|
|
|
|
|
|
|
|
|
调调调这边这边很有可能到，现在没没出，应该没有了，就没到了。嗯，有可能没到往这边调点啊，有了再再往后再往后点点，往往前往前一点。没关系，这这个你刚从车上下来的吧，这个这个白衣服是谁啊？这个白衣服的人是这个白衣服的人是谁？我我我再往前再往前前，大卡车刚好挡住啊，那你车子停在什么地方的，再往前再往前一点，时间往前一点，再往前再往前再往前不不用不用管，再往前再往前再往前再往前再往前再往前，你车子什么时候进来的那那这个时候怎么没进，还没进来的，不是不是不是不是不是你们保险公司有没有疑问，有没有啊？有没有他你没有你一个一个事故现场肯定是是是是在这里发生的，这个肯定没有问题，对不对？嗯，啊没有问题，我就出事故认定书了。嗯，这柳江路多少号的。嗯，好了啊，行吧，你看一下，确认一下手机上收到了啊这。
|
|
|
|
|
|
|
|
|
|
|
|
#### 20200922_160720_756.mp4
|
|
|
|
|
|
|
|
|
|
|
|
视频转音频降噪后27M
|
|
|
|
|
|
|
|
|
|
|
|
分离得到的不同说话人的语音片段数量
|
|
|
|
|
|
SPEAKER_01 count 130
|
|
|
|
|
|
SPEAKER_02 count 10
|
|
|
|
|
|
SPEAKER_05 count 18
|
|
|
|
|
|
SPEAKER_04 count 83
|
|
|
|
|
|
SPEAKER_03 count 6
|
|
|
|
|
|
SPEAKER_00 count 4
|
|
|
|
|
|
- 不降噪：
|
|
|
|
|
|
|
|
|
|
|
|
检测以后放车鉴鉴定鉴定碰撞痕迹，第三方碰第三方鉴定，不要听不听我的也不听，你的，也不听他的第三方的啊，来把行驶证拿过来吧，把行驶证取一下啊。现场你没如果没有发生碰撞，为什么停车子啊，那那现场已经发生碰撞了，对方应该撞下来。这个时候现场有没有告诉你，你们给你梯子碰了，有没有讲啊，讲没讲。嗯，那那他所讲的，你说没讲讲，没讲那个地方是丁字路口，他他右拐弯死绿灯也没问题。但是但是开车子应该怎么开啊，直行避避让拐弯避让执行车辆正常通行，对吧？啊，这样，那如果说你听我讲完啊，如果说就是一个正常的交通事故，拐弯避让执行，怎么赔也好，怎么交强险也好，怎么样赔也好，反正是足够用了是吧？这是第一个，你们之间有一个协商的过程。如果说双方对交通事故不认可，那我们就要有调查调查就要扣车。所以说我们现在目前两个选择，第一个选择就是你们私下里就是直接把这个事故协调掉。比如说你是比如说这个这位师傅，你看你大概开个四百块块，那能八多少七八年这个也可以协商掉，这就协商完了结束。但是如果说对方告知你，你与我发生了交通事故，不告知你了，你说你不知道，并且没有留下任何联系方式的情况下，就离开了现场，这就是逃逃的情节。听我说这就是逃逸情节，不是说抓下来了，我说我想走就走，要负责任啊。第二个，你们现在对跟碰撞，你他说撞到了，你说没有撞到。好，我们现在事故调查了吗？那有监控更好，他没有监控，还没有地方说你呢以前就没有监控，对不对？那我就必须要事故调查事故调查怎么调查？那这个方的车辆进行扣留车检，因为双方只要发生碰到就会，你不抓到了，他就替了碰到你有你轮胎，你你之后不等你，不可能有你有钱，对对不对？有了就说没抓到了，没得就这么打，那这个抬不起来，对不对？没碰，没有抓到了，他不能，那你等他抓到了，你何不起，就这么接待，你得知好吧啊，电话稍等啊啊，我在跟你讲了，你不要听岔了啊，两个人我说了发生了，碰撞你也赖不掉，没有发生碰撞也赖不上啊。这个我该告知的就告知该那个就那个你刚才可能对我好像是怎么叫听我的交通事故由我来处理。为什么不听我的，听谁的？第二个，我刚才你进来以后，我告诉你人家受伤了，我说坐唉，你最起码的就是女士优先也好，谦让也好，来尊重也好，也也要对啊。这个当然这个和本次交通事故无关，我就这么一说，怪你这个就不爽了，有什么不爽呢？我对你没有任何意见，我现在也没有说说是你撞的，我说那检测对不对？而且这么多车子他不拽不拽，你就拽，别不拽，别人就拽你什么原因呢？是不是这个道理吗？啊，你而且你也下车了，驾驶证也给他了。然后你告诉我，你刚才听打电话的时候，跟我说了一个事事情，我听到了是我们组队长讲的，说你说要留号码给我，对方不要有这个情况吗？是你讲的吗？啊，一直跟他说啊，给你电话，你你啊，那你说你不要嘛，你为什么？那他有没有说给号码，你那那是他那是他放你走的，是两个人说好了，走的碰与对了，碰与不碰，我说了也不算，你说了也不算，你说了也不算，对不对。嗯，你说你说其实不可以不行不行，因为你们车到的痕迹，要么就现在减减不减就没有了，那我们就扣车子了啊，不对，减不减呢？减多长时间？不是因为我们说了算的啊，这个不是我们说了算的啊，就是如果说你也这样，你你你去看他愿意你是否愿意承担他的费用，你也讲一下，那不愿意承担，你愿意承担多少，你们商量你们商量双<E9878F><E58F8C>
|
|
|
|
|
|
|
|
|
|
|
|
- 降噪：
|
|
|
|
|
|
|
|
|
|
|
|
检测以后放车鉴鉴定鉴定碰撞痕迹，第三方碰第三方鉴定，不要听不听我的也不听，你的，也不听他的第三方的啊，来把行驶证拿过来吧，把行驶证取一下啊。现场你没如果没有发生碰撞，为什么停车子是吧？那那现场已经发生碰撞了，对方应该撞下来的时候，现场人有没有告诉你，我们给你梯子碰了，有没有讲啊？讲没讲？嗯，那那他说了，你说没讲讲没讲。如果个地方是丁字路口，他他右拐弯死绿灯也没问题。但是但是开车子应该怎么开啊，执行避让拐弯避让直行，车辆正常通行，对吧？啊，这样，那如果说你听我讲完啊，如果说就是一个正常的交通事故，拐弯避让执行，怎么赔也好，怎么交强险也好，怎么样赔也好，反正是足够用了是吧？这是第一个，你们之间有一个协商的过程。如果说双方对交通事故不认可，那我们就要有调查调查就要扣车。所以说我们现在目前两个选择，第一个选择就是你们私下里就是直接把这个事故协调掉。比如说你是比如说这个这位师傅，你看你大概开个四百块钱，那嗯八多少七八年这个也可以协商掉，这就协商完了结束。但是如果说对方告知你，你与我发生了交通事故告知你了，你说你不知道，并且在没有留下任何联系方式的情况下就离开了现场，这就是逃逸情节。听听我说，这就是逃逸情节，不是说抓来了了，我说我走就走，人要负责任啊。第二个，你们现在对跟碰撞，你他说撞到了，你说没有撞到。好，我们现在事故调查了吗？那有监控更好，他没有监控，还没有地方说你呢以前就没有监控，对不对？那我就必须要事故调查事故调查怎么调查？那双方的车辆进行扣留车检，因为双方只要发生碰擦，就会你不抓到了，他就替替不可能的，有你轮胎的，你之后不等你，不可能有你有钱，对对不对？有了就说明抓到了，没得就这么打，那这个抬不起来，对不对？没碰没有抓到了，他不能那里等他抓到了，你何不起就这么接待的，得知。好吧啊，电话稍等啊啊，我在跟你讲了，你不要听岔了啊，两个人我说了发生了碰撞，你也赖不掉，没有发生碰撞也赖不上啊。这个我该告知的就告知该那个就那个你刚才可能对我好像是怎么叫听我的交通事故由我来处理。为什么不听我的，听谁的？第二个，我刚才你进来以后，我告诉你人家受伤了，我说做唉，你最起码的就是女士优先也好，谦让也好，你尊重也好，也也要对啊。这个当然这个和本次交通事故无关，我就这么一说，怪你这个就不爽了，有什么不爽呢？我对你没有任何意见，我现在也没有说是你撞的，我说那检车对不对？而且这么多车子他不拽不拽，你就拽别人，拽别人就就你你什么原因呢？是不是这个道理啊啊，你而且你也下车了，驾驶证也给他了。然后你告诉我，你刚才听打电话的时候，跟我说了一个事事情，我听到了是我们组队长讲的，说你说要留号码给我，对方不要有这个情况吗？是你讲的吗？啊，一直跟他说啊，给你电话，你处事啊，那你说你不要吗？为什么？那比如说给号码，你那那是他，那是他放你走的，是两个人来走的，碰与对了，碰与不碰，我说了也不算，你说了也不算，你说了也不算，对不对？嗯，你说你说其实不可以不行不行，因为你们车上的痕迹，要么就现在减减不减就没有了，那我们就扣车子了啊。不是减不减减减减少时间，不是因为我们说了算的啊啊，就不是我们说了算的啊，就是如果说你也这样，你你你去看他愿意你是否愿意承担他的费用，你也讲一下，那不愿意承担，你愿意承担多少，你们商量你们商量双减时间只有双了，<E4BA86><EFBC8C>
|
|
|
|
|
|
|
|
|
|
|
|
#### 20200923_095955_744.mp4
|
|
|
|
|
|
|
|
|
|
|
|
视频转音频降噪后11M
|
|
|
|
|
|
|
|
|
|
|
|
分离得到的不同说话人的语音片段数量
|
|
|
|
|
|
SPEAKER_01 count 86
|
|
|
|
|
|
SPEAKER_03 count 19
|
|
|
|
|
|
SPEAKER_02 count 22
|
|
|
|
|
|
SPEAKER_00 count 6
|
|
|
|
|
|
|
|
|
|
|
|
- 不降噪：
|
|
|
|
|
|
|
|
|
|
|
|
顺向哪个是您，你手指告诉我什么叫顺向，什么叫逆向啊？一般来讲，我们叫向右叫顺向，对不对？向左叫逆向，对不对？所以说我们在路口有这样一个原则，就是在一个十字路口的时候，你要从这个点到那个点，对不对？你是从哪个方向的，马上是朝左边走，对不对？所以说我们交通原则是一个左进啊，不是不是交通原则是右进，但是一个一个循环是左循环，后面一个大转盘，知道啊大转盘是左循环。所以说你觉得你错了吗？错错在哪里的？假如说你由南向北，应该从哪个地方过来才对对呀？哦，然后你车上没过来的这个时间，一个前进的方向，或者是应该一个拐弯的方向过来了，那你错不会是错了，错完期间请遵守交通规则，请佩戴安全头盔啊，那两个问题给你指出来一个逆向行驶了，对吧？那个头盔没有在天，你讲的要听好不好？不罚你口头批评教育行不行？行，斯文人看见小伙子那里刚成年的马上还没走向社会呢，慢慢开始接受社会的那社会是社会，是教育人的地方，老师嘛，是提点你的家长是家长，是呵护你的。那么社会就是教你做人的地方。这个时候如果出了交通事故的话，您不在，你明白了吧？因为首先是你错了，人家正在开着汽车碰到你的。他会说哎，我为什么要赔你呢？对不对？我正常行驶，你是逆向行驶的这个年头，人的司法意识会越来越强。不是因为你是电瓶车，他是汽车，他就会让着你。这个时候你不叫弱势兄弟了。如果人家叫起来的，你你好好说话的对吧？把你保险公司赔给你，你要是降起来的，我非要给你走法律程序。那这个时候是你一分你都不占。那我为什么要帮你的，什么叫你电瓶车弱势。行，那那你没有按照规则行走啊，对不对？能不能理解这个事情，可以下次能不能这样子的去师范对吧？师范学校大学生有可能也也是做老师的，不一定是做老师的，以以后也是可能做老师的吧。教授授人以人为本，对你自身，你要一个原则，则没有马上开到这边来，要过马路，好不好？东西红绿灯亮的时候可以推过去，好不好？来到这边等不罚你啊，你又没经济来源罚你干什么呢？你们现在就是抽个烟，还要想一下这个验机，这个时候能不能抽啊，可以抽烟。没事，没有哪天法律明文规定人不可以抽烟，但是他有他有规定，等某些场合不能抽烟，你的你在家里面抽烟，你媳妇儿管你以后等你有吃饭，你家里面是东西，东西红绿灯亮了，车飞过去啊，下车跟谁这危胎起来，这两天穿过警察图就过来来的。我简单的那学校的学生基本上就不要出来，你简单过来出来干什么呢？这个时候万一你惹到什么事情呢？不麻烦吗？学校里熬两天，我们我们我们这两天是最紧张的时候，你要是七老八十了，我就不管你了，对吧？行了，推过去了。对，推过去这样说，你不行，他汽车要让你的不让你，他就违法了，五十块钱罚两分啊。好，注意安全伙伙子啊，腿腿那那样子啊啊啊，晒你洗洗澡，你你就别洗洗头了。这个不鬼不像那个那个汽车子那么鬼了。
|
|
|
|
|
|
|
|
|
|
|
|
- 降噪：
|
|
|
|
|
|
|
|
|
|
|
|
嗯嗯，顺向哪个是您，你手指告诉我什么叫顺向，什么叫逆向啊？一般来讲，我们叫向右叫顺向，对不对？向左叫逆向，对不对？所以说我们在路口有这样一个原则，就是在一个十字路口的时候，你要从这个点到那个点，对不对？你是从哪个社会走，应该是朝左边走，对不对？所以说我们交通原则是一个左进啊，不是不是交通原则是右进，但是一个一个循环是左循环，后面一个大转盘，知道啊大转盘是左循环。所以说你觉得你错了吗？错错在哪里的？假如说你由南向北，应该从哪个地方过来才对对呀？哦，然后你车上没过来的这个时间，一个前进的方向，或者是应该一个前的方方向过来的那你错不是错了，错过期间请遵守交通规则，请佩戴安全头盔呢，那两个问题给你指出了一个逆向行驶了，对吧？一个头盔没有在天，你讲的要听好不好？不罚你一个交通教育的不行，行行文人看见小伙子在那里，刚成年的马上还没走向社会呢，慢慢开始走向社会呢。那社会是社会，是教育人的地方，老师嘛，是提醒你的家长是家长，是呵护你的。那么社会就是教你做人的地方。这个时候如果出了交通事故的话，您不在，你明白了吧？因为首先是你错了，人家正在开着汽车碰到你的。他会说哎，我为什么要赔你呢？对不对？我正常行驶，你是逆向行驶的这个年头，人的司法意识会越来越强。不是因为你是电瓶车，他是汽车，他就会让着你。这个时候你不叫弱势兄弟了，如果人家降起来的，人家好说话的对吧？把你保险公司赔给你，你要是降起来的，我非要给你走法律程程序。那这个时候是你一分你都不在。那我为什么要帮你的，什么叫你电瓶车弱势行走？那你没有按照规则行走啊，对不对？能不能理解这个事情可以下次能不能这样子的去师范对吧？师范学的大学生，有可能也要是做老师的，不一定是做老师的，以后也不可能做老师的。嗯，有教授一人以人为本，对你自身你要一个原则啊，现在马上开到这边来，要过马路，可以红东西，红绿灯亮的时候可以推过去，好不好？来到这边等不罚你啊，你又没经济来源罚你干什么呢？你们现在就是抽根烟，还要想一下这个验证，这个时候能不能抽啊，可以抽烟。没事，没有哪天法律明文规定人不可以抽烟，但是他有他有规定，等某些场合不能抽烟，你的，你在家里面抽烟，你媳妇儿管你以后等你有吃饭，你说这个是东西，东西红绿灯亮了，车飞过去啊，下车跟行车微带起来，这两天穿完警察走就过来了。对，或者简单的人家学校的学生基本上不要出来学学生过来出来干什么呢？这个时候万一你惹到什么事情了，不麻烦了，学里熬两天，我们我们我们这两天是最紧张的时候，你要是七老八十了，我就不管你了，对吧？行了，推过去了。对，推过去，这样算你不行，他汽车要让你的不让你，他就违法了，五十块钱罚两分啊。注意安全，小伙子啊，好头盔那样是吧？啊，完了，你你骑车子那么堵了，这个你得堵不堵头，回去了，把他堵鬼不像那个骑车子那么鬼了，车车是批准来了。
|
|
|
|
|
|
|
|
|
|
|
|
#### 1.mp4
|
|
|
|
|
|
|
|
|
|
|
|
0 start=0.0s stop=1.0s SPEAKER_03
|
|
|
|
|
|
1 start=1.0s stop=1.8s SPEAKER_01
|
|
|
|
|
|
2 start=3.3s stop=7.6s SPEAKER_01
|
|
|
|
|
|
3 start=5.1s stop=5.4s SPEAKER_03
|
|
|
|
|
|
4 start=7.6s stop=7.6s SPEAKER_01
|
|
|
|
|
|
5 start=7.6s stop=10.8s SPEAKER_03
|
|
|
|
|
|
6 start=11.5s stop=12.1s SPEAKER_01
|
|
|
|
|
|
7 start=12.5s stop=12.7s SPEAKER_01
|
|
|
|
|
|
8 start=13.0s stop=13.5s SPEAKER_03
|
|
|
|
|
|
9 start=13.8s stop=17.1s SPEAKER_01
|
|
|
|
|
|
10 start=17.8s stop=18.8s SPEAKER_01
|
|
|
|
|
|
11 start=20.3s stop=21.5s SPEAKER_04
|
|
|
|
|
|
12 start=21.6s stop=23.0s SPEAKER_04
|
|
|
|
|
|
13 start=24.0s stop=26.7s SPEAKER_02
|
|
|
|
|
|
14 start=24.3s stop=24.4s SPEAKER_04
|
|
|
|
|
|
15 start=26.5s stop=26.5s SPEAKER_00
|
|
|
|
|
|
16 start=26.5s stop=26.7s SPEAKER_04
|
|
|
|
|
|
17 start=26.7s stop=27.0s SPEAKER_04
|
|
|
|
|
|
18 start=27.0s stop=27.0s SPEAKER_00
|
|
|
|
|
|
19 start=27.2s stop=27.8s SPEAKER_02
|
|
|
|
|
|
20 start=28.5s stop=28.7s SPEAKER_02
|
|
|
|
|
|
21 start=31.3s stop=31.6s SPEAKER_00
|
|
|
|
|
|
22 start=31.4s stop=32.7s SPEAKER_02
|
|
|
|
|
|
SPEAKER_01 count 7
|
|
|
|
|
|
SPEAKER_04 count 5
|
|
|
|
|
|
SPEAKER_03 count 4
|
|
|
|
|
|
SPEAKER_02 count 4
|
|
|
|
|
|
SPEAKER_00 count 3
|
|
|
|
|
|
从分离后拼接的语音看，同一个人被认为是两个人了，效果不太好；
|
|
|
|
|
|
|
|
|
|
|
|
这里，语音有明显的先后顺序，**可能是同一个人前后声音高低变化导致没有被识别为同一个人**？
|
|
|
|
|
|
|
|
|
|
|
|
之前用2人语音分离，效果很好；
|
|
|
|
|
|
|
|
|
|
|
|
### 3. 结论
|
|
|
|
|
|
|
|
|
|
|
|
- 语音分离模型限制因素较多（开源模型有限，采样率限制，输入音频较大显存不够，能分离的人数有限，多人时分离效果不好）；
|
|
|
|
|
|
- 考虑到大多数场景下说话人说话有先后顺序，因此用pyannote.audio对说话人分离，得到不同的说话人语音片段，通常片段较多的是交警，**基本可以把交警在处理事故过程中主要的语音提取出来**（也可能混杂一点其他说话人语音），然后再转文本；
|
|
|
|
|
|
- pyannote.audio说话人分离，目前没有遇到音频较长处理受限的情况，得到的语音转文本时，达摩院的语音转文本模型内部应该分批推理了；
|
|
|
|
|
|
- **那什么情况用什么方法呢？？？**
|
