Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

麦克风输入功能接入和其他的一些功能修复 #47

Closed
wants to merge 87 commits into from
Closed

麦克风输入功能接入和其他的一些功能修复 #47

wants to merge 87 commits into from

Conversation

Ivy233
Copy link
Contributor

@Ivy233 Ivy233 commented Jan 14, 2025

单纯的代码合并，合并范围：

  1. stream（麦克风输入）功能接入。
  2. 新增common-sdl代码相比whisper.cpp同名代码略有修改。
  3. 修复“喂喂喂”识别成“喂”，并且与“%%%”识别成一个“%”区分开。
  4. 整理输出接口，使printf从语音识别功能中分离开。
  5. 部分代码空格对齐强迫症。
    未合并功能：
  6. main.cc（文件切割）保留main分支的处理，除了输出有所修改。

lovemefan and others added 30 commits September 9, 2024 15:26
@lovemefan
Merge pull request #11 from pockers21/bugfix-tensorset
9048e3a 
fix tesnor set error
@lovemefan
delete windows-msys2 UCRT64
2fbac47
@lovemefan
Fix build errors in GCC12
fbea5f0
修改norm的实现（多了一个scale）dim_size%WARP_SIZE == 0时不调用norm第一维扩充
f4f1a46 
gitignore忽略build
@lovemefan
Merge pull request #18 from Ivy233/bugfix_CUDAnorm
b07bd7f 
bugfix: norm operator on CUDA
@lovemefan
update latest ggml
23baf02
@lovemefan
compute im2col on cpu when gpu on
d78a42d
@lovemefan
Merge remote-tracking branch 'origin/main'
27f2fde
@lovemefan
update latest ggml
66b1cd4
@lovemefan
backend bugfix
fc64858
@lovemefan
update readme
0d694cc
@lovemefan
update release
91d6dd3
@lovemefan
add more build detail
5b15dc5
@lovemefan
add vulkan test docker
1cd4749
@lovemefan
add quantize readme
eb29bac
@lovemefan
Simplify kq softmax
7ec6a5e
@lovemefan
update release v1.3.0
84c8388
@lovemefan
fix bug: avoid j out of index
d7a2446
1. 使用最新的GGML。
4382ab0 
2. 修复GGML更新后在decoder遇到的显存读不出来crash。
3. encoder简化。
4. 更新了一下svg文件。
目前已经跑通，时长太长的输出文本长度对不上，还是得看看。
@lovemefan
Merge pull request #24 from Ivy233/20241018_fix_im2col
8cab06f 
bugfix after im2col fixed
@lovemefan
remove ggml_backend_metal_set_n_cb in metal
81ec807
@lovemefan
adapt changed metal api
8322326
@lovemefan
move im2col operator to cpu when use metal
19f2d0e
@lovemefan
add cuda test
11330fa
@lovemefan
add git sub module for cuda test
f9d786c
@lovemefan
remove im2col cpu
b3fa229
@lovemefan
fix bug IM2COL in Metal backend (llama/9943)
44c69da
@Ivy233
支持itn配置，给三个%一个可以屏蔽的办法。itn默认为false。
4359bc1 
给decoder这边优化了一下IO。
@Ivy233
与SenseVoice的py版本对照后发现只多了一个去重。
f3ec0a1
@lovemefan
Merge pull request #29 from Ivy233/fix_multi_percent
b6dec15 
Fix multi percent
王锦润 added 29 commits December 27, 2024 14:49
[待测试]麦克风有问题，先交一发以供测试。
b187a9b
[待测试]麦克风有问题，先交一发以供测试。
89ebc75
[待测试]麦克风有问题，先交一发以供测试。
7d408cb
[待测试]麦克风有问题，先交一发以供测试。
6dbe6f7
清理vad_simple，这个func效果并不好，替换为过零点检测。
059e446
清理vad_simple，这个func效果并不好，替换为过零点检测。
13ac270
简化输出，把输出提出到一个func。整理itn参数的流向。
a1d341e
简化输出，把输出提出到一个func。整理itn参数的流向。
9364f88
简化输出，把输出提出到一个func。整理itn参数的流向。
1f02035
简化输出，把输出提出到一个func。整理itn参数的流向。
525e0bf
调整一下log等级。
0ec27f0
调整一下log等级。
5d4247b
in_stream参数取消。
eb4bc95
in_stream参数取消。
e871d19
[BUG修复]百分号不应当识别成三个%，但是喂喂喂也不应当识别成只有一个喂
4b1a45a
[BUG修复]百分号不应当识别成三个%，但是喂喂喂也不应当识别成只有一个喂
51902a1
[需要确认SDL_AudioSpec的返回值正确处理]流输入情况下，值一般小于1，因此能量不能按照正常音频切分来处理。
185716d
[需要确认SDL_AudioSpec的返回值正确处理]流输入情况下，值一般小于1，因此能量不能按照正常音频切分来处理。
a35fe37
修复：当出现静音段后直接进入连续长音频并且触发上限后识别的报错。
6715c43 
测试数据：pcm.wav，nomute_step = 3000/chunk
修复：当出现静音段后直接进入连续长音频并且触发上限后识别的报错。
b36853c 
测试数据：pcm.wav，nomute_step = 3000/chunk
删除不必要的函数
c4ec3c5
删除不必要的函数
8a5ac87
Merge branch 'uos' into merge_20250113_stream
a8e1e69 
单纯的代码合并，合并范围：
1. stream（麦克风输入）功能接入。
2. 新增common-sdl代码相比whisper.cpp同名代码略有修改。
3. 修复“喂喂喂”识别成“喂”，并且与“%%%”识别成一个“%”区分开。
4. 整理输出接口，使printf从语音识别功能中分离开。
5. 部分代码空格对齐强迫症。
未合并功能：
1. main.cc（文件切割）保留main分支的处理，除了输出有所修改。
注意：当前代码有链接错误，由于修改量太大，先提交。
Merge branch 'uos' into merge_20250113_stream
b352d05 
单纯的代码合并，合并范围：
1. stream（麦克风输入）功能接入。
2. 新增common-sdl代码相比whisper.cpp同名代码略有修改。
3. 修复“喂喂喂”识别成“喂”，并且与“%%%”识别成一个“%”区分开。
4. 整理输出接口，使printf从语音识别功能中分离开。
5. 部分代码空格对齐强迫症。
未合并功能：
1. main.cc（文件切割）保留main分支的处理，除了输出有所修改。
注意：当前代码有链接错误，由于修改量太大，先提交。
调整输出
f4e2b74
调整输出
3f541c1
因为g++ 8.3缺失stdc++fs，这里先临时补上，功能已经正常（需要配合最新的模型，上一版模型会crash）。g++ 11.4测试过…
5801630 
…没有问题。

不过从报错来看，是从ggml-backend-reg.cpp出来的，可能在GGML修复更好。
因为g++ 8.3缺失stdc++fs，这里先临时补上，功能已经正常（需要配合最新的模型，上一版模型会crash）。g++ 11.4测试过…
b21b63e 
…没有问题。

不过从报错来看，是从ggml-backend-reg.cpp出来的，可能在GGML修复更好。
Merge branch 'main' of gitlabxa.uniontech.com:ai/voice.cpp into main
7680e02
@Ivy233 Ivy233 closed this Jan 14, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers
No reviews
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
2 participants
@Ivy233 @lovemefan