使用Go播放音频:提取断点

处理原文地址:https://dylanmeeus.github.io/posts/audio-from-scratch-pt7/

到目前为止,我们对断点所做的工作涉及到创建断点文件并使用该文件来自动执行轨道的一部分。现在,我们来看看如何采用现有轨道并从中提取一些断点。在本文中,我们将介绍从.wave文件提取振幅的方法,因为这是我们可以提取的最直接的属性之一。

这里提及的所有内容在过去的文章中都有提及,但是我们将结合我们已经学到的知识来创建一个新的工具来执行此操作。

简单讲,我们将做下面的工作:

  • 遍历我们的帧
  • 记录给定的幅度(帧值)
  • 写入断点文件

从本质上讲,这足够简单,但是我们将对该算法进行两个小的修改。首先,我们不想只为每个帧生成一个断点,这只会导致列表等于我们的帧数据。通过以一定间隔(例如,每10ms)拍摄快照,我们将使用更少的空间,并利用在特定时间查找断点值时发生的线性插值的优势。

当前断点代码的一个小扩展的功能是,我们需要能够将样本“分批”到给定时间的切片中。

所有的代码可以在GitHub找到。

批量处理

BatchSamples函数将以Waveseconds float64作为输入,因为这为我们提供了足够的数据来批处理帧。给定特定的SampleRate,我们知道每秒在文件中看到多少个样本。有了这些信息,我们可以找到每秒的帧数。尽管每秒帧数仅等于单声道文件的每秒样本数,但是适应多声道音频只是将SampleSize与声道数量相乘的问题。

因此,SampleSize可以表示为: SampleSize = SampleRate * Channels * seconds

当我们知道样本大小时,我们可以将原始帧分割成这个尺寸大小的切片。

func BatchSamples(data Wave, seconds float64) [][]Frame {
    if seconds == 0 {
        return [][]Frame{
            data.Frames,
        }
    }

    samples := data.Frames

    sampleSize := int(float64(data.SampleRate * data.NumChannels) * float64(seconds))

    batches := len(samples) / sampleSize
    if len(samples)%sampleSize != 0 {
        batches++
    }

    batched := make([][]Frame, batches) // this should be round up..
    for i := 0; i < len(batched); i++ {
        start := i * sampleSize
        if start > len(samples) {
            return batched
        }
        maxTake := i*sampleSize + sampleSize
        if maxTake >= len(samples)-1 {
            maxTake = len(samples)
        }
        subs := samples[start:maxTake]
        batched[i] = subs
    }
    return batched
}

从批次中提取数据

一旦我们可以将帧拆分为批次,就可以调用BatchSamples(wave,x)以获取给定持续时间的请求批次。然后,我们可以找到最大振幅,并跟踪所有批次的最大振幅。

我们使用GoAudio解析输入文件 。除此之外,我们还将帧发送到“ BatchSamples”方法。(为简便起见,忽略了错误处理)

func main() {
    flag.Parse()
    infile := *input
    outfile := *output
    wave, _ := wav.ReadWaveFile(infile)

        frameDuration := 15.0 // 15 ms
    ticks := frameDuration / 1000.0
    batches := wav.BatchSamples(wave, ticks)
        ...

完成此操作后,我们将在15 ms的切片中分批采样。我们将通过遍历它们并收集每个最大幅度来继续。由于最终需要将其写入输出文件,因此现在将其存储在StringBuilder中。

我们还需要跟踪的另一件事是在time:value断点文件中哪个时间可以插入。对于每个批次,此时间值将以15ms为增量。

我们继续主函数:

        ...
    strout := strings.Builder{}
    elapsed := 0.0
    for _, b := range batches {
        maxa := maxAmp(b)
        es := strconv.FormatFloat(elapsed, 'f', 8, 64)
        fs := strconv.FormatFloat(maxa, 'f', 8, 64)
        strout.WriteString(es + ":" + fs + "\n")
        elapsed += ticks
    }
    ioutil.WriteFile(outfile, []byte(strout.String()), 0644)
}

最后剩下的就是通过遍历切片中的每个帧并返回最大安培来填充我们的maxAmp方法。

func maxAmp(ss []wav.Frame) float64 {
    if len(ss) == 0 {
        return 0
    }
    max := -1.0 // because they are in range -1 .. 1
    for _, a := range ss {
        if float64(a) > max {
            max = float64(a)
        }
    }
    return float64(max)
}

运行断点提取器

当我们运行go run main.go -i input.wav -w 15 -o output.brk时,我们可以生成一个断点文件。我创建了一个振幅可变的示例波形(以后我会写一些有关它的文章)。你可以在这里听。

提取的断点文件可以在这里看到。

使用audacity和绘图工具,可以将波形与断点提取器生成的波形进行比较。

audacityplot
breakpointplot
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268