伊奥拉·沃克：一种用于音乐创作的移动脚步检测系统.pdfVIP

伊奥拉·沃克：一种用于音乐创作的移动脚

步检测系统

WilliamB.James

FordhamUniversityLincolnCenter

NewYork,NYUSA

摘要—此次外出是更大规模的音乐技术研究项目的一部分。有界队列（5s容量，%非阻塞写入）。

目标是寻找一种方法，通过硬件和软件来实质性地提升音乐质后台线程清空队列，批量处理样本，并将数据每

量。很有可能存在一种新的媒介，通过可穿戴设备让普通听众体kB缓冲到一个s或1000个样本的CSV写入

验到比现有最先进技术更优的音乐效果。如果发现了这种新媒

器中。

介，它将是朝着音乐产业公益性和亲社会改革迈出的一大步。一

本个新的播放系统基础设施有机会缓解与更大娱乐业生态系统相脚步注释—每次音量增大按下都会插入一个带有

译关的部分社会问题。标签客流量的高优先级事件。

中该项目被命名为“iolawalker”，意指一种常见的复节奏会话管理—文件会带时间戳并自动回收以防止长

3——hemiola。为了创造一个互动的听觉体验，乐手们在录制歌时间录制期间的数据丢失。

v曲时考虑到了步行听众的想法，设想了各种行走速度下的节奏

1生成的CSV文件构成了在下面的Python管道中

1部分。同一段音乐可能会多次录制，每种版本都有不同的基本节使用的train200hz.csv和test200hz.csv数据集。

2拍。在相关的交互式聆听体验中，听众佩戴脚部惯性测量单元进

1行步行。IolaWalker移动应用程序通过蓝牙实时检测他们的

0II.初始模型和向卷积-LSTM的过渡

.步态。每次脚步声都会生成一个midi事件。

6

0利用该系统可以推导和实现新颖的音乐创作手势。或许播放在最终确定我们的Conv–LSTM架构之前，我们使

5系统可以选择与听众行走速度最接近的复节奏录音版本。也许鼓用第2节描述的同一滑动窗口数据集评估了两种更为

2

:组填充部分结束时的踩镲声可以精确地与时钟同步。也许下一节

v歌曲的内容可以根据检测到的步行速度变化而确定，这种变化可简单的方案——一维卷积神经网络（CNN）和逻辑回归

i分类器。尽管这两种基线模型都能成功训练，但它们的

x能是由前一部分引起的。

r本文档记录了训练模型以实时检测行走听众脚步的过程，以表现排名（逻辑回归CNNConv–LSTM）促使我们

a

及将该模型导出为在安卓应用程序上实时运行的过程。该模型转向LSTM模型。

是使用安装在脚上的MbientLabsIMU[1]在200赫兹下收

集的数据进行训练的，当听众的脚步触地时，通过按下安卓设A.一维卷积神经网络

备的音量增大按钮来标注真实情况下的脚步声。为了收集训练CNN管道（在cnn_管道.py中实现）按以下步骤

数据，我在小区里走动，并在我每次脚落地时用安卓手机点击

进行：

音量增大按钮。我尝试了几种模型，发现LSTM达到了最佳性

能。本文档的相关资源可以在这里找到：/1)特征提取：读取原始加速度计样本（），计算

willbjames/iolawalker