­

用树莓派实现会说话的汤姆猫

  • 2019 年 10 月 3 日
  • 筆記

会说话的汤姆猫很多人都玩过,对着它说话,它就会用猫的音调重复你说的话。这篇文章就是介绍如何使用树莓派来实现这个功能。

测试设备:

树莓派3B+

ReSpeaker 2-Mics Pi HAT(USB的麦克风应该也可以)

耳机/音箱(需要带插头的)

1、ReSpeaker硬件安装

ReSpeaker是直接扣在树莓派上的,将树莓派的针脚全部插入到ReSpeaker中。

2、ReSpeaker驱动安装

通过SSH连接到树莓派后,首先更新包源,然后安装git,下一步会使用git下载代码:

sudo apt-get update  sudo apt-get upgrade  sudo apt-get install git

从github获取麦克风驱动源代码:

git clone https://github.com/respeaker/seeed-voicecard.git

进入源代码目录,安装驱动:

cd seeed-voicecard  sudo ./install.sh  reboot

安装成功后需要重启,然后分别执行aplay -l和arecord -l列出所有的声音播放设备和声音录制设备:

pi@raspberrypi:~ $ aplay -l  **** List of PLAYBACK Hardware Devices ****  card 0: ALSA [bcm2835 ALSA], device 0: bcm2835 ALSA [bcm2835 ALSA]    Subdevices: 7/7    Subdevice #0: subdevice #0    Subdevice #1: subdevice #1    Subdevice #2: subdevice #2    Subdevice #3: subdevice #3    Subdevice #4: subdevice #4    Subdevice #5: subdevice #5    Subdevice #6: subdevice #6  card 0: ALSA [bcm2835 ALSA], device 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]    Subdevices: 1/1    Subdevice #0: subdevice #0  card 1: seeed2micvoicec [seeed-2mic-voicecard], device 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []    Subdevices: 1/1    Subdevice #0: subdevice #0  pi@raspberrypi:~ $ arecord -l  **** List of CAPTURE Hardware Devices ****  card 1: seeed2micvoicec [seeed-2mic-voicecard], device 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []    Subdevices: 1/1    Subdevice #0: subdevice #0

如果都看到了card 1: seeed2micvoicec,则说明安装成功。

3、ReSpeaker驱动安装问题

如果安装成功请跳过这一步。

我这里第一次安装没有成功,报了一个错误:

Error! echo  Your kernel headers for kernel 4.14.50-v7+ cannot be found at  /lib/modules/4.14.50-v7+/build or /lib/modules/4.14.50-v7+/source.

大概意思是说找不到linux内核的头文件,这个去目录下找确实没有,可能是由于官方镜像升级内核时遗漏了些东西,最终按照这篇文章解决了:https://github.com/respeaker/seeed-voicecard/issues/83

大概步骤是:

(1)升级系统内核(如果没安装rpi-update,则需要先安装):

sudo rpi-update

安装成功后重启。

(2)更新linux headers(如果没安装rpi-source,则需要先安装):

sudo rpi-source --skip-gcc

(3)删除老版本的linux headers:

删除/lib/modules/文件夹下的老版本,比如我这里安装的最新版本是: 4.14.54-v7+,把非4.14.54开头的文件夹删掉就行了。

(4)重新安装驱动:

sudo ./install.sh

安装成功后重启,再执行aplay -l和aarecord -l确认是否安装成功。

4、测试ReSpeaker

执行录音和播放命令:

arecord -f cd -Dhw:1 | aplay -Dhw:1

将扬声器的插头插入ReSpeaker的播放器接口。

现在说话,耳机中应该能够听到重复的声音。

ReSpeaker上还支持APA102 LED,可以根据接收到的声音有闪灯的效果。

这里用到了pip,这是python的一个包安装工具,需要先安装:

wget https://bootstrap.pypa.io/get-pip.py  python get-pip.py  pip -V  #查看pip版本

然后安装运行:

sudo pip install spidev  git clone https://github.com/respeaker/mic_hat.git  cd mic_hat  python pixels.py

现在说话的时候等应该会闪。

5、安装PyAudio

虽然aplay和arecord可以实现播放和录音的功能,但是如果要实时检测声音的话需要用PyAudio(可能也有别的库,这里选一个常用的)。

因为我这里用了python3,所以需要python3版本的PyAudio:

sudo apt-get install portaudio19-dev python-all-dev python3-all-dev  pip3 install pyaudio

6、安装SoundTouch

这个程序可以对音频进行一些处理,我们这里用来做变声。

在Windows上可以直接下载:https://www.surina.net/soundtouch/download.html

在树莓派上需要源代码编译安装这个程序:

sudo wget https://gitlab.com/soundtouch/soundtouch/-/archive/soundtouch-2.0.0/soundtouch-soundtouch-2.0.0.tar.gz  sudo tar -xvf  soundtouch-soundtouch-2.0.0.tar.gz  cd soundtouch-soundtouch-2.0.0  sudo apt-get install automake autoconf libtool build-essential  ./bootstrap  ./configure  make  make install

安装之后会在/usr/local/lib中生成类库文件,但是这个目录下的文件不能自动发现,建议将这个目录增加到/etc/ld.so.conf中:

include ld.so.conf.d/*.conf  /usr/local/lib  #增加的行

然后运行 ldconfig 加载配置。

7、运行汤姆猫程序

这是一个用python3写的程序,先安装几个依赖库:

sudo pip3 install numpy

然后在/home/pi下创建一个目录tomcat:

cd /home/pi  mkdir tomcat  cd tomcat

然后创建 tomcat.py,这个是会说话的汤姆猫的主程序。其中大概的流程是:

持续监控麦克风声音,如果达到某个阈值就开始录制声音,如果声音低于某个阈值就结束录音,然后保存声音,然后变声,然后播放;播放完毕后,继续监控麦克风声音。

现在上传这个文件到tomcat目录中就可以运行了。

chmod +x ./tomcat.py  ./tomcat.py

现在说句话试试,你应该能够听到汤姆猫美妙的回声了(记得连上耳机或音箱哦)。