Android SDK 提供了两套音频采集的API，分别是：MediaRecorder 和 AudioRecord，前者是一个更加上层一点的API，它可以直接把手机麦克风录入的音频数据进行编码压缩（如AMR、MP3等）并存成文件，而后者则更接近底层，能够更加自由灵活地控制，可以得到原始的一帧帧PCM音频数据。如果想简单地做一个录音机，录制成音频文件，则推荐使用 MediaRecorder，而如果需要对音频做进一步的算法处理、或者采用第三方的编码库进行压缩、以及网络传输等应用，则建议使用 AudioRecord，其实 MediaRecorder 底层也是调用了 AudioRecord 与 Android Framework 层的 AudioFlinger 进行交互的。直播中实时采集音频自然是要用AudioRecord了。
创新互联公司主要从事网站建设、做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务西盟,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18982081108
2.1 播放声音可以用MediaPlayer和AudioTrack，两者都提供了Java API供应用开发者使用。虽然都可以播放声音，但两者还是有很大的区别的。
2.2 其中最大的区别是MediaPlayer可以播放多种格式的声音文件，例如MP3，AAC，WAV，OGG，MIDI等。MediaPlayer会在framework层创建对应的音频解码器。而AudioTrack只能播放已经解码的PCM流，如果对比支持的文件格式的话则是AudioTrack只支持wav格式的音频文件，因为wav格式的音频文件大部分都是PCM流。AudioTrack不创建解码器，所以只能播放不需要解码的wav文件。
2.3 MediaPlayer在framework层还是会创建AudioTrack，把解码后的PCM数流传递给AudioTrack，AudioTrack再传递给AudioFlinger进行混音，然后才传递给硬件播放,所以是MediaPlayer包含了AudioTrack。
2.4 在接触Android音频播放API的时候，发现SoundPool也可以用于播放音频。下面是三者的使用场景：MediaPlayer 更加适合在后台长时间播放本地音乐文件或者在线的流式资源; SoundPool 则适合播放比较短的音频片段，比如游戏声音、按键声、铃声片段等等，它可以同时播放多个音频; 而 AudioTrack 则更接近底层，提供了非常强大的控制能力，支持低延迟播放，适合流媒体和VoIP语音电话等场景。
使用 Camera API 采集视频数据并保存到文件，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调。
4.1 一个音视频文件是由音频和视频组成的，我们可以通过MediaExtractor、MediaMuxer把音频或视频给单独抽取出来，抽取出来的音频和视频能单独播放；
4.2 MediaMuxer的作用是生成音频或视频文件；还可以把音频与视频混合成一个音视频文件。
文献资料
Android提供了常见的视频编码，解码机制，使用Android自带的MediaPlayer，MediaController等类可以很方便的实现视频播放的功能。支持的视频格式有MP4和3GP等。这些多媒体数据可以来自于Android应用的资源文件，也可以来自于外部存储器上的文件，甚至可以是来自于网络上的文件流。
1、MediaController+VideoView实现方式
这种方式是最简单的实现方式。VideoView继承了SurfaceView同时实现了MediaPlayerControl接口，MediaController则是安卓封装的辅助控制器，带有暂停，播放，停止，进度条等控件。通过VideoView+MediaController可以很轻松的实现视频播放、停止、快进、快退等功能。
布局文件如下：
使用此实现方式的步骤：
1.加载指定的视频文件
2.建立VideoView和MediaController之间的关联，这样就不需要自己去控制视频的播放、暂停等。让MediaController控制即可。
3.VideoView获取焦点。
2、MediaPlayer+SurfaceView+自定义控制器
虽然VideoView的实现方式很简单，但是由于是自带的封装好的类，所以无论是播放器的大小、位置以及控制都不受我们控制。
这种实现方式步骤如下：
1.创建MediaPlayer对象，并让它加载指定的视频文件。可以是应用的资源文件、本地文件路径、或者URL。
2.在界面布局文件中定义SurfaceView组件，并为SurfaceView的SurfaceHolder添加Callback监听器。
3.调用MediaPlayer对象的setDisplay(SurfaceHolder sh)将所播放的视频图像输出到指定的SurfaceView组件。
4.调用MediaPlayer对象的prepareAsync()或prepare()方法装载流媒体文件
5.调用MediaPlayer对象的start()、stop()和pause()方法来控制视频的播放。
在实现第二步之前需要先给surfaceHolder设置一个callback，callback的3个回调函数如下：
3、MediaPlayer+SurfaceView+MediaController
第二种实现方式使用的是自定义控件，MediaPlayer+SurfaceView也可以使用系统自带的MediaController控制器。
使用这个方式实现，布局文件只需一个SurfaceView即可，其他的控件都交给MediaController控制器，布局文件如下：
实际过程中推荐大家使用B站的播放器ijkplayer非常好用！
Android音视频开发，我想很多开发者都知道这个概念，音视频开发不仅需要掌握图像、音频、视频的基础知识，并且还需要掌握如何对它们进行采集、渲染、处理、传输等一系列的开发和应用，因此，音视频开发是一门涉及到很多内容的领域，主要内容如下（一图胜千言）
采集，在音视频开发中主要针对的是数据从哪里来的问题。图像、视频的可视化数据来自摄像头这毫无疑问，而音频数据则是来自麦克风，关于 采集 的知识点涉及到如下内容：
渲染，在音视频开发中主要针对的是数据展现的问题。我们知道，图像、视频最终都是要绘制到视图（View层）上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识：
渲染，在音视频开发中主要针对的是数据如何加工的问题，那具体怎么处理？如下图：
针对图像和音视频的处理，实现方式除了使用系统的 API，大多数也会使用一些优秀的第三方库，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于：
传输，在音视频开发中主要针对的是数据共享的问题，采集完并处理数据以后，我们如何快速传输数据这一难题又摆在了面前，试想如果一个以音视频为主导业务的APP如果在播放过程中非常卡顿的话，用户体验那会是非常糟糕的。因此，解决传输的问题也就摆在了我们的面前。那么，数据究竟如何实现传输共享呢 ？共享，实现细则最重要的一点，就是协议，因此需要具体掌握的协议如下：
总体来说 Android音视频开发属于高级研发工程师涉及到的领域，市场上对于Android音视频开发工程师提供的薪资真的是very very可观的，另外，Android音视频开发的学习系列文章主要是参考 Jhuster前辈 的博客和指导意见，这里在次感谢前辈们的无私分享，前辈也给出了具体的学习任务线，具体内容如下：
如果这篇文章对您有开发or学习上的些许帮助，希望各位看官留下宝贵的star，谢谢。
