H5多媒体应用

随着多元化业务的发展,前端H5越来越需要对图像、音频、视频等多媒体做出:文件选择、压缩、实时数据操作等处理。文本为大家探讨一下前端H5对于图像、音频、视频的应用与对浏览器的兼容性。

一.图像

(1). 图像文件选择:拍照、相册、本地文件

对于图像文件的选择目前有一个比较好的解决方案就是直接用标签:<input type="file" accept="image/*"/>,可以在手机上出现弹出拍照、相册、本地文件等系统自带的选择,pc上也可以直接选择本地文件。

在手机上选择图片
(2). 图像文件的压缩

图像文件的压缩常用的方法是canvas
可以先用canvas context自带的scale方法先做按比例压缩
再用canvas自带的toDataURL方法做质量压缩

二.音频

对于音频前端其实并没有一个像图片那样有非常好兼容性的解决方案,下面为大家罗列一下各种方案:

(1). flash方案

好处是可以自定义界面操作,录音,实时处理音频数据,压缩,播放都是没有问题的,缺点是浏览器需要先装好flash插件,而且目前iphone手机自带的Safari浏览器默认是没有flash插件的。所以对于没有flash插件需要做引导与提示。

(2). H5标签方案

用H5标签选择音频文件<input type="file" accept="audio/*"/>,在iphone手机上没有弹出录音选择也没有在选择文件中过滤音频文件,所以H5标签选择音频文件不是一个好的解决方案

在手机上选择音频

播放音频方面可以用 audio标签
<audio controls="controls">
<source src="这里面放入音频文件路径"></source>
</audio>
用controls="controls"可以自定义播放栏

(3). navigator.getUserMedia方案

navigator.getUserMedia可以实现录音,实时处理音频数据,但是Safari等许多浏览器不兼容,所以也不是一个好的解决方案

(4). 小程序方案

小程序可以实现录音、实时处理音频数据
recorderManager.onFrameRecorded((res) => {
const { frameBuffer } = res
console.log('frameBuffer.byteLength', frameBuffer.byteLength)
})
但是只能在微信小程序上用,其它浏览器用不了

(5). js音频压缩方案

js音频建议录音的时候生成wav,因为wav音频数据比较简单,mp3的话还有额外解码。具体的做法是读取音频文件Blob数据,再处理里面的双声道变单声道,采样率16位变8位等
这里找了一篇具体的教程,大家可以参考一下:

HTML5网页录音和压缩(附源码)
http://www.cnblogs.com/blqw/p/3782420.html

另外还有一种第三方库的转换方案Ffmpeg.js这个文件太大gzip后还有6M,不太建议用这个

三.视频

(1). flash方案

跟音频一样视频都能做录制、实时处理数据、播放,但需要flash插件

(2). H5标签方案

用H5标签选择视频文件<input type="file" accept="video/*"/>,在iphone手机上弹出录视频也在选择文件中过滤视频文件,所以H5标签选择视频文件是一个好的解决方案

在手机上选择视频

播放视频方面可以用 video标签
<video controls="controls" loop="loop" autoplay="autoplay" id="video">
<source src="这里面放入视频文件路径"></source>
</video>
用controls="controls"可以自定义播放栏

(3). navigator.getUserMedia方案

navigator.getUserMedia可以实现录制,实时处理视频数据,但是Safari等许多浏览器不兼容,所以不是一个好的解决方案

(4). 小程序方案

微信小程序对于视频还没做实时数据处理,可能以后会有,而且小程序现在可以嵌入网页了,所以相比之下没有直接用H5标签选择视频文件方案好

(5). js视频压缩方案

通过canvas + video标签结合处理
获取video的原图帧,通过canavs绘制到页面
每一帧的处理跟图片一样先用canvas context自带的scale方法先做按比例压缩,再用canvas自带的toDataURL方法做质量压缩
压缩过程中会播放一次,如果不想用户看到可以用控制透明度opacity,加进度条或loading

另外Ffmpeg.js转换方案文件太大,也是不太建议使用的

总结:

图像建议用<input type="file" accept="image/*"/>标签canvas压缩

音频建议用flash方案或微信小程序方案,可以做实时数据处理,播放用<audio controls="controls"标签,音频压缩用blob数据按音频数据结构处理

视频建议直接用<input type="file" accept="video/*"/>标签录制选择,播放用<video controls="controls"标签,压缩用canvas播放一次出来,如果不想给用户看到可以用透明度控制,如果有对视频有实时数据处理建议用flash方案

您的意见是我改善的东西,欢迎评论提建议,如果对您有帮助,请点个赞,谢谢~~菲麦前端专题,汇聚前端好文,邀您关注!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容