点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:火山引擎发布大模型训练视频预处理方案
首页> 科技频道> 人工智能 > 正文

火山引擎发布大模型训练视频预处理方案

来源:光明网2024-10-15 14:05

  10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。

  火山引擎总裁谭待表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经历着深刻转变,“基于抖音业务实践和与行业客户共创,火山引擎视频云正积极探索AI大模型与视频技术的深度融合,在技术底座、处理链路和业务增长层面为企业寻找解法。”

  自研多媒体处理框架BMF ,助力豆包视频生成模型突破业界难题

  据介绍,对训练视频进行预处理是保障大模型训练效果的重要前提。预处理过程可以统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,从而使模型能更高效地学习视频中的特征和知识,提升训练效果和效率。

  抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。

  “首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”

  借助Intel的CPU、GPU等不同资源,火山引擎此次发布的大模型训练视频预处理方案依托于自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。

  此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。

  Bytedance Research 负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了有力支撑。火山引擎视频云团队提供的点播解决方案还为PixelDance生产的视频提供了从编辑、上传、转码、分发、播放的全生命周期一站式服务,让模型的商业化应用有了保障。

  据了解,豆包视频生成模型PixelDance于9月24日发布,该模型采用 DiT 架构,通过高效的DiT融合计算单元和全新设计的扩散模型训练方法,突破了多主体运动的复杂交互、多镜头切换的内容一致性难题,在业界引起广泛关注。目前,豆包视频生成模型已通过火山引擎面向企业开启邀测。

  多项“音视频+AI”技术方案,助力企业全链路适配AIGC时代

  此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案和AIG3D&大场景重建方案,从视频的生产端、交互端到消费端,全链路融入了AI的能力。

  火山引擎视频云负责人表示,在AI视频时代,人和AI交互变得更加动态和生动,这要求处理链路更加智能和交互。

  以对话式AI实时交互方案为例,依托豆包大模型和火山引擎视频云自研的多项算法,火山引擎为用户提供了智能对话和自然语言处理的强大能力,可实现毫秒级人声检测和打断响应,以及丝滑稳定的端到端响应体验。

  在沉浸式消费体验方面,火山引擎通过AI生成3D内容和大场景重建方案,为山西高平二郎庙金代戏台和北京正乙祠两座珍贵的历史建筑生成了3D数字资产,并以虚拟直播间的形式应用于抖音的戏曲直播场景。

  大会上,王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

  据悉,该芯片将于近期正式对外开放测试,招募首批种子用户,共同探索商业价值的可复制性。(科文)

[ 责编:李欣哲 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 《为了民族解放与世界和平》主题展览面向公众开放

  • 第十七届中国国际现代化铁路技术装备展览会在京开幕

独家策划

推荐阅读
随着科技创新与产业创新深度融合,人工智能技术助力建材行业向更智能、更绿色、更高端方向变革。“通过数字化转型,建材企业可基本实现研发设计数字化、生产运营一体化、客户服务敏捷化,提升决策效率、协同能力和服务水平,快速提升生产力和核心竞争力。
2025-07-09 09:40
记者8日从湖南省自然资源厅获悉,通过创新地质找矿理论,经过长期勘探,湖南省郴州市临武县鸡脚山矿区已探获超大型蚀变花岗岩型锂矿床,共提交锂矿石量4.9亿吨,氧化锂资源量131万吨。
2025-07-09 09:39
根据国家卫生健康委8日晚间发布的通知,今后“颈深淋巴管/结—静脉吻合术”将不得应用于阿尔茨海默病治疗。“颈深淋巴管/结—静脉吻合术”是将颈部深层淋巴管或淋巴结与邻近的静脉进行吻合的手术,近年来部分医疗机构将其用于治疗阿尔茨海默病,引发争议。
2025-07-09 09:39
国家发展改革委、工业和信息化部、国家能源局日前发布《关于开展零碳园区建设的通知》。支持企业对标标杆水平和先进水平,实施节能降碳改造和用能设备更新,鼓励企业建设极致能效工厂、零碳工厂。
2025-07-09 09:37
近日,中国科学院近代物理研究所科研人员依托兰州重离子加速器冷却储存环,精确测量了极缺中子原子核硅-22的质量,实验发现硅-22的质子数14是一个新幻数。
2025-07-09 09:35
国家自然科学基金委员会7日发布消息,自然科学基金委近日制定重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 09:20
近日,由农业农村部南京农业机械化研究所联合有关单位研制的全自动水稻覆膜插秧技术装备在江苏省靖江市投入使用,开启了我国水稻覆膜插秧新模式。
2025-07-08 09:11
日前,全球领先的720V高压固态钠盐电池,在位于内蒙古自治区鄂尔多斯市达拉特旗的建亨奥能科技有限公司正式量产,标志着中国成为全球第三个实现固态钠盐电池商用量产的国家。
2025-07-08 09:10
从国家自然科学基金委员会获悉,该委日前制定了重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 05:05
什么是聚乳酸材料,在取代传统石化基塑料材料方面又有着怎样的优势?本期院士科普,让我们跟随中国科学院院士陈学思,一起走进生物降解高分子材料——聚乳酸的奇妙世界。
2025-07-07 14:19
科技的力量正让农民从传统体力劳动者向掌控全局的智慧决策者转变。
2025-07-07 12:33
在未来数十年,熟练使用人工智能很可能成为大多数职业的必备技能,并深刻影响就业市场。作为经济土壤中的“超级肥料”,新技术既带来传统岗位的替代,更促进新兴产业发展,直接创造新的岗位需求。
2025-07-07 09:12
抽水蓄能机组主要由发电电动机和水泵水轮机组成,利用山上山下两个水库进行水能和电能相互转换。
2025-07-07 09:11
回溯歼—10飞机研制历程,从立项、首飞到定型,历经数十载,“三滴油”看起来微不足道,却更加说明创新需要点滴用心、长期耕耘。
2025-07-07 09:10
从微小的夸克到浩瀚的宇宙,从生命的密码到自然的规律,科学这双“慧眼”不断重新定义着“可见”与“可知”的边界。从墓室中的真菌到实验室里的潜在新药,科学家用一套跨学科方法挖掘出这个隐藏在自然界的分子宝藏。
2025-07-07 09:08
在6日开幕的中国科协年会上,2025重大科学问题、工程技术难题和产业技术问题正式发布。这凝聚科技界智慧的30项问题、难题“锁定”了哪些前沿领域的核心赛道?其遴选标准蕴含着怎样的科学智慧?带着这些问题,记者专访了丛斌、邹冰松、王小云、陈坚四位院士。
2025-07-07 03:10
2025全球数字经济大会2日在北京开幕。除收录标准的优势外,东壁全球科技文献数据平台还根据中国科技界与教育界的习惯,对所收录期刊进行了学科分类。
2025-07-04 09:55
超材料是一类具有特殊性质的人造材料,而具有热辐射性能的超材料可以把多余的热量“打包”传递到外界,热辐射超材料可广泛应用于零能耗辐射冷却、建筑节能降温、航天热控等诸多重要领域。
2025-07-04 09:53
中国科学院院士、海南大学生物医学工程学院教授骆清铭团队成功绘制出了小鼠三维脑区和立体定位图谱
2025-07-04 09:52
加载更多