点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:火山引擎发布大模型训练视频预处理方案
首页> 科技频道> 人工智能 > 正文

火山引擎发布大模型训练视频预处理方案

来源:光明网2024-10-15 14:05

  10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。

  火山引擎总裁谭待表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经历着深刻转变,“基于抖音业务实践和与行业客户共创,火山引擎视频云正积极探索AI大模型与视频技术的深度融合,在技术底座、处理链路和业务增长层面为企业寻找解法。”

  自研多媒体处理框架BMF ,助力豆包视频生成模型突破业界难题

  据介绍,对训练视频进行预处理是保障大模型训练效果的重要前提。预处理过程可以统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,从而使模型能更高效地学习视频中的特征和知识,提升训练效果和效率。

  抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。

  “首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”

  借助Intel的CPU、GPU等不同资源,火山引擎此次发布的大模型训练视频预处理方案依托于自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。

  此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。

  Bytedance Research 负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了有力支撑。火山引擎视频云团队提供的点播解决方案还为PixelDance生产的视频提供了从编辑、上传、转码、分发、播放的全生命周期一站式服务,让模型的商业化应用有了保障。

  据了解,豆包视频生成模型PixelDance于9月24日发布,该模型采用 DiT 架构,通过高效的DiT融合计算单元和全新设计的扩散模型训练方法,突破了多主体运动的复杂交互、多镜头切换的内容一致性难题,在业界引起广泛关注。目前,豆包视频生成模型已通过火山引擎面向企业开启邀测。

  多项“音视频+AI”技术方案,助力企业全链路适配AIGC时代

  此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案和AIG3D&大场景重建方案,从视频的生产端、交互端到消费端,全链路融入了AI的能力。

  火山引擎视频云负责人表示,在AI视频时代,人和AI交互变得更加动态和生动,这要求处理链路更加智能和交互。

  以对话式AI实时交互方案为例,依托豆包大模型和火山引擎视频云自研的多项算法,火山引擎为用户提供了智能对话和自然语言处理的强大能力,可实现毫秒级人声检测和打断响应,以及丝滑稳定的端到端响应体验。

  在沉浸式消费体验方面,火山引擎通过AI生成3D内容和大场景重建方案,为山西高平二郎庙金代戏台和北京正乙祠两座珍贵的历史建筑生成了3D数字资产,并以虚拟直播间的形式应用于抖音的戏曲直播场景。

  大会上,王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

  据悉,该芯片将于近期正式对外开放测试,招募首批种子用户,共同探索商业价值的可复制性。(科文)

[ 责编:李欣哲 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平同越共中央总书记苏林举行会谈

  • 习近平会见越南总理范明政

独家策划

推荐阅读
借助一种名为SMART-EM(单分子原子分辨率时间分辨电子显微镜)的技术,首次在原子尺度上拍摄了催化反应过程。
2025-04-15 11:02
中国旅游研究院联合马蜂窝发布《中国赏花游报告2025》
2025-04-15 10:46
春天里,田野上,一粒粒良种破土而出、向阳生长,承载起端牢中国饭碗的希望。既为品种权人提供有力保护,又有效规范种业市场,一粒种子伤“芯”被抚平的故事,折射法治对种业发展的有力保障。
2025-04-15 11:00
中国是拥有杜鹃种类最多的国家之一,超过530种。2018年,《毕节市百里杜鹃风景名胜区条例》出台实施,形成对百里杜鹃资源保护“有地方性法规、有特设机构、有专岗人员”的立体化保护机制。
2025-04-15 10:58
从概念验证中心起步,一大批创新项目正培育成熟、投入市场,迈向更加广阔的未来。
2025-04-15 10:49
以耕地保护为例,为扭转黑土地退化趋势,我国自2020年启动实施了东北黑土地保护性耕作行动计划。
2025-04-14 09:58
北京市、中国科学院发布怀柔综合性国家科学中心科技设施开放运行报告,怀柔综合性国家科学中心已布局建设37个科技设施,其中16个已向全球开放,包括多个国家重大科技基础设施。
2025-04-14 09:57
近日,我国自主研制的最大直径盾构机“沧渊号”在江苏常熟下线,将用于世界最长高速公路水下盾构隧道——海太长江隧道工程施工。
2025-04-14 09:57
志林肚天牛体色以浅红褐色为主,下颚内缘为黑褐色,触角呈暗红褐色。
2025-04-14 09:30
如今,科技小院的科研成果已经推广至山西长子县、榆社县等地,形成了“垃圾分类先行、农用酵素开花、有机合作结果”的发展路径。
2025-04-14 09:28
经监测,截至2024年年底,青海湖裸鲤资源蕴藏量达12.75万吨,较2023年增加0.72万吨,增长5.98%,较2002年保护初期增长49倍;
2025-04-11 03:45
中央气象台预计,4月11日至12日,随着新一股较强冷空气东移南下,我国中东部地区将出现强风、降温、沙尘天气,华北将出现历史同期罕见持续性大风,内蒙古东部和东北地区东部将出现暴雪,南方将出现今年以来最强风雹天气。
2025-04-11 10:23
我国科学家利用嫦娥六号采回的月球背面样品,首次获得月球背面月幔的水含量小于2微克/克,为认识月幔水的时空演化提供了关键约束。
2025-04-11 03:45
自然资源部10日发布公告:经国务院批准,高纯石英矿成为我国第174号新矿种。据悉,这一矿种于2020年至2021年被发现,
2025-04-11 03:45
为实现长期心电智能监测,研究团队开发了一种无运动束缚的动态12导联心电系统(以下简称“MU-DCG系统”),实现了无感化佩戴、抗运动伪影以及低功耗原位实时信号处理的优势集成。
2025-04-11 03:45
一根细细的纱线,一头连着福建首个规模超万亿元的纺织鞋服产业;另一头牵动5位院士的心,带动多项高性能纺织面料技术取得突破,为国内一家锦纶龙头企业及上下游企业新增产值逾10亿元……
2025-04-10 10:13
人工智能快速发展,在赋能千行百业、助推经济社会发展的同时,利用AI进行违法犯罪、AI数据权属争议等新问题也随之出现。透过几个具有代表性的司法案例,看司法机关如何通过积极稳妥审理相关案件,运用法治方式厘清法律边界、做好规制监管、强化司法指引,护航人工智能向上向善。
2025-04-10 10:11
医生身处临床服务、保障人民健康第一线,能切实了解病患需要、诊疗现状、技术进展,也是最容易做创新、出成果的。
2025-04-10 10:07
近日,该所成功研发出全球首套面源污染智能监测系统,首次实现对流动水体中高风险抗生素、农药残留等新发污染物的实时、在线、动态监测。
2025-04-10 03:55
免疫细胞是免疫系统的重要部分。其中,小胶质细胞在中枢神经发育、免疫监视及退行性病变等过程中扮演重要角色,但自1919年被发现以来,小胶质细胞一直被认为仅存在于中枢神经系统内部。
2025-04-10 03:55
加载更多