• 首页
  • 工种与考证
  • 全部课程
  • 文章资讯
  • 培训认证
  • VR浏览器下载
  • 分销联盟
  • 学习中心 APP下载
    扫码下载-100VRAPP
    扫码下载-技能培训APP
    扫码下载-互动科普APP
    建议意见 官方客服

    官方客服

    您可以与在线客服进行沟通或者拨打客服热线获得帮助

    电话:0592-2529323    0592-5551325

    邮箱:help@onesoft.com.cn

    在线咨询:

    当前位置:首页 > 文章资讯 > 信息技术 > 作为大数据工程师,你必须熟练运用的性能优化技术

    作为大数据工程师,你必须熟练运用的性能优化技术

    发表于:2019-06-24
    阅读:1960
    评论:0

    作者介绍吴朱华:国内资深云计算和大数据专家,之前曾在IBM中国研究院和上海云人信息科技有限公司参与过多款云计算产和大数据产品的开发工作,同济本科,并曾在北京大学读过硕士。2011年中,发表业界最好的两本云计算书之一《云计算核心技术剖析》。2016年和上海华东理工大学的阮彤教授等合著了《大数据技术前沿》一书。

    最近几年一直参与大数据产品的研发,同时大数据产品在海量数据场景下其处理性能又是其主要的卖点和突破,所以个人在这几年经常忙于如何对大数据产品进行性能上面的优化,并且想通过本文和大家聊聊具体的几种比较常见大数据性能优化技术。

    常见的大数据性能优化技术一般分为两部分,其一是硬件和系统层面的观测,从而来发现具体的瓶颈,并进行硬件或者系统级的调整;其二是主要通过对软件具体使用方法的调整来实现优化。

    硬件方面的监测


     

    关于硬件性能本身,个人觉得最好对性能的诠释就像图1大家比较熟悉的Windows7操作系统性能指数所展示的一样,性能本身并在于其所长,而是在于其所短,就像图1里面那个5.4分主硬盘托了整体的后腿一样,只要有短板存在,其他地方再强也可能收效甚微,所以需要硬件的性能检测就是找出短板在那里,并且尽可能地找到应对的方法。

    在硬件观测角度方面,主要通过以下四个维度来判断到底哪里是瓶颈,它们分别是CPU、内存、硬盘还有网络。 

    CPU利用率

    首先,在讲检测CPU性能之前,我们可以通过这个“cat /proc/cpuinfo |grep "processor"|wc -l”命令来获取本机的核数(如果开了超线程,一个核可以被看作两个核),这样可以知道CPU利用率的上限是多少。

    最常用CPU监测工具是TOP,当然TOP输出是一个瞬间值,如果想获取精确的数据,需要持续关注一段时间。


    TOP的使用主要看两个值,其一是总体使用值,其最大值是100%,就是图2第三行Cpu(s),前面两个0.2%分别是用户态和内核态的利用率,而99.7%是CPU空闲率,从这个可以看出,本机的CPU部分基本是空闲的;其二可以看相关进程,看它的“%CPU”使用率,比如,Xorg这个GUI进程的占用率是0.3%,但是这里面的100%不是本机所有CPU的100%,而是单个核的100%。所以它的上限会是本机核数*100%。


    因为TOP主要关注的是瞬时的值,如果要看一段时间的均值,这个时候可以用uptime这个命令,见图3,它除了可以显示当前总运行时,当前在线用户,更重要的是可以显示1分钟、5分钟、15分钟的整机CPU的平均负载情况。

    假设在平时监测的时候,如果经常碰到用满80%以上CPU资源的话,可以理解为CPU利用率高,在这种场景下大多数只能靠优化执行逻辑,才能提升效率。

    内存的监测

     

    关于内存的监测,常用的命令是free -m,通过这个命令可以查看系统内存的具体使用情况。其中total,used和free都很好理解,通过这三列可以看出此时系统总内存,已经使用内存和没有被使用的内存,而cached这列则表示有多少内存已经被Page Cache占用,但当系统内存吃紧的时候,Page Cache会立即被回收并分配给请求内存的应用程序,所以Page Cache也可以被视为处于free状态的内存。

    还有下面的Swap分区,如果used数值比较高,说明内存非常紧张,系统已经动用交换区,同时IO开销也会增长非常明显。当发现内存不够用的情况,可以考虑重启或者关闭那些占用很多内存的进程。

    在这里稍微扩展一下Page Cache这个内存机制,因为这个机制对大数据挺重要的。一般在Linux系统上,利用默认系统I/O接口写入的文件块,会先在Page Cache上面有一个缓存,之后再写入到I/O设备上面,那么假设系统内存没有被占有满的话,在这种情况下,这个缓存会长时间保留,并不会被洗出内存,这样等下次程序访问到这些文件块的时候,肯定会访问Page Cache上面的那个版本,也就是直接访问内存,所以性能方面是内存级别的。

    I/O性能的监测


    关于I/O性能,可以通过iostat这个命令来观察I/O的性能,具体见图5(sda是主硬盘),虽然参数比较多,但可以主要关注这两个参数:

    其一是await,它代表了IO操作的平均等待时间,单位是毫秒,这也是应用和磁盘之间操作所要消耗的时间,包括等待和实际的操作,如果这个数值大,说明I/O资源非常忙或者有故障;

    其二是%util,也就是设备利用率,数值如果超过60,所以利用率很高,并会影响I/O平均等待时间,如果到100,那就说明设备已饱和了,只能添加更多I/O资源。

    网络方面的监测


    6 sar –n DEV 1示例

    在网络方面,使用的比较多的sar(System Activity Reporter)命令,如图6。这个命令可以查看网络设备的吞吐率,并在这个基础上,将吞吐量和硬件上限做对比,来判断网络设备是否已经饱和,假设以单张千兆网卡为例,如果“rxkB/s”和“txkB/s”两种相加超过100MB的话,说明网络已经接近饱和了。还有除了这个通过命令行来获取网络数据之外,还可以通过开源的nload的工具来进行监测,具体见下图:


    7:nload示例

    VMSTAT


    8 vmstat 1示例

    其实除了上面这些工具外,还有一个vmstat这个全能的命令,能监控硬件的方方面面,比如,如图8所示,Procs的“r”列,这个列显示正在等待CPU资源的进程数,这个数据比之前看的top和uptime更加能够体现CPU负载情况,并且这个数据不包含等待IO的进程。如果这个数值大于机器CPU核数,那么机器的CPU资源已经饱和。

    Memory部分的“free”,“buff”和“cache”列的作用和上面free作用类似,而“si”和“so”说明使用Swap的次数,如果这个数据不为0,说明Swap交换区已经在使用,也意味着物理内存已经不足。

    Cpu部分也大体和TOP上面显示类似,但可以关注“wa”这列,其代表的是IO等待时间,如果数值大于0的话,可以判断I/O资源有争抢。

    如果通过上面硬件方面的监测,发现了瓶颈,或者发现了有很多余量,可以通过下半部分的软件方面的优化来进行调整,如果软件方面也无能为力的话,那么只能通过购买和安装更多的硬件。

    软件方面的优化

     

    这个方面因为各个大数据产品的实现方式不同,并且需要优化点也不同,操作方式更是不同,所以在这里,主要提供一些方针供大家参考。

    写入优化

    因为常见大数据产品的写入和传统关系型数据库是不同,传统关系数据库的写入是一行一行的写入,而常见大数据产品的写入是批量的写入,并且每次批量写入之后,都会生成新的数据文件,并且这个数据文件是不会被修改的。所以导入数据粒度小的话会导致很多细小文件产生,这样会导致更多的I/O操作,所以在使用大数据产品的时候,导入数据规模是越大越好,常见的规模在100MB以上为佳。

    尽可能地并行

    假设通过前面的硬件方面的测试方面,发现无论是CPU,内存,I/O还是网络,都没有遇到瓶颈,并且至少有20%潜力可挖,这个时候可以考虑尽可能地通过并行来提升性能,主要有两个方式:其一是每台机器上面部署更多的进程来压榨硬件资源;其二是提升单个进程的多线程数,这种方式比第一种更简单,风险也更低。总体而言,尽量使每台机器所使用到的线程数可以达到系统自身线程数的80%。

    尽可能使用压缩和列存

    对于一些新入门的工程师,也包括那些有很多传统关系数据库使用经验的专业DBA数据管理员而言,大家都对列存比较一知半解,从而不敢使用。

    列存和传统行存相比,主要有两个比较大的区别:

    其一是数据不是按照行来存储,而且是将很多行的数据按列归属在一起,并存储 ,具体可以看图9;

    其二是一般行存的写入是一行行,而且列存是比较批量的,所以写入的数据库块会比较大,一般大于行存常见的8KB。基于我个人这几年的经验,列存在极大多数分析场景下,都能提升3倍以上的性能,除了那些需要遍历一个表半数以上列的场景。因为通过列存不仅能够通过避免那些不要列的导入,这样能减少硬盘的I/O总量。并且由于列存本身数据是一个大块一个大块的存在,所以是硬盘I/O读取操作的次数也会减伤,这个对于硬盘I/O非常有利,因为本身硬盘I/O单次随机读取操作的成本非常高,和SSD相比。但是批量连续成本却非常优秀,当然如果使用SSD的话,性能会更优。

    在这个基础上,由于连续数据都归属于一列都比较类似,比如,性别,所以对其压缩的效果非常不错,一般在1比5左右,并且通过压缩节省的I/O远大于压缩和解压缩所带来CPU的损耗。这也导致就算所有数据全都在硬盘上,其性能的损失和所有数据在内存上面缓存相比,一般慢4到5倍左右,其他也不会特别亏。

     

     


    9 列存和行存的对比

    善加利用Page Cache

    在上半部分已经提到了, 利用好Page Cache可以达到最基础级别的内存计算的效果,当然和真正意义上的内存计算还是很大的距离。在性能测试的时候,这个优化是比较常见的。一般作法是,先通过命令“sync; echo 3 > /proc/sys/vm/drop_caches”来清空page cache,之后跑一下比较简单,但又能加载所有相关数据的语句,比如,对每一列进行求总,这种做法的坏处是没有机会应对真实可能存在性能瓶颈,这对今后的实际运行会产生很多不可控的因素,因为真实业务场景肯定会比所预想到的场景更复杂。

    利用好分区特性

    众所周知,最快SQL就是什么都不做的SQL,比如,“select 1”;当然在实际的操作过程中,肯定不会有类似“select 1”这样没有意义的操作。所以对于传统关系数据库而言,为了减少读取不必要的数据,一般会使用索引。但是对于大数据这样分析操作而言,索引这种机制太昂贵,而且收效甚微。

    分析大数据应用常用的过滤数据的方式是分区,特别是按照时间来分区,因为一般时间是最合适分割大数据的维度,比如,数据按照月分区,这样如果查询只需要涉及到某月数据,那么其余十一个月数据可以立刻忽略,当然如果按日来分区的,效果可能会更好,但尽量避免因为粒度太小,导致写入文件过于碎片化的情况。

    Join的优化

    对于大数据的分析应用而言,Join操作是非常常见的,并且Join操作本身对硬件的短板也更敏感,特别是网络,因为大多数的分布式操作,每个数据节点可以独立地完成,但 Join经常需要来自其他节点数据才能完成本节点的执行,并且这个量可能很大,有的时候,一个节点执行所需要的数据远超本节点自带的数据,类似场景还有unique这样的去重操作,所以在调优方面消耗的功夫也最多。

    常见Join方式,主要有三种:

    其一Broadcast广播,常用于大小表之间的Join,Join发起方会将小表的相关数据完整地分发到每个数据节点,之后当每个数据节点收到小表之后,会找其本地的大表数据来完成Join的,如图10,pages是小表,visits是大表,发起方将Pages这张小表分发到每个数据节点;

    其二是对小表Local化,这个机制本质上非常类似Broadcast,只是分发小表这个操作是做导入数据的时候自动完成,性能肯定比Broadcast更好,因为减少传输小表的网络消耗和等待时间,但是需要在创建表的时候,做一些额外的设置,这个机制在MPP数据是非常常见的,但是在Hadoop平台上面还是比较少见,因为其底层的HDFS分布式文件系统比较强调硬件无关,地址透明,这个和数据尽可能Local化的思路是违背的;

    其三Shuffle或者Partitioned Join机制,其常用于两张大表之间的Join。因为将大表都分发给每个节点肯定成本太高了,而且数据节点的内存不一定能放的下这么多数据,所以通过Shuffle洗牌机制,也就是将所有参与的Join表的相关部分按照某种机制均匀分发到各个节点,并且每个节点数据都是独立的,如图11所示,pages和visits都是大表,它们按照Join列Hash的值来进行再次分布,节点1有Join列为A-E的数据,之后依次类推,虽然成本很高,但是对于大表之间的Join是最合理和最可行的方法。

     

     

    图10 Broadcast Join

    图11 Shuffle Join

    介绍完Join机制之后,再深入一下Join的优化,也主要有三个方面:

    其一是在大表和小表摆放顺序要符合技术规范,这样能避免优化器将大表作为Broadcast表来进行分发;

    其二是开启或者执行预统计,也就是在查询之前,开启表的预统计,虽然预统计会耗费一点时间,但这样能够让优化器知道表的具体情况,从而做出合理的方案,即使之前表的顺序写错了,还有由于预统计会遍历数据,这样可以将数据预先加载到Page Cache上面;

    其三是选择合理的Join机制,也就是做好Broadcast和Shuffle之间的抉择,两个大表之间选择Shuffle,如果不是选择Broadcast,当然假如优化器能判断出是更好不过了,但当优化器出现问题的时候,可以通过人工输入一些提示符来帮助优化器来判断;

    多看Profile

    介绍很多优化技术,但是这样技术都比较笼统,为了更好做优化,做某个产品优化,还是最好能多看看每次执行后的Profile,这样能对产品更深的理解。

    因为大数据产品和技术比较多,并且每个产品和特色和设计都不同,所以在细节方面没有特别深入,但是的确有非常多的共性,所以通过硬件的监测,以及软件方面的优化,应该能把常见的大数据产品发挥到八成的功力。

    参考资料:

    1.用十条命令在一分钟内检查Linux服务器性能http://www.infoq.com/cn/news/2015/12/linux-performance

    2.在 Linux/UNIX 终端下使用 nload 实时监控网络流量和带宽使用http://linux.cn/article-2871-1.html

    以上就是100唯尔教育网(100vr.com)小编为您介绍的关于电子信息的知识技巧了,学习以上的作为大数据工程师,你必须熟练运用的性能优化技术知识,对于电子信息的帮助都是非常大的,这也是新手学习信息技术所需要注意的地方。如果使用100唯尔教育还有什么问题可以点击右侧人工服务,我们会有专业的人士来为您解答。

    本站在转载文章时均注明来源出处,转载目的在于传递更多信息,未用于商业用途。如因本站的文章、图片等在内容、版权或其它方面存在问题或异议,请与本站联系(电话:0592-5551325,邮箱:help@onesoft.com.cn),本站将作妥善处理。

    收藏

    赞一个

    踩一下

    换一批

    电子信息课程推荐

    网络安全技术

    计算机网络技术

    105669人学过

    ¥99/月

    数据库基础

    软件与信息服务

    50988人学过

    ¥99/月

    综合布线技术

    计算机网络技术

    108060人学过

    ¥99/月

    计算机组装与维修

    计算机与数码产品维修

    51212人学过

    ¥99/月

    计算机网络基础

    计算机网络技术

    101708人学过

    ¥99/月

    信息技术客服中心

    王老师

    立即交谈

    林老师

    立即交谈
    更多>>

    推荐阅读

    100VR精品课程推荐

    评价

    0
    发表评论

    0/500字

    更多>>

    最新文章

    山东财政下达资金70.6亿元支持职业教育创新发展高地建设

    <p style="text-indent:2em;"> 2022年,山东省财政下达资金70.6亿元,推进职业教育重点项目及政策加快落地实施,比上年增长6.8%。在高职院校建设方面,筹集资金48.7亿元,保障省属公办高职院校日常运转经费,对市属公办高职给予生均拨款奖补,支持入选中国特色高水平高职学校和专业(群)建设计划的14所高职院校率先发展,助力实施高水平专业群建设工程,推动高等职业院校专业化特色化发展。在中职学校建设方面,筹集资金20.8亿元,落实中等职业教育免学费政策,支持实施高水平中职学校和专业特色化建设,促进中职学校高质量发展。在提升人才培养质量方面,筹集资金1.1亿元,支持开展教师培训、举办全省职业院校技能大赛和开展教育教学研究改革等,增强职业院校教师素质。<br /> 来源:大众日报 </p>

    我国将在中小学校、高等教育、职业学校建设一批虚拟现实课堂

    近日,工信部、教育部等五部门联合印发《虚拟现实与行业应用融合发展行动计划(2022-2026年)》,提出推进关键技术融合创新、提升全产业链条供给能力、加速多行业多场景应用落地、加强产业公共服务平台建设、构建融合应用标准体系等五大重点任务。 对于加速多行业多场景应用落地,文件有了具体要求。其中指出,在中小学校、高等教育、职业学校建设一批虚拟现实课堂、教研室、实验室与虚拟仿真实训基地,面向实验性与联想性教学内容,开发一批基于教学大纲的虚拟现实数字课程,强化学员与各类虚拟物品、复杂现象与抽象概念的互动实操,推动教学模式向自主体验升级,打造支持自主探究、协作学习的沉浸式新课堂。服务国家重大战略,推进“虚拟仿真实验教学2.0”,支持建设一批虚拟仿真实验实训重点项目,加快培养紧缺人才。 文件还提及,要加强产业公共服务平台建设。要求建设共性应用技术支撑平台。聚焦行业共性技术,挖掘行业领域关键技术需求,依托行业龙头企业、高等院校、科研院所建设行业共性技术平台,开展关键技术联合攻关,提供标准与知识产权相关服务,解决制约行业应用复制推广的技术瓶颈,提升跨行业的虚拟现实应用基础能力。 在深化技术研发方面,文件提出,鼓励加大虚拟现实相关基础理论、关键技术与应用技术的研发投入,支持具有技术优势的龙头企业、高校、科研院所、标准组织、产业联盟等组建多元创新载体,加强关键核心技术与产业共性技术供给。支持研发成果通过关键产品、行业应用的迭代加速成熟。 在强化人才支撑方面,文件明确,支持高等院校加强虚拟现实相关学科专业建设,鼓励产学研合作,推进高校、科研机构与企业联合精准育才,加强人才引进,扩大定向培养,培育一批复合型人才。优化企业家成长环境,建立有利于企业家参与创新决策、凝聚创新人才、整合创新资源的新机制,造就高水平领军人才队伍。 根据文件要求,《行动计划》设立的发展目标为:到2026年,三维化、虚实融合沉浸影音关键技术重点突破,新一代适人化虚拟现实终端产品不断丰富,产业生态进一步完善,形成若干具有较强国际竞争力的骨干企业和产业集群。 来源:齐鲁晚报

    办好人民满意的职业教育

    贯彻落实党的二十大精神,提升职业教育人才培养质量,为全面建成社会主义现代化强国、实现第二个百年奋斗目标,以中国式现代化全面推进中华民族伟大复兴提供源源不断的高素质技能人才支持和高水平智力支撑,是高职院校的职责所在、使命所系。办好人民满意的职业教育,要坚持以党建为纲、以服务为魂、以治理为基,全面提升办学治校能力、服务发展能力和人才培养能力。 坚持以党建为纲 办好人民满意的职业教育,离不开高质量党建。高职院校要始终坚持和完善党委领导下的校长负责制,充分发挥校党委领导核心作用,切实发挥带动学校发展的火车头作用。持续夯实政治建设系列举措,提升党员干部政治判断力、政治领悟力、政治执行力,推动职业教育在服务产业发展、促进就业创业、改善民生福祉等方面展现更大作为。 党的二十大报告指出,育人的根本在于立德。高职院校人才培养事关大国工匠养成,事关实体经济发展,事关制造强国建设,要确保党的事业后继有人,必须理直气壮开好思政课,把立德树人作为中心环节,加强思政课教师队伍建设,深入挖掘各门课程中蕴含的课程思政元素,把思想政治工作贯穿教育教学全过程,实现全员全过程全方位育人,引导学生扣好人生第一粒扣子,做合格的社会主义建设者和接班人。同时,加强师德师风建设,职业教育教师也要既精通专业知识、做好“经师”,又涵养德行、成为“人师”,真正成为学生锤炼品格、学习知识、创新思维、奉献祖国的引路人,不断满足职业教育发展新需求和学生发展新期待。 坚持以服务为魂 当今世界,百年变局和世纪疫情交织叠加,技术赋能、数字化变革引起行业产业的深刻转型,我国高素质技术技能人才面临巨大缺口,职业教育的责任更加重大、使命愈显光荣。 党的二十大报告提出,要深入实施人才强国战略。培养造就大批德才兼备的高素质人才,是国家和民族长远发展大计。职业教育作为与市场联系最紧密的教育类型,要牢牢把握服务发展、促进就业的办学方向,面向产业和区域发展需求,积极完善职业教育和培训体系,创新职业教育组织形态,提升职业教育集团化办学水平,培养更多高素质技术技能人才、能工巧匠、大国工匠。 对于北京市职业院校而言,要瞄准城市副中心建设和京津冀协同发展办学,在加强北京“四个中心”功能建设、疏解非首都功能上走在前列、干在实处。要牢固树立首都意识、首善标准,按照类型教育的定位,进一步加强校企合作,深化产城教融合,培养适应新时代首都建设和京津冀协同发展需要的高素质劳动者和技术技能人才,实现自身发展和区域发展同向而行。要瞄准首都现代服务业发展和“两区”建设办学。北京市提出到2025年基本建成以首都功能为引领、具有国际竞争力的现代服务业体系,“两区”即国家服务业扩大开放综合示范区和中国(北京)自由贸易试验区。职业教育院校特别是北京高职院校要立足实际,在专业建设、课程设置、实习实训、校企合作等方面精准对接发展需求,围绕行业新发展、职业新生态、岗位新要求动态调整专业设置和人才培养模式,以更好服务“数字+”产业创新发展需要,为首都现代服务业发展和“两区”建设培养具有新时代行业智慧理念和技术的高素质技术技能人才。 坚持以治理为基 党的二十大报告指出,完善社会治理体系。健全共建共治共享的社会治理制度,提升社会治理效能。高职院校提升现代治理水平,要基于职业教育作为类型教育战略定位的新认识,从健全制度体系、完善共建机制、营造文化氛围上入手,充分体现按照职业教育规律、产业优化规律、经济发展规律办学的特征。 健全制度体系。全面深化依法治校,切实把依法治理作为基本理念和基本方式贯穿学校工作全过程各方面,不断提升运用法治思维和法治方式实施综合改革的能力和水平。坚持制度先行,建立完善以章程为核心,覆盖职业院校党建思政、专业建设、实习实训、校企合作、双师型教师队伍建设、社会服务等方面的制度体系,做好规章制度的废、改、立、释、施,确保制度刚性执行,让制度成为明确规则、规范工作、约束行为的一把利剑。 完善共建机制。职业院校党委要加强对重点工作的顶层设计、统筹谋划、协调调度,发挥把方向、管大局、作决策、抓班子、带队伍、保落实职责。要充分发挥教代会、工代会、团代会、学代会机制作用,支持师生参与学校民主管理、民主监督。以发展目标汇聚力量,以人文关怀凝聚人心,强化协同共抓的大统战格局,凝聚爱校奉献的各方面优秀人才,形成共建共治共享的学校治理新格局。 营造文化氛围。职业教育要以社会主义核心价值观为引领,传承中华优秀传统文化,打造特色校园文化品牌,增强师生校园文化认同,提升校园文化育人功能。坚持正确舆论导向,强化宣传阵地建设,着力讲好新时代育人故事,传播育人正能量。丰富师生文体活动供给,提高文化服务质量,以润物细无声的力量实现高度自律和善治目标,以文化赋能学校现代治理体系构建。 (作者:王红兵,系北京财贸职业学院党委书记)

    职业教育要走稳境外办学之路

    近年来,一大批中国职业院校赴境外办学,培养既熟悉中华优秀传统文化又能服务当地经济社会发展的技术技能人才。境外办学有助于我国职业院校输出优质教育资源,改变办学模式和办学思路,推动教育改革不断深入,在扩大教育对外开放、推动各国文化交流交融、提升我国职业教育教学质量和国际影响力方面发挥着重要作用。 境外办学存在很多制约因素,依赖于国际大环境,受政策、各国文化差异、境外教育成本、境外学校管理、职业院校核心竞争力等多方面因素影响。在构建人类命运共同体的大背景下,我国职业院校如何走稳境外办学之路,在世界教育舞台发挥更大作用,是值得思考的重要问题。 完善境外办学各方面保障 进入21世纪以来,服务贸易在世界经济中的地位日益提高。教育服务贸易作为服务贸易的一部分,其竞争不断加剧,各国都在寻求发展突破的关键要素。2001年中国加入世界贸易组织(WTO)以后,教育服务贸易行业得到更快的发展。随着经济全球化进程的加快和中国教育对外开放的扩大,中国教育服务在服务贸易体系中的重要性日益凸显,取得了可喜成绩。 “一带一路”倡议的提出和不断推进,为我国职业院校境外办学带来前所未有的发展机遇。《推进共建“一带一路”教育行动》印发后,我国加强同共建国家教育领域互联互通,职业教育在“引进来”和“走出去”中不断实现“再提升”,通过优化职业教育对外合作交流机制,在互利共赢中为世界各国提供可借鉴可推广的中国方案、中国智慧。我国职业教育与70多个国家和国际组织建立了稳定联系,“一带一路”沿线国家成为我国招收留学生的主要生源地和境外办学的主要集聚地,多元协同培养模式和管理规范逐步形成。同时,我国在海外建立25个“鲁班工坊”,职业院校开发的国际化数字教学资源进入英国学历教育体系,获得欧洲国家承认。2019年,13所高职院校协同中国有色矿业集团有限公司,在海外独立举办第一所开展学历教育的高等职业技术学院——中国—赞比亚职业技术学院,5个教学标准成为赞比亚职业教育教学标准,中国职业教育教学标准首次进入非洲国家国民教育体系。我国在40多个国家和地区开设“中文+职业教育”特色项目,涉及高铁、经贸、旅游、航空等领域,为各国学员提供了职业教育培训和就业发展机会。 客观上说,中国职业院校境外办学还处于初级阶段,一方面要提升教育服务提供能力和市场竞争力,另一方面要努力适应和运用国际教育服务贸易规则,有效应对境外办学中遇到的问题与挑战。面向未来,我们要争取同更多国家签署涉及职业教育的双多边协议,助推职业教育国际合作交流。要注重顶层设计,赋予职业院校更大自主权。要支持职业院校联合社会力量稳妥推进境外办学。要继续完善职业教育“走出去”相关政策,推动有条件的行业企业、职业院校开展国际交流合作,提升职业教育服务国家战略的意识、能力和水平。要完善法治保障,通过法律的制定和修订有效促进和保障中国职业院校进行跨境教育服务贸易。 化解和减少境外办学风险 化解和减少国内职业院校境外办学的风险,需要政府、行业和院校共同努力。 建立境外办学预警和救济机制。应建立一个由教育部、外交部和商务部等部门共同组成的境外办学风险预警与救济协同机制,持续监测和定期发布其他国家的教育服务市场需求、教育法治变化、经济发展状况、政治变动和社会稳定状况等汇总信息,对政局不稳、经济形势恶化、教育法治或市场供求变化剧烈的国家及时给出风险提示或预警。要针对中国职业院校境外办学过程中遇到的贸易争端、投资纠纷等问题,提供法律与政策咨询,建立与相关部门的紧急联系机制,协助有关院校与外国政府沟通与谈判。 完善教育服务质量监督保障机制。应加强与其他国家在教育服务质量监督保障方面的合作,引入第三方教育服务质量评价,提高教育服务质量保障效率,对职业院校境外办学质量与效益进行监督。 中国职业院校应精准定位,制定和实施跨境教育服务贸易发展规划,加深对国际教育服务贸易的认识和理解,增强服务意识,明确境外办学的基本定位、目标、思路、规划和实施步骤,做好境外办学的可行性研究,认真选择办学目标国家,精心设计教育内容,注重课程与我国教育特色的有机融合,积极推进和实施学分跨境互认,推进科学研究的国际合作,提升科研的国际化水平。 行业协会应加强对国际教育服务贸易规律和规则的研究,提供应对风险的对策,及时为中国职业院校境外办学提供决策咨询与指导,为有关院校解决具体问题提供思路和方案。行业协会内部可设立专门委员会,必要时也可建立专门的境外办学行业协会,加强境外院校之间、境外院校与外国政府部门之间的联系与协调,及时提供讯息和行业预警,积极维护我国职业院校境外办学的合法权益。 提升职业院校境外办学竞争力 面向新一轮科技革命和产业变革,以智能、绿色、泛在为特征的技术性革命将引发国际产业分工调整。颠覆性技术不断涌现,正在重塑世界竞争格局。这对职业教育高质量发展提出了更高要求。职业院校要有更宽广的视野,将学校发展重心转移到质量提升和内涵发展上来,输出中国职业教育品牌,让中国的职业教育真正走出国门,走近世界舞台中央。 建设国际技术研发平台。职业院校应该发挥技术优势,尝试与境外职业院校、职业教育研究机构、外资企业等合作建设专业性的国际技术研发平台,开拓国际职业教育合作办学路径,实现教育与产业经济互惠共赢。 打造国际职业教育实践基地。要以学生为中心,以学生培养质量为结果导向,建立国际职业教育实践基地。中外双方可以与合作企业共建实践平台,互派高年级学生进行实习实践,并由专业教师和企业导师共同组成测评小组,对学生进行全程的职业能力评估跟踪。 搭建远程教育平台。如今,在信息技术的推动下,世界知名大学的远程教育课程已经实现随时随地的在线学习。我国职业院校要加强为学生服务的意识,逐步形成以学生为中心的流动课堂。要紧跟国际教育潮流,加强在线教育投入,制作具有职业院校特色的双语在线教育课程,加强课程的全球推广,全方位提升学校的知名度和美誉度。 建立职业院校联盟。境外办学的关键要素主要包括师资、管理、创新、实践教学等。提升职业院校境外办学的核心竞争力,必须从国际比较的视角出发,打造具有比较优势的技术技能人才培养模式。我国职业院校要有创新意识,加强与行业、地区的联系,通过建立区域联盟或跨区域联盟的方式,实现强强联手,共同推动我国职业教育在世界舞台散发光彩。 (作者:肖敦交单位系广东建设职业技术学院)

    职业教育发展要跑准自己的赛道

    建设技能型国家需要培养大批技术技能人才。然而,面对大量的人才需求,技工荒的现象似乎依然存在。在中、高、本职业教育学生上升通道被打通的背景下,这一问题尤其值得重视。 目前,技术工人在人们的普遍印象中还不是很受重视。一是传统观念的限制。人们通常认为,技术工人的工作环境比较艰苦,收入待遇和社会地位都相对较低。二是就业市场学历门槛客观存在,人们的高学历情结依然根深蒂固。三是政策红利背后依然存在新问题。“职教高考”制度的建立,打破了职校学生发展上升的“天花板”,畅通了职校生的发展通道。然而,在“文化基础+职业技能”考试招生办法尚不够完善的背景下,职业院校的升学还缺乏类型特征,学科教学、强化考试、刷题测验、末位淘汰等依然是一些职业院校(尤其是中职)的通行做法。这导致人才的培养还不能充分满足用人单位需要。 针对以上原因,从长远解决国家技工荒的问题,可以从以下方面发力: 一是让技术工人“香起来”。全面提高技术技能人才社会地位,让“技能改变人生,技能成就梦想”成为现实,关系到提高职业教育吸引力和建设高质量职业教育体系。当务之急是尽快建立国家资历框架,落实“新八级工”制度,从体制机制上为“劳动光荣、技能宝贵、创造伟大”社会风尚的形成奠定坚实基础。技术工人的社会地位和收入待遇提高了,在就业市场上“吃香”“抢手”,所谓的传统观念将会不攻自破。 二是职业教育自身必须“强起来”。职业教育必须彻底解决按照普通教育模式办学的痼疾,凸显类型教育特色,走产教融合、校企合作、协同育人、德技并修之路。如果职业教育办学封闭,就不能适应技术技能人才培养的需要。职业院校要开门办学,把大国工匠、能工巧匠、技术技能骨干请进校园和课堂,让职业精神、劳模精神、工匠精神融入学校文化;带领学生走出校门、走进企业,感知真实的工作场景,操作真实的工作项目,完成真实的工作任务。 三是职业教育的类型教育特色必须凸显出来。技术技能人才的成长应该有自己的赛道和通道,职业教育也应该有不同于普通教育的“行走方式”。职业教育应该尽快建立并完善富有类型教育特色的赛道,千万不能丢掉高技能这一职业教育特质,盲目追求高学历,对标普通教育。职业教育高质量发展,打通职校生发展通道无疑是应该的,也是必要的。但无论是学历教育的纵向贯通,还是在技能岗位上发展上升,职业教育都要不忘初心,不改初衷,让职校生在能发挥自己特长的赛道上努力奔跑。 (作者系江苏省徐州财经高等职业技术学校原副校长)

    蓝图已绘就,虚拟现实产业发展正当时

    <p style="text-indent:2em;"> “虚拟现实作为新一代信息技术的前沿方向和数字经济的前瞻领域,正日益与互联网、大数据、云计算、人工智能、5G等数字技术融合发展,给人类社会的生产方式、生活方式和治理方式都带来了深刻的变革。”在日前举行的2022世界VR产业大会开幕式上,国务委员王勇表示。 </p> <p style="text-indent:2em;"> 数据显示,2021年我国虚拟现实行业市场规模约为228.5亿元,保持高速增长趋势;2021年我国VR设备出货量约为431.2万台,比上年度增长约149.8万台,增速达53.23%左右,实现爆发式增长;2021年我国虚拟现实投融资规模涨幅超过100%;据不完全统计,我国虚拟现实相关企业超过1万家…… </p> <p style="text-indent:2em;"> 自2016年全球虚拟现实元年、2019年我国5G云VR产业元年至今,经过多年发展,虚拟现实产业初步构建了以技术创新为基础的生态体系,正迈入以产品升级和融合应用为主线的战略窗口期,蓝图已绘,未来可期。 </p> <p style="text-indent:2em;"> 新一轮政策支撑 产业发展显活力 </p> <p style="text-indent:2em;"> 近年来,我国政府和各部门出台了一系列政策,在技术研发、人才培养、产品消费等方面,支撑虚拟现实产业展现强大发展活力。 </p> <p style="text-indent:2em;"> 工信部等五部门近日联合印发的《虚拟现实与行业应用融合发展行动计划(2022—2026年)》(以下简称《行动计划》)提出,到2026年,我国虚拟现实产业总体规模(含相关硬件、软件、应用等)超过3500亿元,虚拟现实终端销量超过2500万台。同时还提到,到2026年,三维化、虚实融合沉浸影音关键技术重点突破,新一代适人化虚拟现实终端产品不断丰富,产业生态进一步完善,虚拟现实在经济社会重要行业领域实现规模化应用,形成若干具有较强国际竞争力的骨干企业和产业集群,打造技术、产品、服务和应用共同繁荣的产业发展格局。 </p> <p style="text-indent:2em;"> 实际上,这份《行动计划》是时隔四年,部委层面发布的第二份虚拟现实产业政策。2018年12月,工信部发布《关于加快推进虚拟现实产业发展的指导意见》(以下简称《指导意见》),这也是我国首份虚拟现实产业政策。对比两份文件,可以看出我国虚拟现实产业的变与不变。 </p> <p style="text-indent:2em;"> 不变的是,我国对虚拟现实产业的高度重视和发展的坚定决心。2018年和2022年,工信部对政策的解读中均明确指出,“党中央、国务院高度重视虚拟现实产业发展”。在最新的《行动计划》中,工信部强调,我国“十四五”规划将“虚拟现实和增强现实”列入数字经济重点产业。 </p> <p style="text-indent:2em;"> 而变化主要体现在三大方面,中国信息通信研究院信息化与工业化融合研究所高级工程师陈曦将其归纳为发展思路、发展目标和重点工作。一是在发展思路上,是“从零到一”和“从一到二”的转变。工信部本次定性,虚拟现实产业已初步构建了以技术创新为基础的生态体系,正迈入以产品升级和融合应用为主线的战略窗口期。同时,本次《行动计划》由五部委联合发布,对比四年前的《指导意见》由工信部独自发布,也可以看出,虚拟现实内容在多领域的“融合应用”是本轮政策发力的重要抓手。二是在发展目标上,更加清晰定量。对比发展目标相对模糊的《指导意见》,新出炉的《行动计划》明确提出了虚拟现实新一代智能终端与沉浸式内容的发展要点,并且给出了定量定性具体目标。此外,《行动计划》还明确列举了有待重点突破的核心关键技术:近眼显示、渲染处理、感知交互、网络传输、内容生产、压缩编码、安全可信等。三是在重点工作上,更加具体详细。《行动计划》结合虚拟现实领域沉浸式业态的发展趋势与热点洞察,对后续重点技术与产业环节以专栏形式进行了详细的总结探讨。 </p> <p style="text-indent:2em;"> 多领域应用试点乘势而上开新局 </p> <p style="text-indent:2em;"> 中国电子信息产业发展研究院副院长张小燕分析指出,《行动计划》明确了一个共识,即虚拟现实技术和产品加速迭代,进入产业规模化落地阶段;延续了两条主线,即持续丰富虚拟现实产品和内容供给,以及产业链补链强链;明确三个发力点,一是深化虚拟现实在各行业的融合应用,二是明确了产业推进的若干工作抓手,三是在地方布局若干具有核心竞争力的虚拟现实产业集群。她表示,要把实施扩大内需战略同深化供给侧结构性改革有机结合起来,以创新驱动、高质量供给引领和创造新需求,促进虚拟现实等新型消费发展。 </p> <p style="text-indent:2em;"> 《行动计划》提出,围绕虚拟现实重点领域,组织开展应用试点,挖掘有潜在商业价值的应用场景,举办虚拟现实整合应用案例征集活动,打造可复制、可推广的先锋应用案例。鼓励电信运营商、互联网企业等参与建设内容开发中心和应用体验展示中心。打造产业集群,开展虚拟现实融合应用领航城市及园区建设,培育骨干企业。结合国家新型工业化产业示范基地建设工作,支持产业集聚发展,建设虚拟现实制造业创新中心。 </p> <p style="text-indent:2em;"> 据了解,虚拟现实已经成为地方产业经济布局的焦点。今年以来,北京市、上海市、天津市、山东省、江西省等地纷纷发布相关政策,着力推动虚拟现实产业发展。比如,山东省在今年6月发布了《推动虚拟现实产业高质量发展若干政策措施》,提出优化产业发展布局、加大研发投入力度、支持重大技术创新等13条具体举措。上海市7月发布的《上海市数字经济“十四五”发展规划》也提出“加快虚拟现实生态布局”。与此同时,深圳、南昌、青岛、南京等地已经形成初具规模的虚拟现实产业集群,比如北京市的中关村虚拟现实产业园、青岛市的和达国际虚拟现实产业园产业创新中心、河北衡水市的VR产业小镇、广州市的影动力VR产业园等。 </p> <p style="text-indent:2em;"> 按照《行动计划》,在智慧家装、虚拟看房、大型会展、时尚创意、视频会议、远程办公、智慧商圈、外卖零售等领域,将落地推广一批虚拟现实技术支撑的典型案例,发展线上线下同步互动、有机融合的商贸活动体验新模式,打造商贸新场景、新业务。在工业生产领域,将发挥垂直领域虚拟现实的先导作用,推动基于虚拟现实技术的智能化车间与虚拟产线建设,在能源电力、航空航天、轨道交通、建筑工程等重点领域,培育包括开发设计、制造装配、远程协作、营销展示在内的50个典型应用工业场景。 </p> <p style="text-indent:2em;"> 业内专家表示,目前虚拟现实人才短缺,高端专业人才供给能力有限。为此,《行动计划》提出,加强人才引进,扩大定向培养,培育一批复合型人才。优化企业家成长环境,建立有利于参与创新决策、整合创新资源的新机制,打造高水平领军人才队伍。 </p>

    虚拟现实产业进入新一轮爆发期

    工信部等五部门近日联合印发的《虚拟现实与行业应用融合发展行动计划(2022-2026年)》提出,到2026年,我国虚拟现实(VR)产业总体规模超过3500亿元。业内人士指出,我国虚拟现实产业初步构建了以技术创新为基础的生态体系,正迈入以产品升级和融合应用为主线的战略窗口期。 记者注意到,多方正围绕关键技术融合创新、提升全产业链供给能力、加速多行业多场景应用落地等方面加快部署,推动虚拟现实产业加速发展。 展现强大活力 2021年我国虚拟现实领域投融资规模增幅超过100%;虚拟现实相关企业超过1万家;新场景、新模式、新业态层出不穷,工业、文化、教育等领域典型案例亮点频出……2022世界VR产业大会发布的一组数据,显示出我国虚拟现实产业展现出强大活力,投融资信心和活跃度进入一轮新高潮。 作为实现各行业数字化转型的技术之一,虚拟现实正加速赋能千行百业。中国电子信息产业发展研究院院长张立表示,在工业制造方面,针对生产设计难、管理成本高、资源利用率低等问题,虚拟现实技术对生产数据进行可视化改造,助力工业制造全流程智能化和一体化发展。在医疗健康方面,虚拟现实技术解决了医疗资源有限且分布不均、诊疗方式单一等问题,促进了上下级医院联动,已成为传统医学手段的有效补充。 中国电子信息产业发展研究院发布的《虚拟现实产业发展白皮书(2022年)》预计,2025年国内虚拟现实产业规模将超过2500亿元。随着虚拟现实技术对实体经济赋能作用逐渐释放,2025年有望带动万亿元市场规模。 虚拟现实应用也逐步走进日常生活。中国联通董事长刘烈宏说,目前VR应用不再是电影、电视中的科幻场景,已经更多地融入到生活的方方面面,推动虚拟世界和现实世界进一步融合。例如,在北京冬奥会期间,据统计有30多个虚拟数字人参与了相关活动,中国联通也通过虚拟数字人每日播报北京冬奥会金牌榜和精彩赛事,让用户更生动有趣地感受奥运盛会。 “无论是面向大众领域的信息消费升级,还是面向行业领域的应用需求,虚拟现实即将引爆新一轮消费热潮。”张立举例说,在大众消费领域,2022年全球VR全景相机市场规模约合42亿元人民币。在行业应用领域,2022年全球汽车抬头显示器市场规模有望达到399亿元人民币。虚拟现实和增强现实终端市场迅速扩大,开启虚拟现实产业爆发增长新空间。 加快创新发展 近段时间,多方展开新一轮部署,加快虚拟现实产业发展。 11月初,工信部等五部门联合印发《虚拟现实与行业应用融合发展行动计划(2022—2026年)》,围绕关键技术、终端产品、行业应用、产业生态等方面提出发展目标、重点任务和保障措施,力争到2026年形成若干具有较强国际竞争力的骨干企业和产业集群,打造技术、产品、服务和应用共同繁荣的产业发展新格局。 “虚拟现实作为新一代信息技术的集大成者,为社会各行各业的赋能能力逐步凸显,产业发展正迈入新一轮爆发期。”工信部副部长王江平说,工信部将把握虚拟现实产业发展机遇期,促进虚拟现实与实体经济深度融合,推动虚拟现实产业高质量发展。 具体而言,将加快技术产品创新,鼓励产学研用各方加强创新合作,加快基础理论、关键技术与应用技术研发,构建覆盖全产业链的虚拟现实综合标准体系,建设关键共性技术公共服务平台。深化行业融合应用,打造可复制、可推广的先锋应用案例,推动虚拟现实行业应用规模化发展。打造优势产业集群,充分发挥国家虚拟现实制造业创新中心作用,带动上下游企业集聚,培育骨干企业和专精特新中小企业,促进大中小企业融通发展。 虚拟现实相关技术创新能力也将进一步提升。日前,工信部批复组建国家虚拟现实创新中心。按照计划,该中心将聚焦制约我国虚拟现实产业发展的关键共性技术难题,建设关键共性技术研发、测试验证、检测、技术服务、人才培养和国际合作等平台,逐步构建覆盖虚拟现实全产业链的产业创新生态。 扩大高质量供给 在业内人士看来,虚拟现实是电子信息产业高质量发展的重要增长点。抓住发展机遇持续壮大虚拟现实产业,需要夯实产业基础,加快提升产业核心竞争力,同时解决好供给和需求的关系,解决好发展和安全的关系。 “虚拟现实的产业基础能力事关产业发展质量、发展潜力和发展的可持续性。”张立说,目前虚拟现实产业发展还存在一些共性技术难点和瓶颈问题,需要在虚拟现实显示器件、光学器件、传感器等核心器件的关键技术环节联合攻关,支持关键软硬件开发、产品和系统集成设计,着力补齐产业链短板,不断提升产业核心竞争力。 中国电子信息产业发展研究院副院长张小燕表示,要把实施扩大内需战略同深化供给侧结构性改革有机结合起来,以创新驱动、高质量供给引领和创造新需求,促进虚拟现实等新型消费发展。 “现阶段虚拟现实产品形态功能与行业应用联系不紧密,虚拟现实产品的技术指标与消费者的高质量体验尚有差距,需要进一步提升虚拟现实软硬件产品品质。”张立说,需要推动高品质、大众化、低门槛虚拟现实内容同步发展,促成内容、终端互相促进的正向循环产业生态。 张小燕还表示,虚拟现实、元宇宙的发展应重视信息安全、知识产权保护、用户隐私数据保护等问题。

    增强虚拟现实全产业链供给能力

    日前,工业和信息化部、教育部等五部门联合发布《虚拟现实与行业应用融合发展行动计划(2022—2026年)》,对今后进一步增强虚拟现实全产业链条供给能力、加速多行业多场景应用落地等举措进行了规划与布局。作为新一代信息技术的“佼佼者”,虚拟现实技术以及其带来的产业趋势,具有很大发展空间。 虚拟现实技术融合应用了多媒体、传感器、新型显示、互联网和人工智能等多领域的数字感知技术,包括虚拟现实(VR)、增强现实(AR)和混合现实(MR)等多种形式。虚拟现实技术是数字经济的重大前瞻领域,更是各行业数字化转型的关键支撑技术。工业生产、文化旅游、融合媒体、教育培训等领域均可基于其开展数据可视化改造。 近年来,随着虚拟现实核心技术产品的日益成熟与非接触式经济需求的高涨,驱动虚拟产业高速发展,全球虚拟现实产业进入新一轮爆发期。在世界范围内,不少知名科技企业多年布局,通过投资、收购、自主开发等方式,已经基本建立了融软件、硬件、内容、应用和服务于一体的全产业链生态系统。我国虚拟现实产业发展迅速,核心技术不断突破,产品供给日益丰富,初步构建了以技术创新为基础的生态体系,形成了较为完整的虚拟现实产业链条,正迈入以产品升级和融合应用为主线的战略窗口期。 不过,在发展过程中,虚拟现实产业仍存在关键技术有待突破、内容形态单一、硬件性能不足、生态体系尚不成熟等问题。比如,目前一些产品的核心元器件依赖进口,缺乏高品质视频内容,不能满足消费者高质量消费升级以及行业客户大规模应用需求。同时,虚拟现实重点领域的龙头企业、具有领先自主技术以及国际市场竞争力产品的企业很少,围绕领军企业的产业创新生态体系也亟待建立。 加快虚拟现实在各行业的应用融合发展,须补齐产业链短板,增强产业创新与供给能力。要统筹推进全产业链各环节关键技术产品研发,开展核心技术攻关,推动硬件制造、软件开发、内容供给、应用服务等的创新发展,全面提高虚拟现实内容供给能力和供给质量。 还应加速多行业多场景应用落地,加快应用示范推广。要深化其在行业领域的有机融合,就需围绕工业制造、文化创意、医疗健康、教育培训等重点行业和特色领域的应用性需求,创新应用种类和服务内容,加速多行业多场景应用落地。 加快标准体系建设也很重要。要完善法律法规和伦理规范,发挥标准对产业的引导支撑作用,建立产学研用协同机制,健全虚拟现实标准和评价体系。 (本文来源:经济日报 作者:孟丽君)

    加载更多...