全景直播技术有哪些?

JavaScript013

全景直播技术有哪些?,第1张

简单看到最多的是图片拼接技术,可惜看到的是360度的一个平面,无法走进入到场景里面去沉浸式体验,另外一种很少见的是360度立体的沉浸式体验,技术门槛比较高,比如用光场采集技术的叠境公司在做。

准备工作:

1、three.js    https://threejs.org/build/three.js

2、搭建项目环境 我使用的live-server

3、720°全景图

目录结构

mian.js

(function () {

  // 在THREEjs中,渲染一个3d世界的必要因素是场景(scene)、相机(camera)、渲染器(renderer)。渲染出一个3d世界后,可以往里面增加各种各样的物体、光源等,形成一个3d世界。

  // 创建场景

  const scene = new THREE.Scene()

  // 创建透视摄像机

  // new THREE.PrespectiveCamera('视角', '指投影窗口长宽比例', '表示重距离摄像机多远的位置开始渲染', '表示距离摄像机多远的位置截止渲染')

  // 正交摄像机是一个矩形可视区域,物体只有在这个区域内才是可见的物体无论距离摄像机是远或事近,物体都会被渲染成一个大小。一般应用场景是2.5d游戏如跳一跳、机械模型

  // 透视摄像机是最常用的摄像机类型,模拟人眼的视觉,近大远小(透视)。Fov表示的是视角,Fov越大,表示眼睛睁得越大,离得越远,看得更多。如果是需要模拟现实,基本都是用这个相机

  const camera = new THREE.PerspectiveCamera(90, window.innerWidth / window.innerHeight, 1, 1000)

  // 创建ThreeJs渲染器

  const renderer = new THREE.WebGLRenderer({ antialias: true })

  // 设置渲染器场景的大小

  renderer.setSize(window.innerWidth, window.innerHeight)

  // 渲染器添加到页面

  document.body.appendChild(renderer.domElement)

  // 上面的确是把3d世界画出来了,只是没有什么东西。在three.js中,我们需要增加光源和mesh

  // mesh即是网格。在计算机里,3D世界是由点组成的,无数的面拼接成各种形状的物体。这种模型叫做网格模型。一条线是两个点组成,一个面是3个点组成,一个物体由多个3点组成的面组成

  // 而网格(mesh)又是由几何体(geometry)和材质(material)构成的

  //  我们所能想象到的几何体,框架都自带了,我们只需要调用对应的几何体构造函数即可创建。几何体的创建方法都是new,如BoxBuffer:const geometry = new THREE.BoxBufferGeometry( 1, 1, 1 )

  // 创建的时候,一般定义了渲染一个 3D 物体所需要的基本数据:Face 面、Vertex 顶点等信息。THREE.xxxGeometry指的是框架自带的几何体,不同几何体所需要的参数有所不同,大概是width、height、radius、depth、segment、detail、angle等属性

  // 更多geometry相关api

  // BufferGeometry和Geometry有什么不同?就实现的效果来说它们都是一样,但是BufferGeometry的多了一些顶点属性,且性能较好。对于开发者来说,Geometry对象属性少体验更好。THREE解析几何体对象的时候,如果是Geometry,则会把对象转换成ufferGeometry对象,再进行下一步渲染

  // 创建几何模型

  // THREE.BoxGeometry('x轴长', 'y轴长', 'z轴长')

  const geometry = new THREE.SphereGeometry(50, 256, 256)

  // 创建贴图 720°图片,需要硬件支持 这里的图是借用网络上面的

  const texture = new THREE.TextureLoader().load('https://qhyxpicoss.kujiale.com/r/2019/07/01/L3D137S8ENDIADDWAYUI5L7GLUF3P3WS888_3000x4000.jpg?x-oss-process=image/resize,m_fill,w_1600,h_920/format,webp')

  //创建材质

  const material = new THREE.MeshBasicMaterial({ map: texture })

  // 渲染球体的双面

  material.side = THREE.DoubleSide

  // 创建网格对象

  const mesh = new THREE.Mesh(geometry, material)

  // 网格对象填加到场景

  scene.add(mesh)

  // 摄像机放球体中心

  camera.position.set(-0.3, 0, 0)

  // 控制器(如果报错去github自己拷贝一个OrbitControls.js https://github.com/mrdoob/three.js/blob/dev/examples/js/controls/OrbitControls.js )

  const controls = new THREE.OrbitControls(camera, renderer.domElement)

  controls.addEventListener("change", () =>{

    renderer.render(scene, camera)

  })

  controls.minDistance = 1

  controls.maxDistance = 2000

  controls.enablePan = false

  // 调整max

  controls.minDistance = 1 // controls.maxDistance = 200

  controls.maxDistance = 2

  function animate () {

    requestAnimationFrame(animate)

    renderer.render(scene, camera)

  }

  animate()

  window.onresize = function () {

    camera.aspect = window.innerWidth / window.innerHeight

    camera.updateProjectionMatrix()

    renderer.setSize(window.innerWidth, window.innerHeight)

  }

})()

通俗来讲全景直播用户可以跟随镜头观看360度的现场播放,并且可以跟随自己的意愿控制镜头上下左右的移动,就和进入现场的观感是一样的,普通直播只在一个角度可以看得到,VR全景直播就是说所有角度都可以看到直播的现场,不论你哪个方向都可以。

简单来说,5G+VR全景直播的流程是:专业全景采集设备→4G/5G/专线→推流数据中心→全球CDN云分发→终端直播浏览。

首先利用专业的全景拍摄设备进行全景视频的直播采集、拼接,然后通过5G的高速网络专线进行内容输出,当我们把内容输出到网络上时,通过网络技术进行实时转码推流,利用CDN快速分发到全球任何一个观看者终端服务器,用户就可以利用终端设备进行观看了。