色婷五一,精品亚洲欧美一区二区三区日产 ,精选国产AV剧情,无码丰满少妇2在线观看

具體實施：由于手術間需要視頻交流、視頻錄制 ?？紤]到節(jié)約系統(tǒng)成本、實現(xiàn)資源利用最大化、在后端需要部署錄播服務器。錄播服務器可以將手術室中的所有視頻畫面分別錄制存儲下來。
3.1.3信號接收
主要負責從網(wǎng)絡接受前端錄播服務器發(fā)送的視頻流解碼后輸出給各中顯示設備。為了滿足用戶不同的收看需求我們將為用戶提供的顯示方式有，PC、平板電腦、智能手機等。播放設備可以直接連接液晶電視、大屏投屏、投影儀等顯示設備。通過遙控器、鼠標、屏幕面板即可操控。非常適合會議室、示教室等使用。
PC、平板電腦、智能手機客戶端無需安裝任何插件即可通過網(wǎng)絡或者  無線wifi用瀏覽器接受手術視頻直播、點播、只要客戶端能使用Inter網(wǎng)絡訪問遠程手術服務器就可以接收手術直播、點播。

具體實施：在示教室或者需要看直播的術室配置播放器，與現(xiàn)場的設備連接上，音頻和音響系統(tǒng)對接并連接上服務器，確保網(wǎng)絡通暢。在整個觀看過程中全景攝像機、術野攝像機、各種腔鏡、C臂機、CT機、監(jiān)護儀等設備的畫面和數(shù)據(jù)畫面統(tǒng)一展示也可局部放大進行單獨遠看。
3.1.4遠程控制
操作人員通過發(fā)出命令短消息，手術室值守的模塊接收到命令后發(fā)送給主機(單片機)，主機通過對命令的處理，把命令通過紅外傳輸?shù)较鄳姆謾C(單片機)上，分機對命令處理后，啟動相應設備，完成操作人員給出的命令并向主機回復應答，主機收到應答后，通過模塊發(fā)出回復短消息，報告用戶完成命令。若在規(guī)定的時間內(這里定時60s)主機沒有接收到分機的回復信息，即把該操作認為無效，回復操作無效短消息給操作端，要求操作人員重新發(fā)出命令。若收到的短信息有誤，主機便立刻回復該操作無效，請求操作人員重新發(fā)出命令。

3.2主功能概述

3.2.1視頻采集
網(wǎng)絡攝影機是視頻采集的主要設備，其主要部件CCD和CMOS，隨著技術的發(fā)展，CMOS傳感器的性能正在得到快速的提升，CMOS傳感響應速度要比CCD傳感器的速度要快很多。因此更適合更適應高清監(jiān)控的大數(shù)量特點，因此本系統(tǒng)中的網(wǎng)絡攝像機采用CMOS傳感器來采集工作，多視頻流編碼器的芯片是用來處理視頻數(shù)據(jù)的核心部件，多視頻流處理的核心是由專門的編碼解碼功能的DSP和ASIC組成。
 
3.2.2音頻采集
話筒是網(wǎng)絡攝像機采集音頻的主要設備，音頻服務器的芯片是用來處理音頻數(shù)據(jù)的核心部件，音頻服務器核心是由專門的編碼解碼功能的DSP和ASIC組成。
 
3.2.3視頻編碼
由視頻采集模塊采集到視頻數(shù)據(jù)被傳送到編碼模塊對其進行壓縮編碼。常用的兩種編碼方式為H.264編碼方式和MPEG-4編碼方式。H.264采用幀間和幀內預測的混合編碼方式，但是多了一個環(huán)內濾波功能，提高了圖像質量。在本系統(tǒng)中，視頻部分將采用H.264的編碼方式。
 
3.2.4音頻編碼
由音頻采集模塊所采集到的音頻數(shù)據(jù)被傳送到音頻壓縮編碼模塊，MP3作為目前最為普及的音頻壓縮格式，其應用場合十分廣泛，能夠廣泛應用到語音通訊、語音錄制等環(huán)境中，故本系統(tǒng)音頻部分將使用MP3編碼方式。
 
3.2.5多視頻流模塊
多視頻流系統(tǒng)將采用雙視頻流編碼以及雙雙視頻流的網(wǎng)絡傳輸，其將采集到的視頻數(shù)據(jù)通過兩路編碼器通過兩路進行編碼。一路是質量較低采用實時傳輸協(xié)議的實時流，另一路是質量較高不采用實時傳輸協(xié)議的高質量流。
雙視頻流編碼以及雙視頻流的網(wǎng)絡傳輸?shù)牧硪环N應用是將采集到的視 頻數(shù)據(jù)通過兩路編碼器進行兩路編碼一路是質量較低的視頻流，另一路是質量較高的視頻流，在傳輸時，系統(tǒng)會根據(jù)具體的網(wǎng)絡帶寬有選擇的發(fā)送視頻流，當網(wǎng)絡環(huán)境好時發(fā)送高質量視頻流，當網(wǎng)絡環(huán)境差時發(fā)送質量低的視頻流。
 
3.2.6雙向語音通訊模塊
本系統(tǒng)具備了雙向語音通訊功能，其采用多線程技術使得攝像機兩端能用過語音設備進行實時的語音交流、通訊。
 
3.2.7網(wǎng)絡功能
網(wǎng)絡模塊描述了音頻視頻數(shù)據(jù)通過網(wǎng)絡傳輸功能，將編碼壓縮后的音頻視頻數(shù)據(jù)經(jīng)過打包，添加頭文件后進行網(wǎng)絡傳輸，采用實時傳輸協(xié)議RTP協(xié)議對打包的數(shù)據(jù)進行實時的網(wǎng)絡傳輸以實現(xiàn)實時觀察，實時通訊等功能。
3.2.8存儲功能
采用非實時傳輸?shù)姆绞綄㈦p路視頻流編碼中的高質量視頻流通過網(wǎng)絡傳輸?shù)娇蛻舳?，并在客戶端設備中分配存儲空間創(chuàng)建視頻文件，將接受的視頻流保存到客戶端新建的視頻文件中。
3.2.9媒體流加密
   SRTP（Secure Real-time Transport Protocol，安全RTP協(xié)議）通過對RTP/RTCP報文的有效負載進行加密，實現(xiàn)對RTP/RTCP報文的加密、認證以及報文重傳保護。

3.3傳輸技術

本系統(tǒng)需要完成音頻采集編碼；視頻采集，多視頻流編碼，遠程控制等功能；而為了實現(xiàn)視頻信號良好的實時傳輸，以及語音雙向通訊功能，我們要用到 實時傳輸協(xié)議，RTP協(xié)議，實時傳輸控制協(xié)議，RTCP協(xié)議以及實時流媒體協(xié)議，RTSP協(xié)議。在本系統(tǒng)對音頻數(shù)據(jù)處理過程中，我們必須了解其中的視頻編碼技術，同時為了實現(xiàn)網(wǎng)絡實時通訊功能，雙向視頻語音通訊技術也是本系統(tǒng)核心技術之一。
3.3.1影響實時傳輸因素
      在網(wǎng)絡電話，視頻會議等應用領域，為了滿足應用的需要和使用著的需求，我們要保證視頻數(shù)據(jù)的流暢性和雙向語音通訊的服務質量，而影響視頻流暢性以及語音通訊質量的因素主要來源與網(wǎng)絡層的延時，抖動等，下面詳細介紹網(wǎng)絡層影響傳輸?shù)膸讉€因素。

• 處理延時：在網(wǎng)絡中轉發(fā)幀的設備會造成延時，在網(wǎng)絡中，處理延時會造成一定的影響，這種影響在分組網(wǎng)絡環(huán)境中尤為重要，數(shù)字信號處理器每10ms產(chǎn)生一個語音樣本，兩個語音樣本被放在一個包中，每個包的延時是20ms。

• 隊列延時：分組還有其他原因的延時，其中的兩個是將分組移動到輸出隊列的所必須時間和序列化延時。當一個包因為輸出接口阻塞而停止在隊列中而造成的延時，稱為隊列延時，其實在某段時間內發(fā)送的包超過了接口的處理能力，在進行雙向語音視頻通訊中，由于要同時處理和發(fā)送音視頻數(shù)據(jù)，因此會產(chǎn)生隊列延時。
• 抖動：是指包到達時間不規(guī)律，是分組網(wǎng)絡的一個問題，在分組語音環(huán)境下，發(fā)送者希望語音包以穩(wěn)定的間隔到達，但是這些包在網(wǎng)絡上傳輸時可能不會以同樣的時間間隔到達接受站點，分組期望和實際達到的偏差就是抖動。

   由于實時傳輸協(xié)議RTP協(xié)議提供具有實時特征的，端到端的數(shù)據(jù)傳輸業(yè)務，并且在RTP報頭中包含裝在數(shù)據(jù)的標識符，序列號，時間戳等信息，因此為了解決以上影響實時傳輸?shù)膯栴}，尤其是雙向語音通訊的抖動問題，本系統(tǒng)采用實時傳輸協(xié)議RTP協(xié)議以及和RTP協(xié)議配套使用的實時傳輸控制協(xié)議RTCP協(xié)議來進行視頻流以及語音數(shù)據(jù)的實時傳輸，用以保證視頻流的流暢以及語音通信的順利進行。
前向糾錯簡稱FEC，英文全稱Forward Error Correction，是通過提前采取措施來對抗網(wǎng)絡損傷。丟包重傳主要針對丟包的情況下，有針對性地對丟失的數(shù)據(jù)包進行高效率的重傳。準確來說，它們的直接目的不是為了降低延遲，而是為了對抗網(wǎng)絡損傷。在不可預測的網(wǎng)絡環(huán)境中，能很好地處理網(wǎng)絡抖動帶來的負面影響，間接也會降低了延遲，同時保證了穩(wěn)定性和流暢性。
3.3.2實時流媒體協(xié)議RTSP
      實時流媒體協(xié)議RTSP是TCP/IP協(xié)議中的一個應用層協(xié)議。該協(xié)議定義了應用程序如何有效的通過IP網(wǎng)絡傳送多媒體數(shù)據(jù)。RTSP協(xié)議是類似于HTTP協(xié)議的流程協(xié)議，他們都是用純文本來發(fā)送信息，而且RTSP協(xié)議的語法也類似HTTP語法協(xié)議，和HTTP協(xié)議相比較RTSP協(xié)議所不同的地方是，RTSP協(xié)議是由狀態(tài)的協(xié)議，而HTTP是無狀態(tài)的協(xié)議。RTSP協(xié)議的默認端口為554，默認承載協(xié)議是TCP。RTSP協(xié)議中只是定義了對流媒體的控制，并未提供對實時音視頻數(shù)據(jù)流的傳輸功能，因為他需要和實時傳輸協(xié)議RTP，實時傳輸控制協(xié)議RTCP配合使用，完成音頻數(shù)據(jù)的網(wǎng)絡傳輸。
    RTSP特性：

• 流控分離：從控制邏輯上來說RTSP和FTP相似，控制流和數(shù)據(jù)流是完全分開的。
• 可拓展性：因為RTSP協(xié)議是基于文本的協(xié)議所以其具有較強的可拓展性。
• 安全：RTSP使用安全機制。

3.4編碼技術

     在本系統(tǒng)中，壓縮編碼是非常重要的一個環(huán)節(jié)，以352*288像素的視頻為例，采用4：2：0的格式，單幀畫面數(shù)量為1.2Mbit，采用4：4：4的格式，單幀畫面數(shù)據(jù)量為2.4Mbit，對于25幀/s的碼流，即使采用4：2：0的格式，碼流可以達到30Mbps，這是網(wǎng)絡環(huán)境根本無法支撐的，因此視頻壓縮是必須的，并且我們可以根據(jù)不同的環(huán)境、不同的場合對食品質量的不同要求來采用不同的編碼標準以便合理的利用寬帶和保證視頻傳輸?shù)膶崟r性。
3.4.1多視頻流編碼
  目前對視頻交流監(jiān)控系統(tǒng)主要由兩方面的要求：一是實時性的的需求，以便觀察實時場景，用以及時交流。另一個是高質量的需求，以便在后期進行細致研究。在網(wǎng)絡和寬帶的限制之下很難滿足上述兩個方面的需求，因此我們系統(tǒng)同使用多視頻流編碼來解決這個問題。
  多視頻流編碼是對統(tǒng)一視頻源進行雙路編碼產(chǎn)生實時的視頻流以及高質量的視頻流，其中實時流視頻用作實時觀察，對傳輸?shù)膶崟r性要求較高，而對圖像的質量要求相對要低一些，實時流視頻要求在編碼之后立即傳輸?shù)娇蛻舳?；而高質量的視頻流用作后期的調查，對圖像的質量要求較高，而對傳輸?shù)膶崟r性要求低一些，只需在特殊的事件發(fā)生之后的一段時間內傳送給主機端即可。
   另一種多視頻流編碼的應用實在編碼模塊采用雙路編碼，編碼產(chǎn)生雙路視頻流，一路是質量較好的視頻流，另一路是質量較差的視頻流，再根據(jù)網(wǎng)絡環(huán)境，在網(wǎng)絡環(huán)境好的時候實時的傳輸質量好的視頻流，在網(wǎng)絡環(huán)境較差的時候實時傳輸質量較差的視頻流，合理有效的利用寬帶。
3.4.2雙向語音通訊
本系統(tǒng)考慮在某些場合和一些特定的環(huán)境中，僅僅采集實時的視頻流和音頻流是不夠的，在這些場合中，我們還需要系統(tǒng)在兩端能夠相互狗溝通、交流，比如通過攝像機觀察手術時，專家可以觀察到手術的動向，聽到醫(yī)生的交流，但是有話要說需要溝通指導的時候，就需要觀察者發(fā)出聲音能夠讓手術室內的醫(yī)生聽到等等。在很多場合我們也需要雙方都可以聽見聲音。這就需要雙向語音通訊技術了。
雙向語音通訊技術就是作為主機的一端同時作為客戶，作為客戶的一端同時作為主機端，兩端通過多線程技術在發(fā)送信號的同時監(jiān)聽對方傳輸過來的信號，用以做到兩端實時通訊交流。如圖所示。雙向語音通信的核心是多線程技術的應用，利用多線程技術，在主機和客戶機兩端分別建立監(jiān)視和呼叫線程，在兩端連接成功之后又利用多線程主機和客戶機兩端分別建立發(fā)送語音數(shù)據(jù)流程和接收語音數(shù)據(jù)流程。

3.5軟件設計

3.5.1軟件結構

1. 操作系統(tǒng)：采用Linux操作系統(tǒng)，具備開源、高效、內核可裁剪、可移植、網(wǎng)絡適應性強等優(yōu)點。
2. DSP庫：平臺中具備音頻采集函數(shù)庫以及H.264、MPEG-4、MPEG-2、MJPEG和VC1/WMV9編碼解碼庫，為系統(tǒng)開發(fā)提供便利。
3. 驅動和應用：本系統(tǒng)平臺為上層軟件操作底層硬件提供    統(tǒng)一接口，主要提供以太網(wǎng)控制器，音頻輸入、輸出設備等，其應用層同時支持使用者根據(jù)需要自行開發(fā)編寫應用程序，用為多視頻流語音雙向通信系統(tǒng)提供多解決方案。

   多視頻流語音雙向通訊遠程手術系統(tǒng)采用了標準的多線程技術，一共有9個獨立的線程。

• 主線程/控制線程：主線程完成初始化工作、創(chuàng)建其他線程，并為其他線程傳遞命令行相應的參數(shù)，最后轉化為控制參數(shù)。
• 保護線程：保護所有線程進行通訊。
• 儀器數(shù)據(jù)采集線程：采集手術設備（C臂、CT設備、監(jiān)護儀、各腔鏡、超聲成像等）數(shù)據(jù)用以及時展示。
• 視頻采集線程：采集攝像頭捕獲的數(shù)據(jù)，傳輸給視頻編碼線程。
• 音頻采集線程：采集語音輸入設備獲取的數(shù)據(jù)，傳輸給音頻編碼線程。
• 視頻編碼線程：對視頻采集線程捕獲的視頻數(shù)據(jù)進行H.264視頻流的雙路編碼處理。
• 音頻編碼線程：接收來自服務器語音接受設備傳輸來的語音信號，傳輸給音頻解碼線程，音頻解碼線程經(jīng)過修改系統(tǒng)中的Audio等參數(shù)，對語音信號進行編碼處理。
• 網(wǎng)絡發(fā)送線程：將編碼后的壓縮數(shù)據(jù)通過網(wǎng)絡協(xié)議發(fā)送。
• 雙向語音通信線程：分為單向語音通信線程和多線程雙路單向語音通訊線程。

①　單向語音通信線程：音頻輸入經(jīng)過音頻編碼后的數(shù)據(jù)打包后通過網(wǎng)  絡發(fā)送線程輸出：其操作采用Linux下的Socket網(wǎng)絡連接，首先利用Socket網(wǎng)絡編程中的所提供的函數(shù)對音頻輸入端和接收端進行網(wǎng)絡連接，利用修改后的Live555庫函數(shù)對音頻信號進行基于RTP以及UDP的網(wǎng)絡傳輸。
②　多線程技術：由于要實現(xiàn)雙向語音通信功能，因此要在單向通信的線程基礎上進行拓展，由于單向語音通信只是發(fā)送語音，為了實現(xiàn)雙向語音通信，還要在接收端搭建語音采集設備并建立語音編碼線程并將語音數(shù)據(jù)打包通過網(wǎng)絡發(fā)送線程輸出，而在源發(fā)送端建立語音解碼線程，將接受到的來源于網(wǎng)絡的語音數(shù)據(jù)經(jīng)過解碼傳送到揚聲器進行播放。又由于雙向語音通信的語音接受和語音發(fā)送是實時的。因此利用多線程技術在兩端建立兩個Socket網(wǎng)絡連接，做到雙方同時發(fā)送和接收實時語音數(shù)據(jù)。
 

視頻采集線程與編碼線程之間的數(shù)據(jù)交互通過管道FIFO實現(xiàn)。采用一對阻塞調用函數(shù)fifi_get()、fifo_put()將采集端的緩存數(shù)據(jù)輸出到編碼端，編碼端返回緩存到采集端。視頻編碼過中使用內存儲空間是由CMCE模塊分配的連續(xù)存儲單元，同時還采用了DMA對數(shù)據(jù)進行操作，采用連續(xù)的存儲空間和DMA操作視頻數(shù)據(jù)可大大縮短對數(shù)據(jù)的讀寫時間，提高了編碼效率，增強了 實時性能。視頻采集線程完成的視頻采集及處理主要是DM365視頻處理子系統(tǒng)中視頻處理前端實現(xiàn)，其主要操作如下：

1. 創(chuàng)建一個視頻捕捉實例。
2. 獲取/釋放緩存。
3. 采集視頻。
4. 關閉視頻采集，關閉視頻輸入設備。

  DM365處理器中的視頻編解碼是通過調用編解碼引擎（Codec Engine）來實現(xiàn)。利用編解碼引擎（Codec Engine），可以實現(xiàn)基于達芬奇平臺的視頻編解碼，通過這種機制，ARM端的程序就可以通過Codec Engine提供的VISA（Video,Image,Speech,Audio）API接口調用，在DSP端執(zhí)行編解碼算法。視頻編碼線程執(zhí)行流程為：

1. 打開編碼引擎。
2. 配置編碼參數(shù)。
3. 創(chuàng)建H.264視頻編碼器。
4. 編碼一幀H.264視頻數(shù)據(jù)。

 
3.5.3多視頻流設計

1. 多視頻流結構一

    實時流：實時流對視頻傳輸?shù)膶崟r性要求高；相對地實時流對視頻的圖像質量要求相對較低。實時流必須在編碼后立即傳輸至客戶端。
    高質流：高質流視頻對于圖像質量要求較高；相對的，高質流對視頻傳輸?shù)膶崟r性要求較低，只需在事件發(fā)生之后一段時間內傳輸完畢即可。
    該雙流傳輸方法的系統(tǒng)結構如圖所示，包括視頻發(fā)送端，網(wǎng)絡信道和視頻接收端。
    發(fā)送端包括：實時流編碼器，高質流編碼器，實時傳輸模塊，非實時傳輸模塊。實時流編碼器和高質流編碼器用于將采集到的視頻數(shù)據(jù)通過編碼變?yōu)閷崟r流視頻碼流和高質量視頻碼流；實時傳輸模塊用于實時流視頻流的封裝傳輸。非實時傳輸模塊用于高質流視頻碼流的封裝傳輸。
    接收端包括：實時流編碼器，存儲模塊；接收到的實時流碼流經(jīng)由實時流解碼器解碼，最終子終端設備所提供的網(wǎng)絡播放器上實時播放，供操作人員實時觀察；存儲模塊則是在操作人員的終端設備申請一塊空間，建立H.264存儲文件，將接收到的高質量視頻流保存在操作人員所建立的H.264文件中以便于后期觀察。如圖：