大數(shù)據(jù)應(yīng)用云平臺及新一代智能網(wǎng)絡(luò)通訊研發(fā)項目可行性研究報告

一、項目內(nèi)容概述

本項目以建設(shè)創(chuàng)意信息大數(shù)據(jù)應(yīng)用云平臺及新一代智能網(wǎng)絡(luò)通訊的研發(fā)和應(yīng)用實踐為主要建設(shè)內(nèi)容，具體如下：

1、大數(shù)據(jù)應(yīng)用云平臺項目

創(chuàng)意信息“大數(shù)據(jù)應(yīng)用云平臺”基于大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等技術(shù)，適用于政務(wù)、環(huán)保、電力等行業(yè)，是從數(shù)據(jù)采集到數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管理、數(shù)據(jù)存儲、再到數(shù)據(jù)備份服務(wù)的軟、硬件數(shù)據(jù)分析平臺，其通過“硬件+軟件+服務(wù)”的集成，為政務(wù)、環(huán)保、電力等不同行業(yè)用戶、服務(wù)商、數(shù)據(jù)管理者、消費者提供基于云計算的智能化、可定制、可視化的數(shù)據(jù)模型管理平臺，最終形成面向大數(shù)據(jù)深加工的核心產(chǎn)品及服務(wù)。

通過建設(shè)“大數(shù)據(jù)應(yīng)用云平臺及新一代智能網(wǎng)絡(luò)通訊的研發(fā)和應(yīng)用實踐項目”，進而在此基礎(chǔ)上實施大數(shù)據(jù)分析、安全脫敏、智能備份及提供其他增值服務(wù)，一方面可以幫助公司以現(xiàn)有產(chǎn)品作為切入點，云化建立具有自主知識產(chǎn)權(quán)的大數(shù)據(jù)平臺，更好的滿足現(xiàn)有業(yè)務(wù)領(lǐng)域客戶；另一方面，公司可以利用云平臺，通過大數(shù)據(jù)分析解決虛擬運營商在實際業(yè)務(wù)開展中遇到的困難，為其提供差異化服務(wù)，豐富虛擬運營商 IT 服務(wù)提供方式，從而獲取更大的利潤空間。

“大數(shù)據(jù)應(yīng)用云平臺”主要包含“六大自主可控基礎(chǔ)產(chǎn)品開發(fā)”和“兩大應(yīng)用服務(wù)”；經(jīng)過前期的市場調(diào)研工作，結(jié)合公司自身優(yōu)勢，本項目大數(shù)據(jù)應(yīng)用云平臺的業(yè)務(wù)應(yīng)用將優(yōu)先開發(fā)工業(yè)物聯(lián)網(wǎng)支撐平臺應(yīng)用服務(wù)、持續(xù)運營個性化流量應(yīng)用服務(wù)。具體如下：

1.1 大數(shù)據(jù)應(yīng)用云平臺

（1）企業(yè)級大數(shù)據(jù)平臺（D+）

企業(yè)級大數(shù)據(jù)平臺（D+）是基于開源 Apache Hadoop，綜合大數(shù)據(jù)市場需求，打造的企業(yè)級大數(shù)據(jù)平臺產(chǎn)品。產(chǎn)品集成 Hadoop 生態(tài)圈中多種優(yōu)秀組件，實現(xiàn)采集、處理、分析、存儲、搜索、算法、服務(wù)、安全等全域一體化的數(shù)據(jù)加工能力。通過實時動態(tài)分析、離線數(shù)據(jù)模型分析、挖掘、預(yù)測等手段，為企業(yè)級用戶提供強大的分析、決策、創(chuàng)新等支撐能力。

D+ 定義

D+ 平臺同步最新的 Apache Hadoop 穩(wěn)定發(fā)行版，集成了最新穩(wěn)定的 Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、Sqoop、Knox、Ranger、Hue、Zookeeper 等組件，極大增強其兼容性、安全性、穩(wěn)定性， 解決了版本、組件等相互依賴問題，使用戶能夠?qū)Ｗ⒂跀?shù)據(jù)存儲、處理等業(yè)務(wù)應(yīng)用，而不用關(guān)心底層平臺問題。

D+ 體系架構(gòu)

D+平臺以 YARN 作為架構(gòu)中心，支持多任務(wù)、多負載、多處理方式（從批處理到交互式處理再到實時處理），擁有企業(yè)級大數(shù)據(jù)平臺所需的關(guān)鍵能力——管理、安全和運營。平臺全面的功能集包括：集中監(jiān)管、數(shù)據(jù)存儲、數(shù)據(jù)訪問、數(shù)據(jù)安全等主要功能。

（2）大數(shù)據(jù)業(yè)務(wù)模型平臺（M+）

大數(shù)據(jù)業(yè)務(wù)模型平臺（M+）構(gòu)建了基于大數(shù)據(jù)業(yè)務(wù)的 PaaS 層服務(wù)。依托大數(shù)據(jù)領(lǐng)域從業(yè)人員（業(yè)務(wù)分析師、業(yè)務(wù)分析專家、模型設(shè)計人員、測試人員、管理維護人員、服務(wù)方和集成商等）的具體需求，構(gòu)建了大數(shù)據(jù)業(yè)務(wù)模型全生命周期的閉環(huán)管理，平臺具備可視化大數(shù)據(jù)業(yè)務(wù)建模、業(yè)務(wù)模型自動化部署、模型測試、可視化展示、業(yè)務(wù)模型調(diào)度維護等功能，支撐多租戶的大數(shù)據(jù)業(yè)務(wù)模型開發(fā)、共享、授權(quán)與管理。

平臺以企業(yè)業(yè)務(wù)邏輯為導(dǎo)向，使數(shù)據(jù)分析者只關(guān)注具體的業(yè)務(wù)分析邏輯而無需關(guān)注底層大數(shù)據(jù)平臺的技術(shù)細節(jié)，極大提高了業(yè)務(wù)模型開發(fā)的速度和便捷性。

新型大數(shù)據(jù)整體分析模式

M+包含以下幾個主要功能：

① 可視化模型開發(fā)客戶端：模型設(shè)計可視化、運行數(shù)據(jù)可視化、模型開發(fā)引擎；

② 認證與用戶管理服務(wù)：用戶管理、模型權(quán)限自動化分配管理、模型與用戶權(quán)限認證；

③ 模型管理服務(wù)：模型庫管理、模型發(fā)布、模型類型配置、模型審核授權(quán)；

④ 模型調(diào)度服務(wù)：任務(wù)調(diào)度引擎、日志引擎；

⑤ 模型解釋服務(wù)：模型自動化編譯引擎、模型自動化解釋引擎。

大數(shù)據(jù)業(yè)務(wù)模型平臺一站式大數(shù)據(jù)綜合架構(gòu)

（3）大數(shù)據(jù)數(shù)據(jù)處理平臺(TROY ETL)

TROY ETL 是同時支撐 Windows 和 Linux 運行環(huán)境的大數(shù)據(jù)數(shù)據(jù)處理平臺。

TROY ETL 能夠快速便捷的完成涵蓋各種數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換、過濾、清洗工作；其全程的可視化操作及監(jiān)控體系為業(yè)務(wù)人員、運維人員、開發(fā)人員從數(shù)據(jù)集成設(shè)計、調(diào)度運維、功能擴展及支持提供了完善的支撐。

大數(shù)據(jù)數(shù)據(jù)處理平臺整體架構(gòu)

① 大數(shù)據(jù)層

平臺提供對分布式文件系統(tǒng)的支撐,同時對創(chuàng)意企業(yè)級大數(shù)據(jù)平臺(D+)提供的大數(shù)據(jù)環(huán)境進行了功能優(yōu)化,對比其他開源環(huán)境擁有更高的執(zhí)行效率。支撐的組件包括 Oracle、Hadoop、MongoDB、Hive、Kafka、Hbase、Storm 等。

② 內(nèi)核層

平臺內(nèi)核層作為整個平臺的基礎(chǔ)能力提供層：提供安全加解密、線程管理、數(shù)據(jù)庫驅(qū)動、消息傳遞、日志管理等功能，同時可通過插件接口實現(xiàn)對新功能的自定義擴展。

③ 引擎層

提供作業(yè)、轉(zhuǎn)換、批處理任務(wù)、元數(shù)據(jù)、系統(tǒng)數(shù)據(jù)交換引擎功能。

④ 應(yīng)用層

平臺具有：可視化的 ETL 任務(wù)設(shè)計器、批量的任務(wù)調(diào)度器、支持動態(tài)集群調(diào)度管理器和分級的日志管理功能。

大數(shù)據(jù)數(shù)據(jù)處理平臺特性

（4）數(shù)據(jù)脫敏（敏感數(shù)據(jù)管理）產(chǎn)品

創(chuàng)意“數(shù)據(jù)脫敏產(chǎn)品”是一個適合不同行業(yè)和用戶的全方位產(chǎn)品，內(nèi)置豐富的敏感數(shù)據(jù)發(fā)現(xiàn)、脫敏算法能夠支持金融、政府、教育、零售等不同行業(yè)的數(shù)據(jù)脫敏需求；又能支持國內(nèi)外主流的數(shù)據(jù)存儲平臺，包括：數(shù)據(jù)庫、Hadoop 大數(shù)據(jù)分析、文件等的全面智能的數(shù)據(jù)脫敏軟件。

與其他脫敏軟件不同的是，創(chuàng)意研發(fā)的“數(shù)據(jù)脫敏產(chǎn)品”是可以與創(chuàng)意信息研發(fā)的數(shù)據(jù)敏捷管理平臺 CDS 產(chǎn)品實現(xiàn)無縫對接，可以在統(tǒng)一的圖形化界面管理中幫助客戶實現(xiàn)測試、開發(fā)和數(shù)據(jù)分析等多種場景下的應(yīng)用需求，通過“數(shù)據(jù)脫敏產(chǎn)品”的自助服務(wù)平臺，適應(yīng)大型企業(yè)、大項目的不同復(fù)雜場景的敏感數(shù)據(jù)管理，靈活的脫敏算法自定義能力，包括支持混排、替換、隨機、波動等常見的脫敏算法。脫敏過程全內(nèi)存的數(shù)據(jù)處理，保障數(shù)據(jù)不會在脫敏過程中泄露，部署架構(gòu)方面支持集群部署和并行處理，保障大數(shù)據(jù)分析要求的處理能力。

（5）分布式塊存儲產(chǎn)品

在日益激烈的競爭環(huán)境中，高效、敏捷的 IT 服務(wù)能力已成為現(xiàn)代企業(yè)取得

商業(yè)成功的核心要素。數(shù)據(jù)庫、虛擬化、云應(yīng)用要求 IT 系統(tǒng)更富于效率和靈活性，而以傳統(tǒng)的高中低端磁盤陣列為代表的“傳統(tǒng) SAN”IT 基礎(chǔ)設(shè)施是孤立、僵化、不靈活的，它們在性能、擴展性、可管理性等方面存在明顯的局限性，無法始終為客戶提供所需的可擴展性、彈性和靈活性來滿足當(dāng)今高性能應(yīng)用程序的需求，更不用說滿足整個業(yè)務(wù)的需求。云計算、虛擬化、分布式、軟件定義技術(shù)的

快速發(fā)展，促使數(shù)據(jù)中心的建設(shè)目標和技術(shù)架構(gòu)發(fā)生了深刻的變化，要求實現(xiàn)更高的效率、服務(wù)水平、靈活性和敏捷性。

經(jīng)過前期的市場調(diào)研工作，結(jié)合公司自身優(yōu)勢，本項目中研發(fā)的分布式塊存儲設(shè)備具備以下特點：

? 企業(yè)級數(shù)據(jù)服務(wù)，充分利用各類高性能標準 X86 硬件資源，構(gòu)建高效的

分布式塊存儲架構(gòu)，可通過高性能的 VM 專用接口，NBD 接口和 iSCSI 接口供業(yè)

務(wù)主機訪問，可完整支持虛擬化、云計算、數(shù)據(jù)庫等各類企業(yè)級應(yīng)用場景，包括數(shù)據(jù)保護，容量優(yōu)化，快照和克隆，動態(tài)分層，SLA 保障，安全加密等。

? 彈性化存儲管理，采用完全橫向的擴展模式，可實現(xiàn)真正不停機的動態(tài)擴容，按需配置，隨需擴展

? 高性能，采用 Scale-out 分布式設(shè)計架構(gòu)，存儲集群內(nèi)部每個節(jié)點可以

并行的對外提供訪問，自動負載均衡等多種性能優(yōu)化機制，可構(gòu)建一個高帶寬、高并發(fā)、低延時的高效存儲平臺。

? 低 TCO 成本，可以不采用同等節(jié)點，讓用戶充分利舊原有資源的靈活組

建方式可以最大限度的降低 TCO 成本，且支持動態(tài)可擴展的擴容，最大限度保護已有投資。

（6）備份系統(tǒng)智能分析及自動化恢復(fù)驗證平臺產(chǎn)品

研發(fā)的備份系統(tǒng)智能分析及自動化恢復(fù)驗證平臺，初期以支持當(dāng)前在金融/能源/電信運營商中使用比例最高的 NBU 軟件為基礎(chǔ)，實現(xiàn)針對 NBU 軟件的備份系統(tǒng)智能分析和自動化恢復(fù)驗證，同時，開發(fā)與數(shù)據(jù)敏捷管理平臺的對接，實現(xiàn)一套平臺下的數(shù)據(jù)全生命周期管理和使用，真正將數(shù)據(jù)的在線、近線、離線管理落到實處，實時展現(xiàn)當(dāng)前數(shù)據(jù)副本的狀態(tài)。未來考慮逐步加入客戶當(dāng)前使用量較大的其他備份軟件的支持。本期研發(fā)的產(chǎn)品還具備以下功能特點：

? 靈活部署方式，提供私有云和公有云兩種模式，無縫對接企業(yè)內(nèi)部已有的 NBU 備份平臺，松耦合的方式獲取數(shù)據(jù)及驗證

? 圖形化操作界面，通過 Web GUI 的圖形界面的方式進行操作，設(shè)置驗證

策略及分析策略，采用智能數(shù)據(jù)分析方法將分析結(jié)論以動態(tài)圖形的方式予以展

現(xiàn)，且可以記錄不同時期的分析結(jié)果，實現(xiàn)多維度對比，并給出備份系統(tǒng)當(dāng)前存在的問題及建議修改的方式。

? 豐富的接口，提供 Restful 的 API 接口，同時可以與北京創(chuàng)意云智的數(shù)

據(jù)敏捷管理產(chǎn)品實現(xiàn)無縫對接，從而在提升現(xiàn)有備份系統(tǒng)能力的同時，也可以在統(tǒng)一的界面內(nèi)對客戶的數(shù)據(jù)進行全生命周期管理，同時預(yù)留了未來與其他備份軟件對接的接口，方便與其他備份軟件集成。

1.2 工業(yè)物聯(lián)網(wǎng)支撐平臺應(yīng)用

隨著工業(yè) 4.0 以及互聯(lián)網(wǎng)+概念和政策的出臺，單一的設(shè)備人員本地服務(wù)以

及粗放的本地監(jiān)控服務(wù)模式，已經(jīng)遠遠不能滿足客戶復(fù)雜的業(yè)務(wù)需求。結(jié)合邦訊信息在物聯(lián)網(wǎng)方面的技術(shù)優(yōu)勢和創(chuàng)意信息在大數(shù)據(jù)技術(shù)方面的長期積累，工業(yè)物聯(lián)網(wǎng)支撐平臺應(yīng)用將面向行業(yè)客戶提供設(shè)備運行情況、數(shù)據(jù)接入采集，并對采集的數(shù)據(jù)進行匯總和綜合分析，最終形成企業(yè)設(shè)備管理和維護的最佳方案，優(yōu)化資源配置。該平臺可以應(yīng)用于能源行業(yè)、智能監(jiān)控行業(yè)、安防行業(yè)、基于物聯(lián)網(wǎng)的傳統(tǒng)行業(yè)改造。

1.3 個性化流量應(yīng)用

“創(chuàng)意流量”是在基于云端數(shù)據(jù)分析的流量消費服務(wù)，負責(zé)對運營商流量的交易、流轉(zhuǎn)、兌換、結(jié)轉(zhuǎn)，根據(jù)不同的應(yīng)用場景，通過流量 7 個維度流量屬性（大小、時間、內(nèi)容、位置、質(zhì)量、流向、流速）的不同配置組合,面向個人用戶、家庭用戶、企業(yè)用戶及相關(guān)互聯(lián)網(wǎng)流量銷售合作伙伴開展不同類型的流量產(chǎn)品。

2、新一代智能網(wǎng)絡(luò)通訊項目

隨著 3GPP 標準 Rel15 和 Rel16 的凍結(jié)，5G 相關(guān)的通訊芯片供應(yīng)商、終端廠

家、系統(tǒng)設(shè)備供應(yīng)商從技術(shù)角度陸續(xù)公布產(chǎn)品路標和發(fā)布時間。國內(nèi)三大運營商也相繼推出技術(shù)商業(yè)白皮書，建立 5G 應(yīng)用和產(chǎn)研中心，工信部組織的 5G 測試已進入第三階段。

創(chuàng)意信息根據(jù)未來發(fā)展規(guī)劃，結(jié)合技術(shù)、市場的資源儲備和對新興 5G 技術(shù)市場、行業(yè)方向的調(diào)研分析，在公司首席科學(xué)家梁平院士牽頭的技術(shù)團隊充分論證和準備下，確定了公司在 5G 產(chǎn)業(yè)初期的定位主要集中在 5G 無線接入網(wǎng)（5G NRRAN）和移動邊緣計算（MEC）方向，具體的產(chǎn)品形態(tài)將聚焦在基于 SDR（軟件定義無線電）的 5G 小基站和開發(fā)基于多處理器環(huán)境的 MEC（移動邊緣計算）系統(tǒng)平臺。

原因在于未來業(yè)務(wù)的承載在邊緣，智能采集也在邊緣，無線技術(shù)的應(yīng)用也主要表現(xiàn)在新空口的軟件定義和計算處理上，作為技術(shù)入口和產(chǎn)品市場入口，初期聚焦 5G 小基站利于集合資源、積累人才，長期看具備技術(shù)生長和產(chǎn)品功能進一步提升的創(chuàng)新條件。