DOA的主要内容

DOA主要包括以下内容:面向数据架构的机制、面向数据架构的组成、数据注册中心的机制、数据权限中心的机制、数据异常控制中心的机制、数据应用单元的机制。

(1)面向数据架构的机制

包括:以数据为导向,以数据为中心的指导思想;大数据时代对架构的需求;数据的定义和分类;数据的载体及其与云计算的关系;数据生态系统的含义和DOA的作用;DOA与数据和应用的关系;DOA的数据管理和服务模式;DOA与应用业务逻辑和数据逻辑的关系;DOA下数据安全的基本原则:等等。以数据为导向,以数据为中心的指导思想。数据是有生命的,有生命周期,生命过程需要完整记录。数据是有属性的,比如安全、身份、时间、空间。数据要自然加密,披上盔甲,加密呈现,加密级别和深度不同。数据独立于系统,数据是应用的基础,独立于具体的硬件环境和软件环境。相同的数据可以支持不同的应用程序。数据访问和应用基于授权、特定访问者、特定场合(环境)、特定时间(时段)、数据使用和用户适合网络安全的AAA(授权、认证、记账)机制。数据在存储和传输时被加密(数据状态),在授权后被解密以供使用(应用状态)。数据系统是生态的、变化的和发展的、可持续的、自我成长的、自我管理的和自我适应的。虚拟世界是由数据组成的,是真实世界的映射。建立数据生态系统,需要面对数据,以数据为核心。数据生态系统包括各种生态应用,是“生长在肥沃数据土壤上的茂盛应用林”。数据生态系统需要构建一个逻辑数据资源池,支持大数据平台和碎片化、不断增长的应用,支持数据共享和系统可扩展性。基于数据:万物可测,万物可联,万物可操作,万物可实现。

大数据时代对架构的需求。大数据时代,我们已经从信息技术(IT)时代走向了DT时代,数据技术(DT)。从关注技术(T)到关注信息(I)再到关注数据(D)。信息因人而异,功利利己,强调我,信息技术为己;数据是通用的,可以产生信息,是公益的,利他的,强调的是我们,数据技术是给每个人的。马云指出,人类已经从IT时代走向了DT时代。IT时代以自我控制、自我管理为主,而DT时代则是服务大众、激发生产力的技术。数据技术包括信息技术,范围更广,内涵更丰富;信息技术更具体,更有针对性。数据系统包括信息系统,信息系统是数据系统的子集。云计算为数据技术时代的到来提供了可能:云存储拥有几乎无限的海量数据存储能力。在数据技术时代,我们需要新的世界观,即数据世界观和数据安全观。数据技术时代,即大数据时代,需要一个合适的软件架构,支持数据安全,支持所有业务数据化,管理海量、异构、复杂、变化、爆炸式增长的大数据,为挖掘有价值的信息提供支持。现有的系统架构大多是小数据时代遗留和发展的技术架构,现有的安全架构也是建立在小数据时代的技术架构之上。从信息技术(小数据时代)和信息安全技术发展而来的技术已经不能满足大数据时代的要求。Hadoop、MapReduce等技术只是解决了大数据静态和海量问题的一部分。需要重新审视数据,从数据的角度审视技术、架构、安全体系。

数据的定义和分类。百度百科和维基百科分别给出的“数据”的定义是:“数据是数值,即我们通过观察、实验或计算得到的结果。数据有很多种,最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、验证等。”数据,或称资料,是指描述事物的符号记录,可以定义为有意义的实体,它涉及到事物的存在形式。它是对一组事件的离散的、客观的描述,是构成信息和知识的原始材料。数据可以分为模拟数据和数字数据。数据是指经过计算机处理的‘原材料’,如图形、声音、文字、数字、字符、符号等。大数据时代我们研究的数据是广义数据:是现实世界映射到虚拟世界的内容。除了我们理解的计算机可以直接处理的数据,还可以是各种可以注册的东西:比如设备、服务、app、人、物等等。这就需要研究大数据时代的数据定义或者广义数据定义。数据可以从不同角度进行分类:结构化/非结构化数据、关系数据库/NoSQL、动态数据/静态数据、变化数据/历史数据、简单数据/复杂数据、自有数据/* *共享数据/公共数据、不断变化和积累的大数据等。

数据的载体及其与云计算的关系。云计算可以分为两种类型:弹性计算云(EC2)和亚马逊的简单存储服务(S3)。传统上,架构分为三层IaaS,基础设施即服务(IaaS),平台即服务(PaaS) SaaS,软件即服务(SaaS)。本质上,云计算是一种云服务,但也应该有一个重要的DaaS层,即数据即服务(DAAS)。从数据的角度来看,云计算更多的是数据存储服务,也就是IaaS和DaaS。它通过分布式和虚拟化技术,整合基础设施和数据(I+D),为最终用户提供灵活、可测量、个性化的数据和计算服务,可简称为“云”。一切都在云端,包括所有的基础设施,比如网络、服务器、存储设备,更重要的是所有的数据,网络世界和物理世界的数据。云是以数据来定义的,可以分为存储云、网络云、物理云。存储云数据的例子:基础数据、图像数据、历史数据、行业数据等。网络云数据的例子:QQ、微信、百度、博客、短信、淘宝、邮箱、APP软件等。物理云数据的例子:降雨、温度、视频、PM2.5、交通流量、设备、人员等。数据生态系统的含义和DOA的作用。数据生态系统是“生长在肥沃数据土壤上的茂盛应用森林”,DOA是对数据和应用之间可持续发展关系的描述。建立数据生态系统的关键是建立一个有效的机制,这就是面向数据的架构(DOA)。DOA是一个信息系统的架构,针对任何数据类型,基于云服务的概念,独立于具体的硬件平台和软件系统。以数据为核心,以数据为导向的理念,建立构建复杂信息系统的机制,以数据标识作为数据的识别和定位标志,建立数据的分类体系和访问权限,通过数据登记和注册中心实现数据管理和交换,可以由简到繁、由易到难建立各种数据功能单元。DOA与数据和应用的关系。人类通过包括计算机网络在内的计算机软硬件系统建立了虚拟世界,并通过虚拟世界认识、构建、改造和适应现实世界,从而产生了大量的数据和各种应用。DOA是在云计算支持的数据和各种应用之间建立的一种机制和平台,可以分别对数据和应用进行管理和服务,并以这种机制和平台的相对不变性形成一个生态系统来应对不断变化的数据和应用。这种关系和机制也可以实现从实时数据到实时应用的支持。由数据、DOA平台、应用组成的三层架构如右图所示。

DOA的数据管理和服务模式。DOA面对的数据是广义数据。管理和服务广义数据,首先要解决各类数据的统一识别和管理问题。其次要考虑数据的价值保护,管理数据的属性,管理数据的权限和授权。再次,在分布式应用和数据冗余的情况下,要考虑数据的一致性。据此提出了数据注册中心(DRC)、数据许可中心(DAC)和数据异常控制中心(DEC),它们相互配合,实现对各类数据的统一管理,为应用提供数据服务。

DOA与应用程序的业务逻辑和数据逻辑的关系。传统的应用信息系统建设逻辑大多是面向业务的逻辑,即根据需求,按照业务流程来分析需求,并就此事设计开发系统。根据业务逻辑,需要根据业务流程的要求设计信息处理流程和数据结构。优点是信息流和业务流相对一致,缺点是未来一旦业务流发生变化,信息处理流程和数据结构也会随之改变,给系统开发和维护带来不可预知的困难。DOA要求面向数据,即应用程序的业务逻辑要转化为数据逻辑。这样就要求把业务流程按照访问数据资源池的周期分类成小的面向数据的流程,最后把这些面向数据的流程整合成面向业务的流程,完成应用信息系统的开发。这样做的好处是,一旦构建了数据资源池,构建面向数据的业务流程将更加方便。而且如果业务流程发生变化,并不会影响整个数据逻辑和数据流程,只需要增加变化的部分或者调整一些数据流程来适应新的变化。缺点是,要把业务逻辑转换成数据逻辑,你需要做一个思想上的转变。

DOA下数据安全的基本原则。传统的信息安全,首先是建立一个封闭的、相对安全的环境,通过各种手段来保证这个封闭的环境是安全的或者可信的,但是里面的数据大多是“裸露”的。一旦有不速之客通过漏洞进入这个环境,“赤裸裸”的数据将面临巨大的危险。在互联网和云计算的开放环境中,按照信息安全策略保护数据将面临巨大的挑战。

DOA面向数据,以数据为中心。数据是有属性的,包括安全属性、身份属性、时间属性和空间属性。明确数据的拥有者、朋友和敌人。从数据的角度考虑安全问题,要保证数据的完整性、保密性和可用性。数据应该“自然加密并授权使用”。数据具有自我保护的功能,需要穿上盔甲,以加密的方式呈现,加密的级别和深度不同。数据的使用应该得到授权。数据有两种状态:存储和传输时的数据状态和授权使用时的应用状态。“数据状态”是加密状态,“应用状态”是解密状态。一旦“应用”完成或离开应用环境,数据应立即“改变”为加密的“数据状态”。DOA提供了加解密机制和授权使用机制,使得数据在存储和传输过程中不可访问和可使用,而授权用户在通过应用程序访问数据或使用数据时是透明的,也就是说他们感受不到数据的加解密过程。因此,DOA下的数据安全策略是“数据状态”数据既适用于封闭环境,也适用于开放环境,“应用状态”数据只适用于“封闭”环境。这样,数据安全问题就分解为几个关键问题,如数据加密和授权机制、数据自我保护和自动加解密机制、应用环境安全等。

(2)面向数据架构的组成

包括DOA的组成和完备性;数据注册中心(DRC)的基本功能;数据权利中心(DAC)的基本功能;数据异常控制中心(DEC)的基本功能;dau的基本功能;面向数据的软件工程原理初探:等等。

DOA的组成和完整性。DOA是建立在云计算环境上的软件架构,它不涉及对特定硬件的直接控制和访问。作为协调数据和应用关系、构建数据生态系统的机制,DOA应该具有对广义数据和各种应用进行综合管理和服务的功能。最初考虑的DOA组件包括:用于注册和管理一般化和各种数据的数据注册中心(DRC),用于管理数据授权、认证和计费(授权和访问过程记录)的数据许可中心(DAC),用于管理数据一致性的数据异常控制中心(DEC),以及用于管理各种应用和提供服务的数据应用单元(DAUs)。这些中心和应用单元构成了DOA的基本框架,它们既相互独立又相互联系,形成了一个有机的整体。独立性体现在它们不同的任务和职能上;相互关系反映在它们的相互依赖中。例如DAC、DEC和dau都依赖于DRC。

数据注册中心(DRC)的基本功能。数据注册中心注册各类数据和广义数据,形成一个逻辑数据资源池,方便应用程序访问数据。其功能涉及但不限于:数据注册信息的定义、数据属性信息、数据分类、元数据标准、元数据分类、不同类型数据的注册方法、数据索引、元数据索引、数据检索、广义数据模式识别、分布式部署、数据注册内容的按需自适应机制、数据生成的自动注册机制、历史数据注册和管理等。

数据权利中心(DAC)的基本功能。数据权限中心对数据进行权限管理,其功能涉及但不限于:数据安全属性定义、数据合法性认证、数据访问权限定义、用户权限认证、应用授权、用户授权、数据授权和PKI、计费算法和机制、数据透明加解密机制、高效数据加解密算法等。

数据异常控制中心的基本功能。数据异常控制中心处理分布式环境中存在数据冗余时的数据一致性,其功能涉及但不限于:数据维护、自适应管理、异常检测和处理、巡检、异常和冲突发现、同步处理、冗余处理、负载均衡等。数据应用单元的基本功能。数据应用单元是数据资源Ikenoe中的一系列应用单元模块。对于应用管理和服务来说,由积木和类似于基于组件的软件开发模型(COA)的应用编程接口(API)调用到“数据驱动的应用”,快速满足用户的各种应用功能需求。其功能应基于各种具体应用的需求,涉及但不限于:根据不同数据类型提供不同功能的数据功能单元(DFU)、以推送方式提供服务的数据服务单元(DSU)、数据加密单元(DEU)、数据授权调用单元(DIU)、数据应用组合单元(DCU)、数据可视化单元(DVU)、数据处理单元(DPU)等。

面向数据的软件工程原理初探。面向数据的体系结构DOA为软件开发提供了一种新的方法。与传统的面向业务的软件工程不同,新的面向数据的软件工程具有新的生命力。将开展以下研究:具有生命周期的应用软件与数据生态系统的关系;业务逻辑向数据逻辑转化的发展过程研究:逻辑数据资源库建设及运维机制研究:基于成长数据生态系统的应用软件开发模式研究:基于DAUs的面向数据的应用软件快速构建机制研究:现有系统的数据集成方法研究;等等。

(3)数据注册中心(DRC)机制

包括数据登记内容和元数据标准定义;数据属性信息定义;数据分类和分类标准;数据注册方法;元数据索引和检索方法;广义数据模式识别;数据注册中心的分布式部署模式;数据注册内容的按需自适应机制;数据生成的自动注册机制;历史数据的登记和管理;等等。

数据登记内容和元数据标准的定义。广义的数据包括存储在云端的各种数据,在互联网中传输的实时变化的数据,以及物理世界中存在的物理对象和状态所表示的数据。如果用云的概念来表示数据,就是存储云(数据)、网络云(数据)、物理云(数据)。对这些数据进行登记,需要根据这些数据的特点定义登记内容,最重要的是指出这些数据的名称和位置,作为统一管理数据的唯一标识。此外,还需要有数据描述、数据属性、数据权限等内容。这些内容都体现在元数据中,需要制定统一的元数据标准进行数据登记。数据属性信息定义。数据是有属性的,不同的数据有不同的属性。数据是有价值的,DRC需要管理数据的* * *本质。比如数据所有者、数据生命周期、数据权限、数据状态、数据性质、数据合法性、数据质量等。

数据分类和分类标准。数据可以分为不同的类别和子类,分类的标准、方法、类别和应用都需要研究。为了提高数据检索的效率,有必要对元数据进行进一步的分类。数据注册方法。根据不同的数据类型和数据属性,应采用合适的数据注册方法,可分为手动注册、半自动注册和全自动注册。在数据注册的同时,建立数据索引。应用程序生成数据,应用程序生成的数据应该自动注册。

元数据索引和检索方法。数据注册中心为应用程序提供数据访问服务,访问效率取决于索引和检索方法。由于数据注册中心的体量可以非常大,根据不同的系统,其规模可以达到TB级甚至PB级。因此,建立高效的元数据索引和检索机制,研究高效的索引和检索方法是非常必要的。广义数据模式识别。数据注册中心注册的内容可以是广义的数据,如物理世界中的实体。为了快速检索这些一般化的数据,我们需要采用新的识别技术。比如基于模糊理论的模式识别技术,可以用来建立指标等方法。数据注册中心的分布式部署模式。数据登记中心的数据虽然是数据的登记信息,但相对于实物数据来说,其体积约占千分之一。当物理数据达到PB级别时,注册中心的数据将达到TB级别。因此,数据注册中心也应该部署在云分布式环境中。为了高效运行数据注册中心,有必要对其分布式部署模式进行研究。

(4)数据权限中心(DAC)机制

DOA意在从架构的角度设计未来的数据系统,包括数据安全。DAC通过管理数据权限来保护数据,并提供授权使用数据的机制,这也可以保护数据所有者的利益。因此,DAC的机制涉及但不限于:开放环境下数据安全的基础理论;数据的状态机制;数据固有的安全属性;数据访问控制权限和管理机制;数据合法性的鉴定;数据权威中心的功能和运行机制;用户认证机制和认证机构(CA)技术;数据授权机制及其与PKI、公钥基础设施(PKI)的关系;数据使用记录及其追溯机制;会计机制;多级授权和认证机制;针对单个数据和批量数据或大数据量的授权机制;关键系统;数据透明的加密和解密策略及算法;加密和解密效率与安全性和授权过程之间的折衷;传统数据传输加密技术的适应性;环境安全的应用;识别非法使用数据和数字水印技术;与数据所有者的权利和知识产权有关的问题;等等。

开放环境下数据安全的基本理论。在开放的环境下,要让数据本身安全、使用安全,首先要对数据进行加密,加密应该具有“自然加密、授权使用”的特点。让我们假设数据在使用时是未加密的,因此数据在不使用时应该保持加密。因此,所设置的数据具有两种状态:当其被存储和传输时处于加密状态的数据状态,以及当其被授权使用时处于解密状态的应用状态。作为一种机制,DOA应该确保数据可以在这两种状态下与授权和加密解密技术相关联。目前,数据安全的理论和方法体系、AAA技术、CA技术、PKI技术、密钥系统、加解密技术,以及网络安全技术、系统安全技术、应用环境安全技术等。都是适用的,但要从面向数据、以数据为中心的角度进行重组,从数据安全理念、理论、方法、保护数据的应用机制等方面进行适应性研究和改进。

数据的状态机制。可以从面向对象的角度来查看数据。数据除了自身的价值,还有内在属性和外在状态。对外,数据应该有两种状态:数据状态和应用状态。需要研究数据状态的定义、设置和获取,数据状态的转换,数据状态的作用,数据状态对环境的要求,数据状态与数据加解密的关系,作用机制。

数据固有的安全属性。数据的内部属性包括关键的数据安全属性。要研究定义、内容、访问权限、数据安全描述、数据状态、数据所有者(数据所有者)、朋友(授权者)、陌生人(未授权者)、敌人(未授权者)、数据读写权限、数据附加历史、数据数字水印和防伪标识、数据授权记录等。

数据访问控制权限和管理机制。数据访问控制依赖于数据安全属性,并与数据加密和解密密切相关。过去,数据访问控制权限由软件控制,access软件控制数据访问,而数据本身可能加密,也可能不加密。当另一个软件访问数据时,可能会绕过权限控制,比如未经授权访问数据,导致非法访问数据和泄露重要信息。这项研究是基于这样一个概念,即数据本身是加密的,并且是授权使用的。数据访问是基于数据的安全属性和访问者的身份,然后通过应用授权和用户授权来确定数据授权。根据授权方式和应用环境,提供解密密钥或解密算法,实现数据的安全使用。它涉及数据的使用,以及数据的读写权、数据的修改权、数据的添加权、数据的获取和数据所有者的确定,以及根据数据所有者的身份信息对数据进行自动加密和自动登记。根据不同的应用类型、不同的应用场景、不同的用户表达方式,这种数据访问控制方法和权限管理机制还需要进一步研究。

数据中心的功能和运行机制。数据权限中心负责数据的安全保护,数据使用的授权管理和应用安全管理。因此,数据权限中心要对数据的安全属性进行管理,对数据的合法性进行识别,对数据的访问权限进行设置,对用户和应用进行认证,对数据的用户和应用进行授权,对授权过程进行记录和核算,对数据进行加密和解密等等。数据权限中心应与数据登记中心合作,涉及数据属性和权利的数据需要在数据登记中心进行登记和注册。数据授权中心将根据注册信息对数据进行监控、授权、收回权限、认证、记账、加密和解密,并注册新的数据安全属性。对内,使用数据的过程就是数据授权和扩大授权范围的过程,而会计就是这些授权的记录,可以为后续的商业应用打下基础。未来任何一个DOA平台,不仅要提供数据管理和服务,还要具备数据业务运营的基础能力。

用户认证机制和证书授权(CA)技术。数据应用程序授权基于用户身份验证。用户认证与用户的属性有关,认证过程就是用户注册、管理和维护的过程。注册用户信息是数据注册中心(DRC)的重要数据注册内容,也是数据权限中心(DAC)需要的重要数据。用户认证技术可以采用传统的CA技术,需要第三方权威中心或本地中心向用户颁发用户证书(私钥)。同时,通过数据安全属性建立数据与用户的关系。

数据授权机制及其与公钥基础设施的关系。要授权用户使用数据,需要将数据所有者(数据的所有者)的公钥加密的数据转换成授权用户(数据的朋友)的公钥加密的数据,然后提供给授权用户下载使用。当遇到大数据量时,为了提高加解密效率,应该是密钥对数据进行对称加密,而不是数据本身。数据权限中心(DAC)应提供基于PKI的加密和解密授权机制和方法。

(5)数据异常控制中心机制

DEC管理数据资源池(数据注册中心注册的数据)的一致性,维护数据资源,保证数据的唯一性和一致性。因此,DEC的机制涉及但不限于:数据一致性维护机制、数据动态变化自适应管理机制、数据一致性异常检测和处理机制、数据巡视算法、数据异常和冲突发现算法、数据同步处理算法、数据冗余处理算法、热数据自动复制技术、冷数据自动删除技术、系统负载均衡等。

(6)数据应用单元(DAUs)机制

DAUs在数据注册中心DRC和数据权限中心DAC的基础上,建立了一系列的应用单元模块,通过类似于基于组件的软件开发模式(COA)的构建块和调用应用程序接口(API)来“数据驱动应用”,快速满足用户的各种应用功能需求,管理和服务各种应用。因此,DAUs的机制涉及但不限于:数据应用单元结构规范、程序调用参数规范、数据访问规范、应用注册管理规范、应用扩展机制、授权数据访问机制、非授权数据访问标识、数据功能单元、数据服务单元、数据加密解密单元、数据授权调用单元、数据应用组合单元、数据可视化单元、数据处理单元等。