您的当前位置:首页浅析敏捷企业架构框架

浅析敏捷企业架构框架

来源:小侦探旅游网
2012年第5期 (总第121期) 信息通信 INFORMATION&COMMUNICATIONS 2O12 (Sum.No 121) 基于Nutch和Hadoop的分布式搜索引擎探究 李伟 (贵州师范大学数学与计算机科学学院,贵州贵阳550001) 摘要:分析Apache开源框架Nutch和Hadoop的系统结构,利用Nutch和Hadoop设计高效、可靠、可扩展的分布式搜索 引擎,来解决搜索引擎对海量数据的处理和存储问题。 关键词:Nutch;Hadoop;分布式搜索引擎 中图分类号:TP338.6 文献标识码:A 文章编号:1673.1131(2012)05—0120.02 0引言 随着互联网的迅速发展,Intemet上的信息量快速增长。 集中式搜索引擎从海量的信息中快速检索出用户真正需要的 信息正变得很困难,搜索引擎系统应向着具有分布式处理能 力方向发展,不断地扩展系统规模来增强系统处理信息的能 力,分布式搜索引擎应运而生。 Apache Nutch是一个用于网络搜索的开源框架,它提供 以及BigTable。因此,Hadoop也是一个能够分布式处理大规 模海量数据的软件框架。Hadoop的可靠性是因为Hadoop假 设计算元素和存储会出现故障,因为它维护多个工作数据副 本,在出现故障时可以对失败的节点重新分布处理。Hadoop 的高效性是在MapReduce的思想下,Hadoop是并行工作的, 以加快任务处理速度。Hadoop的可扩展是依赖于部署Hadoop 软件框架计算集群的规模,Hadoop的运算是可扩展的,具有处 理PB级数据的能力。 1 Apache Nutch 了运行搜索引擎所需的全部工具,包括全文搜索和Web爬虫。 Hadoop” 作为Google MapReduce技术的开源实现,借鉴了 Google的Google File System文件系统、MapReduce并行算法 Nutch 是由Java实现的,刚刚诞生开放源代@J(open.SOU. +-“—_ ”—+一”—卜”—。+一”—‘+一”—‘卜”—‘●一“ “+ +“+・・+・・+一+一+・・+・・+”+一+一+一+・・+”+・・+・・+・・+・・+一+一+一+・・+・・+・・+..+一+一+一+一+一+ 企业的主要业务流程和基本组织结构,主要包括业务架构、数 据架构、应用架构及技术架构。 系统迁移及变更主要是从现有系统到目标系统的实现。 包括制定优先次序,确定不同功能的子系统实施的先后次序; 实施计划,建立详细的实施和迁移计划,包括每个子系统的实 施途径和方法等;架构变更实施监管,根据迁移的计划进行变 更。首先,制定开发规范后,进行软件的开发。其次,软件测 试,并进行局部的调整。最后,投入使用,并提供持续的监测 (1)业务架构。将企业战略目标转换成可操作的业务模 块,表明业务如何满足其功能的需求。包括角色,确定系统的 使用者,及每个使用者的权限;流程,梳理企业的每个业务流 程,特别是主要业务流程;功能,明确系统功能,对每个功能模 块提供一个非常清晰的定义。 和管理。特别要注意,在系统迁移及变更时,一定要有企业高 层领导来实施监督。 (2)数据架构。数据架构主要是从企业整体来看数据资 源和信息流结构。包括数据对象,定义业务架构中所涉及的 所有实体对象,用数据对企业业务架构中的产品或服务进行 描述;数据存储,分析数据存储方式及过程,更新流程;数据交 换机制。确定数据传输接口及传输机制。 (3)应用架构。应用架构主要是用于支持企业业务,为业 过程管理是指在整个架构建立和系统开发过程中,都 要进行监督和管理。包括在每一阶段是否按照要求进行, 对每一阶段提交的文档进行管理;整个架构的建立是否按 照企业要求的原则进行,及每一阶段遇到的问题进行解决 备案。 务架构、数据架构及技术架构之间建立联系。包括系统层次结 构,设计可以支持企业业务的系统功能点,集合所有功能点,建 3结语 敏捷企业架构框架是一种适合中小企业的简单、快速可 立能够满足业务需求的系统架构;业务逻辑方法,确定各层次 之间数据传输及信息加工的业务逻辑方法;应用系统协作,设 计应用系统之间的关系。 用的架构理论。本文对敏捷企业架构框架进行了详细的介绍。 但每个企业都有其自身的特点,不可能存在一种通用不变的 技术或架构。因此,在进行实践操作时,要根据企业的具体情 况及要求,进行相应的调整。 (4)技术架构。技术架构是指系统的技术实现,系统 的部署和技术环境等。根据企业的业务需求和资金投入 来选择适合的架构技术,建立技术架构。包括平台,确定 参考文献: [1】赵刚.企业架构的最佳实践[J].中国计算机用户,2006(19) [2]赵刚.企业架构的发展历史与概念[J].中国计算机用户, 2006(9) 【3]IEEE Computer Society.Std 1471-2000 IEEE.Recommen— dedPractice for Architectural Description of Software Inten— 系统的开发语言、开发平台及数据库等;基础设施,确定系 统运行所需要的基础设备;实现部署。确定实现部署的解 决方案。 目标系统是对现有系统进行详细的分析后,需要同企业 业务人员和企业领导一一同确定最终的目标架构。包括根据原 则和具体的约束来确定建立目标架构的最终原则;根据架构 内容框架中的具体内容,建立目标架构的业务架构、数据架构、 应用架构及技术架构;最后,对目标架构进行验证。 l20 siveSystems[S] [4】Zachman J A.A framework for information systems archi tecture[J].IBM Systems Journa1.1987.26(3) 

因篇幅问题不能全部显示,请点此查看更多更全内容