凌云(LingCloud)云计算系统开源版本发布

2011/06/01 | 09:46 | 分类:Linux与开源 | 标签: | 2,474次阅读

  凌云(LingCloud)是中国科学院计算技术研究所分布式与云计算研究团队研发的一套云计算系统软件。它旨在解决云计算系统中异构负载支持、多租户资源租赁、系统高效整合等问题。凌云的技术特点包括:(1)异构应用模式支持——一套系统同时支持虚拟化资源租赁、高性能计算、大规模数据处理和海量存储应用模式,也支持其他应用模式直接接入;(2)单一控制点——提供单一逻辑视图,资源类型对用户透明;使用统一的用户界面和 API 进行管理,操作范围既可以面向系统,也可以面向应用;(3)无干扰的应用运行时管理——在云集中管理模式的前提下尽可能减小系统对应用运行时的干涉,保证应用性能与资源利用率,利于应用迁移和遗留系统接入;(4)多租户支持——在相同物理资源、单一系统实例上提供多租户环境,为云租户提供全局账号单一登录、安全与性能隔离,支持按使用量记账。凌云具备自主、集约、高效、安全和易用的优势,它适合构建面向政府、企业、学校与科研机构的私有云,也适合管理面向数据中心的公有云。凌云系统目前已经在国内若干家科研单位生产性使用。
  为促进中国云计算产业的发展,加强学术界与产业界的交流,研究团队决定将系统逐步开源。凌云首个开源版本已于 2011 年 5 月正式上线,以 Apache License 2.0 授权发布。凌云开源版本侧重于 IaaS 层服务,据我们了解它是国内首款开源的 IaaS 层云计算系统。开源版本的核心是凌云弹性计算基础设施软件——Molva,它将计算、存储、网络等资源抽象为可租赁的资产接入系统,按照不同的应用模式或使用方式对资产进行统一分区化组织与管理。当前版本可构建私有云,通过 web portal 进行物理机群与虚拟机群租赁管理、虚拟电器(virtual appliance)在线封装等操作。系统主体采用 SOA 架构,使用 Java 技术路线实现;虚拟化实现基于 Xen 平台,并使用 OpenNebula 管理虚拟机群。未来版本还将继续开放其他特色鲜明的功能模块。

凌云(LingCloud)云计算系统开源版本发布
凌云(LingCloud)体系结构

  凌云系统的学术论文[1]已发表于 2011 年 5 月在韩国釜山举行的第 9 届 IEEE 并行与分布式处理及应用国际会议(IEEE International Symposium on Parallel and Distributed Processing with Applications, ISPA 2011),并获得最佳论文奖(Best Paper Award)。凌云开源消息在大会的发布引起了国内外同行的关注。
  在凌云弹性计算基础设施管理平台之上,研究团队还基于 Hadoop 开发并增强了位于 PaaS 层的大规模数据处理平台,能够提供高可靠性、良好扩展性和强灵活性的大规模数据处理服务。其中,以行/列混合存储(RCFile [2])和聚簇互补索引(CCIndex [3])为代表的关键技术已成功应用于 Facebook 等国内外大型互联网企业的生产性运行系统。
  凌云开源项目网站是 http://lingcloud.org。诚挚欢迎有志于云计算的团队或个人参与凌云开发,或以其他形式与凌云合作,共同为中国云计算事业的发展贡献力量。


[1] Xiaoyi Lu, Jian Lin, Li Zha, Zhiwei Xu. Vega LingCloud: A Resource Single Leasing Point System to Support Heterogeneous Application Modes on Shared Infrastructure. The 9th IEEE International Symposium on Parallel and Distributed Processing with Applications (ISPA 2011), 2011, pp.99-106. (Best Paper Award)

[2] Yongqiang He, Rubao Lee, Yin Huai, Zheng Shao, Namit Jain, Xiaodong Zhang, Zhiwei Xu. RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems. The 27th International Conference on Data Engineering (ICDE 2011), 2011, pp.1199-1208.

[3] Yongqiang Zou, Jia Liu, Shicai Wang, Li Zha, Zhiwei Xu. CCIndex: A Complemental Clustering Index on Distributed Ordered Tables for Multi-dimensional Range Queries. The 7th IFIP International Conference on Network and Parallel Computing (NPC 2010), 2010, pp.247-261. (Finalist for Best Paper Award)

IEEE NAS 2010 参会报告

2010/08/17 | 20:49 | 分类:学术与技术活动 | 标签: | 2,526次阅读

  2010年7月15日至17日,第5届IEEE网络、体系结构与存储国际会议(The 5th IEEE International Conference on Networking, Architecture, and Storage,即IEEE NAS 2010)在我国澳门特别行政区举办。我们组在本次会议发表论文一篇,我作为第一作者参会,进行学习交流。

  会议简介
  NAS是一个关注于计算机网络、体系结构与存储系统的专业性国际学术会议,自2006年来已举办5届。该会议目前主要在国内举行,论文和参会人员主要来自中国、美国和亚太地区。本届会议共接收来自14个国家和地区的投稿110篇,录取41篇,录取率为37%。会议分为Networking、Architecture和Storage三个Track,另外邀请了2个Keynote Speech和1个Industrial Panel。

  Keynote
  本届会议的2个Keynote分别来自ClusterStor, Inc.的Dr. Peter Braam以及National Science Foundation的Dr. Almadena Chtchelkanova。
  Dr. Peter Braam是Cluster File Systems, Inc.和ClusterStor, Inc.两家公司的创始人,同时是Lustre文件系统的主要开发者。他的Keynote主题是Data Management at Scale。在这篇Keynote中,Dr. Peter Braam首先对Lustre的设计、开发与工程实践进行了一番回顾,强调了Lustre设计中的Scalability,说明了Lustre如何一步步走向成功。由于目前面向互联网的机群计算对数据规模有了新的需求,Dr. Peter Braam进而开始研究10^4~10^6节点、100PB RAM、>1EB文件系统环境下的存储问题。他介绍了目前正在开发中的Colibri存储系统。Colibri关注存储的服务质量、可诊断性和易用性,它在硬件上使用PCI Flash做Cache,基于冗余的网络保证带宽的可用性;软件上引入FOL(File Operation Log)保证分布式事务,引入ADDB(Analysis and Diagnostics Database)为系统提供管理与诊断支持。Colibri仍在演进之中,部分特性还是保密的。此外,Dr. Peter Braam还介绍了他在学术界与工业界工作的一些体会。
  Dr. Almadena Chtchelkanova是NSF的Division of Computing and Communication Foundations的Program Director。她的Keynote题为Cyber-infrastructure Framework for Scientific Discovery and Engineering Innovations,比较偏非技术性。她首先介绍了NSF近年来的一些情况,包括NSF愿意资助什么样的项目等。然后宏观地阐述了人类当今面临的科学问题对计算机科学和工程的发展提出的挑战、现有的需求和潜在的机遇等。其中对大规模数据密集型计算的论述可能与这次会议的主题最为相关,引发了听众与Dr. Almadena Chtchelkanova的热烈交流。

  Session
  这次大会的分组讨论以3个Track为主线,每个Track分为3~4个Session。其中比较热门的Session包括Sensor Networks、Distributed and Multi-core Systems、Deduplication and Object-Based Storage以及Solid State Disk Storage等。我选听了几个与本组研究方向相关的Session。其中比较有趣的论文包括:Temple University的Li Bai等人设计的加密分布式数据库,将敏感数据加密拆分保存,只在满足特定约束的条件下才能读取,同时保证了安全性与可靠性。University of Southern Mississippi的 Mais Nijim设计的多层(SSD-HDD-磁带)混合存储系统预取算法,使用排队论建模并使用真实负载实验验证了其有效性。University of Central Florida的Lu Cheng等人则在基于MapReduce的科学计算中发现了类似于请求局部性的访问模式,进而改进HDFS中的数据排布,显著提高了特定计算任务的执行效率。

  Industrial Panel
  本次会议的Industrial Panel是由来自Cisco的Jason Ding讲解他们的UCS(Unified Computing System)。这个产品我之前有过了解,也比较感兴趣。它是Cisco-EMC-VMware虚拟计算环境联盟的计算与网络基础设施之一,专为虚拟化应用优化了其内存扩展能力和网络交换能力。与EMC的存储、VMware的虚拟化平台结合,可构成完整的IaaS Cloud解决方案。虽然我不是做硬件的,但UCS高度灵活的体系结构以及Cisco提出的统一计算系统管理等概念对我们目前正在开发的云计算系统软件仍有启发意义。

  我的论文
  我在本次会议发表的论文题为VegaWarden: A Uniform User Management System for Cloud Applications,介绍的是我们组在网格与云计算系统软件开发中,对用户管理系统的设计与实现。VegaWarden解决了基于虚拟机群或物理机群的网格与云计算系统中用户管理的机密性与易用性问题。一位来自德国的听众对我的性能评测数据感兴趣,问我“为什么有的接口用C实现效率高,有的接口用Java实现效率高”。我向他解释了原因:效率与接口消息复杂度以及数据结构对应的序列化/反序列化方法相关。我向他推荐了我们组去年的一篇与此问题息息相关的论文:ICOMC: Invocation Complexity Of Multi-Language Clients for Classified Web Services and its Impact on Large Scale SOA Applications。
  我的论文所属的Session(Not Quite Wireless Network)在本次会议中并不热门,因此听众不多。但富有经验的Session Chair还是很好地引导了作者与听众间的交流,让我们有机会了解各自从事的研究课题。

  澳门印象
  会议为我们安排了一天参观旅游时间。澳门城市规模很小,我与同行的计算所师兄阮元游览了澳门诸多知名景点,穿越了若干大街小巷,品尝了多种风味小吃。澳门中西文化的和谐共生给我们留下了深刻的印象。明清时期建筑的寺庙、教堂,民国经营至今的老商铺、老码头,大街上不同肤色、不同母语的人群,在时间和空间上均使人倍感穿越。

  感想
  NAS会议的学术影响力虽然略逊一筹,但作为一个起点,对我来说还是有相当的意义。我了解了国内外同行的一些工作,与他们讨论了不少有趣的问题,还借此结交了新朋友。会议分组报告过程也让我感觉到自己在英语表达和内容组织方面的不足,这是我未来需要学习和改进的。

Serial comma——有争议的逗号

2009/09/11 | 21:25 | 分类:文科类文档 | 标签: | 2,929次阅读

  昨天读师兄的论文时,发现他多次使用“A, B, and C”这样的并列形式。我觉得有点奇怪,记得中学英语老师教的都是:“并列的几个词中,最后两个用 and/or 连接,and/or 前面不加逗号”。我向师兄询问其中的理由,他说很多学术性文章都是这样用的,他也是从他的师兄那里知道这个用法的。师兄打开 Google 的“老三篇”向我证实了这种用法的权威性。我确实很怀疑我的英语能力,平时看论文时能把意思看懂就不错了,这些语法细节没有太多地注意过;但发现问题了还是要刨根问底的,所谓学术用法或权威用法必须有一定的依据才能将我说服。于是 Google 之,找到了逗号这种用法的相关说法。
  根据 Wikipedia 上的条目,在并列结构的 and/or 之前插入的逗号称为“Serial comma”(或 Oxford comma、Harvard comma)。这是一种有颇争议的语法,支持的观点认为 Serial comma 很多时候可以避免歧义,同时使句子具有韵律感;而反对的观点则认为 Serial comma 在不少情况下会引入歧义,同时指责这种用法有悖习惯。该条目列出了 Serial comma 消解歧义和引发歧义的几个例子,同时给出了并列结构中歧义出现的一般性规则。从中我们也了解到,各英语国家不同的政府、学术、出版机构在其规范文件中对 Serial comma 的态度也是不同的。在不引发歧义的大前提下,有的机构(如牛津大学出版社)推崇 Serial comma,而有的机构(如剑桥大学出版社)则要求作者避免这种用法。
  另外我查证了一下计算机科学方面的相关规范。IEEE 的《Preparation of Papers for IEEE TRANSACTIONS and JOURNALS》明确说明“The serial comma is preferred: ‘A, B, and C’ instead of ‘A, B and C’”,ACM 的部分会议、杂志也有类似的要求。既然本领域的两大巨头都要求使用 Serial comma,那么师兄的说法应该是有道理的。仔细阅读了一下 IEEE 和 ACM 的写作规范,发现自己平时没注意到的东西还真不少。虚心学习之,以免这些细节问题成为飘进审稿者眼中的沙子。