Google文件系统展示了一个使用普通硬件支持大规模数据处理的系统的特质。虽然一些设计要点都是针对 我们的特殊的需要定制的，但是还是有很多特性适用于类似规模的和成本的数据处理任务。
首先，我们根据我们当前的和可预期的将来的应用规模和技术环境来评估传统的文件系统的特性。我们的 评估结果将我们引导到一个使用完全不同于传统的设计思路上。根据我们的设计思路，我们认为组件失效 是常态而不是异常，针对采用追加方式（有可能是并发追加）写入、然后再读取（通常序列化读取）的大 文件进行优化，以及扩展标准文件系统接口、放松接口限制来改进整个系统。
我们系统通过持续监控，复制关键数据，快速和自动恢复提供灾难冗余。Chunk复制使得我们可以对 Chunk服务器的失效进行容错。高频率的组件失效要求系统具备在线修复机制，能够周期性的、透明的修 复损坏的数据，也能够第一时间重新建立丢失的副本。此外，我们使用Checksum在磁盘或者IDE子系统级 别检测数据损坏，在这样磁盘数量惊人的大系统中，损坏率是相当高的。
我们的设计保证了在有大量的并发读写操作时能够提供很高的合计吞吐量。我们通过分离控制流和数据流 来实现这个目标，控制流在Master服务器处理，而数据流在Chunk服务器和客户端处理。当一般的操作涉 及到Master服务器时，由于GFS选择的Chunk尺寸较大(alex注：从而减小了元数据的大小)，以及通过 Chunk Lease将控制权限移交给主副本，这些措施将Master服务器的负担降到最低。这使得一个简单、中 心的Master不会成为成为瓶颈。我们相信我们对网络协议栈的优化可以提升当前对于每客户端的写入吞吐 量限制。
GFS成功的实现了我们对存储的需求，在Google内部，无论是作为研究和开发的存储平台，还是作为生产 系统的数据处理平台，都得到了广泛的应用。它是我们持续创新和处理整个WEB范围内的难题的一个重要 工具。
致谢
We wish to thankt he following people for their contributions to the system or the paper.
Brain Bershad (our shepherd) and the anonymous reviewers gave us valuable comments and suggestions. Anurag Acharya, Jeff Dean, and David des-Jardins contributed to the early design. Fay Chang worked on comparison of replicas across chunkservers. Guy Edjlali worked on storage quota. Markus Gutschke worked on a testing frameworkan d security enhancements. David
Kramer worked on performance enhancements. Fay Chang, Urs Hoelzle, Max Ibel, Sharon Perl, Rob Pike, and Debby Wallach commented on earlier drafts of the paper. Many of our colleagues at Google bravely trusted their data to a new file system and gave us useful feedback. Yoshka helped with early testing.
参考
[1] Thomas Anderson, Michael Dahlin, Jeanna Neefe, David Patterson, Drew Roselli, and Randolph Wang. Serverless networkfil e systems. In Proceedings of the 15th ACM Symposium on Operating System Principles, pages 109–126, Copper Mountain Resort, Colorado, December 1995.
[2] Remzi H. Arpaci-Dusseau, Eric Anderson, Noah Treuhaft, David E. Culler, Joseph M.
Hellerstein, David Patterson, and Kathy Yelick. Cluster I/O with River: Making the fast case common. In Proceedings of the Sixth Workshop on Input/Output in Parallel and Distributed Systems (IOPADS ’99), pages 10–22, Atlanta, Georgia, May 1999.
[3] Luis-Felipe Cabrera and Darrell D. E. Long. Swift: Using distributed disks triping to provide high I/O data rates. Computer Systems, 4(4):405–436, 1991.
[4] Garth A. Gibson, David F. Nagle, Khalil Amiri, Jeff Butler, Fay W. Chang, Howard Gobioff, Charles Hardin, ErikR iedel, David Rochberg, and Jim Zelenka. A cost-effective,
high-bandwidth storage architecture. In Proceedings of the 8th Architectural Support for Programming Languages and Operating Systems, pages 92–103, San Jose, California, October 1998.
[5] John Howard, Michael Kazar, Sherri Menees, David Nichols, Mahadev Satyanarayanan, Robert Sidebotham, and Michael West. Scale and performance in a distributed file system.
ACM Transactions on Computer Systems, 6(1):51–81, February 1988.
[6] InterMezzo. http://www.inter-mezzo.org, 2003.
[7] Barbara Liskov, Sanjay Ghemawat, Robert Gruber, Paul Johnson, Liuba Shrira, and Michael Williams. Replication in the Harp file system. In 13th Symposium on Operating System Principles, pages 226–238, Pacific Grove, CA, October 1991.
[8] Lustre. http://www.lustreorg, 2003.
[9] David A. Patterson, Garth A. Gibson, and Randy H. Katz. A case for redundant arrays of inexpensive disks (RAID). In Proceedings of the 1988 ACM SIGMOD International Conference on Management of Data, pages 109–116, Chicago, Illinois, September 1988.
[10] FrankS chmuck and Roger Haskin. GPFS: A shared-diskfi le system for large computing clusters. In Proceedings of the First USENIX Conference on File and Storage Technologies, pages 231–244, Monterey, California, January 2002.
[11] Steven R. Soltis, Thomas M. Ruwart, and Matthew T.O’Keefe. The Gobal File System. In Proceedings of the Fifth NASA Goddard Space Flight Center Conference on Mass Storage Systems and Technologies, College Park, Maryland, September 1996.
[12] Chandramohan A. Thekkath, Timothy Mann, and Edward K. Lee. Frangipani: A scalable distributed file system. In Proceedings of the 16th ACM Symposium on Operating System Principles, pages 224–237, Saint-Malo, France, October 1997
分类: Google论文 标签:
MuleSoft公司的CloudCat支持在Amazon EC2和GoGrid的云 上部署Web应用
2010年3月27日 blademaster 没有评论
作者 Srini Penchikala 译者 侯伯薇 发布于 2010年3月22日 上午8时33分
CloudCat是一种作为Apache Tomcat的servlet容器的云服务产品，它提供了虚拟镜像，允许开发者和 QA团队在云环境中构建和测试web应用程序。MuleSoft，也就是创建了Mule ESB的公司，最近发布了 CloudCat产品，它可以被用做在物理内部服务器上托管Tomcat的一种选择。MuleSoft还宣布，与云基础 架构托管提供商GoGrid达成合作伙伴关系，从而以云服务的形式来提供CloudCat。他们之间的组合为开 发人员提供了一种方式，可以同时提供云计算和开源软件的好处。
当还没有CloudCat的时候，在云中使用Apache Tomcat除了要安装其它必要的软件之外，还需要对 Tomcat进行手动的安装和配置。通过在CloudCat中使用预配置的Apache Tomcat镜像，开发者和操作 团队就可以在云中部署和测试他们的web应用程序，而不需要投资购买并存放物理服务器。目前CloudCat 已经在Amazon Elastic Compute Cloud (Amazon EC2 AMI) 和GoGrid（GoGrid GSI）的云环境中以 云服务的形式提供。它包括了运行在Linux（在GoGrid使用Redhat，EC2上使用Ubuntu）和MySQL上 的Apache Tomcat 6服务器。
Cloudcat服务器的主要特性包括：
为开发和测试Tomcat应用程序提供了Cloudcat。
使用MuleSoft的Tcat服务控制台提供了Cloudcat运行时的诊断工具 与Apache Maven集成，在开发和测试环境之间提供持续集成 与Tcat服务器的REST API集成，提供管理和控制
针对Tomcat应用程序的请求式运行时能力以及远程重启的能力。
InfoQ对Mulesoft的产品管理主管Sateesh Narahari进行采访，向其询问了关于Cloudcat服务器的发布 以及新的与GoGrid之间和合作伙伴关系的问题。
InfoQ：发布CloudCat的主要动机是什么呢？
在Mulesoft，我们拥有唯一的主要动机，它推动了所有一切工作，那就是创建出在企业中和在 云中都易于使用的中间件。这次，我们专注于Apache Tomcat，那是我们最喜欢的Web应用
程序服务器。在开发中Tomcat很可靠，并且应用广泛，但是对于IT管理员来说，却很难在生产 环境中来管理，因为缺少好的操作工具和商业化的技术支持。当我们想在各种公有云中找到干 净的、即时的对Tomcat的支持镜像时，发现根本没有。而CloudCat正是我们填补该项市场空 白的初次尝试。通过使用我们的最佳实践和Tomcat的技术秘诀，还有我们在Amazon EC2和 GoGrid提供工具以及为Tcat服务器管理服务提供附加价值的经验，我们相信CloudCat会得到 试图寻找在云上部署应用的企业的青睐。
InfoQ：CloudCat能够被用于在生产环境中托管web应用程序吗，还是仅限于在云中在开发/QA环境中测 试应用程序？
CloudCat能够用于开发/测试环境，也可以用于生产环境。CloudCat包含了已经验证过的初始 化脚本，可以为IT操作员提供可靠和合适的重启以及服务器控制。
InfoQ：CloudCat服务器环境也支持负载平衡吗？在CloudCat中故障排除是怎么做的呢？
CloudCat可以与已经由云提供商所提供的负载平衡解决方案协同工作。我们在CloudCat自身 中不提供负载平衡的能力，但是可以与基础架构提供的能力协同工作。例如，用户可以在EC2 中使用Elastic负载平衡。
InfoQ：开发者和QA团队成员能使用新的CloudCat服务器来做性能测试吗？
可以。因为我们将CloudCat集成到任何其他云基础架构的提供过程中，这样就节省了提供新的 CloudCat实例的时间，并且能够满足开发/QA团队成员使用CloudCat实例做性能测试或者模 拟高负载场景的需要。当与Amazon EC2协同工作的时候，CloudCat实例还能够通过可选的 EC 2插件从Tcat服务控制台直接创建。
InfoQ：对于开发、单元和集成测试、调试、应用程序概要分析等等，我们为想要在CloudCat环境部署应 用程序的开发者提供了什么样的工具作为支持呢？
在CloudCat中可以直接使用Tcat服务器，而没有任何附加费用。Tcat服务器为运行在Tomcat 实例上的web应用程序提供了深层次的诊断和调试能力。我们为CloudCat实例提供了这些能 力，同时也在Tcat服务控制台提供了同样的能力。此外，Tcat服务器还提供了部署的能力，它 使得将应用程序从开发环境迁移到测试环境最终到生产环境变得非常容易。
InfoQ：在新的CloudCat服务器上提供了什么样的监控工具呢？
Cloudcat实例可以从默认的云监控工具中监控，或者还可以从Tcat服务控制台监控。当 前，Cloudcat不提供任何警告的能力，但是任何行业领先的支持云的监控工具都能够监控 Cloudcat服务实例。
InfoQ：关于新特性，Cloudcat服务器产品将来的路线图是怎样的呢？
Cloudcat会始终是MuleSoft的战略投资所在。我们期望拓展Amazon EC2和GoGrid之外的云 提供商。有了这个版本的Cloudcat，我们已经获得了大量用户反馈，那会对产品的路线图产生 影响。我们还在寻找更易于在私有云中使用Cloudcat的方法。我们将会在未来和合作伙伴一起 在这个领域发布更激动人心的产品。
查看英文原文：MuleSoft’s CloudCat Supports Web Application Deployment on Amazon EC2 and GoGrid Clouds
分类: 小道消息 标签: