`
yettie
  • 浏览: 195510 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MongoDB性能评估 32位及64位

阅读更多
自测1:
前提:未作任何配置优化。直接启动mongod服务。

32位机器。

1》插入:100万条简单数据

耗时:18秒   硬盘占用:464M



2》插入:500万条简单数据

Cpu占用:25%左右,mongod进程内存占用3.17M.  耗时:96秒   硬盘占用:976M



3》插入:1000万条简单数据

Cpu占用:23%左右,mongod进程内存占用5M-6M.  耗时: 无结果   硬盘占用:1.6G

最终结果:出错。两次测试都出错。MapViewOfFile failed



文件写入测试:4>  Java单个客户端连接,写入文件的速度大约 70M/秒。(数据库在本地)

       Case1: 425M 耗时:6秒, 硬盘空间占用 976M。

       Case2: 425M  耗时:5秒,此时硬盘占用1.45G。

            Case3: 425M  耗时:6秒,此时硬盘占用1.95G。(在这里后台报错,数据没有完全写入,MapViewOfFile failed)。

                  Case4:425M 耗时:10秒,此时硬盘空间不再增长,保持在1.95G。后台同样报错。(Fri Feb 25 09:57:38 [conn8] MapViewOfFile failed D:/mongodb/data/db/db_test_005.

5 errno:0 鎿嶄綔鎴愬姛瀹屾垚銆?0)



自测2:

前提:前提:未作任何配置优化。直接启动mongod服务。

64位机器 CentOS,远程数据库(局域网内网)

1》插入:100万条简单数据

耗时:15秒   硬盘占用:464M

2》插入:500万条简单数据

mongod进程内存占用8.3M.  耗时:87秒   硬盘占用:976M

3》插入:1000万条简单数据

耗时: 164秒

到此单表存入1600万条数据,硬盘共占用:3.95G



文件写入测试:Java单个客户端连接,写入文件的速度大约 8M/秒。(数据库:远程数据库,(局域网内网))

       Case1: 425M 耗时:47秒, 硬盘空间占用 1.95G。

       Case2: 425M  耗时:60秒,此时硬盘占用3.95G。

            Case3: 425M  耗时:53秒,此时硬盘占用3.95G。

       Case4: 425M  耗时:72秒,此时硬盘占用5.95G。

以上程序执行四次。共插入1.7G的数据。磁盘总占用5.96G。



但文件测试二:采用单个3.09G的文件,一次性写入。

                  耗时:447秒 磁盘占用:5.95G。 平均写入速度:13.6M/秒。

以上测试都是单客户端,没有测试并发。此时结果,可能是准。但是至少说明了一个问题,MongoDB在处理大文件存储的效果还算满意。其他方面的功能,还有待学习。

分享到:
评论
1 楼 lzj0470 2011-12-14  
兄弟
9:57:38 [conn8] MapViewOfFile failed D:/mongodb/data/db/db_test_005.

5 errno:0 鎿嶄綔鎴愬姛瀹屾垚銆?0)
怎么解决啊

相关推荐

    MongoDB性能评估和分析-Golang开发

    Keyhole是一种用GO(Golang)编写的性能分析工具,用于从MongoDB实例收集统计信息并衡量MongoDB集群的性能。 此外,锁Kong可以读取MongoDB的全时诊断数据(FTDC)数据,并与Grafana的Simple JSON插件无缝集成。 选择...

    ReactiveMongoPerformance:Crud MongoDb存储库的性能评估

    为了比较REST MongoDb与React式和非React式解决方案的性能,编写了两个解决方案。 基于Rodrigo Chaves解决方案( ),我编写了解决方案account-servlet的非响应版本。 帐户React性 Rodrigo Chaves编写的React性解决...

    NoSQL性能评估(MongoDB,HBase,Cassandra):哪种数据库最适合你的数据?

    非关系数据库(经常被称为NoSQL)的特点是...为了向客户的项目提供最好的NoSQL方案,Altoros针对几种NoSQL数据库测试了多种工作负荷下的性能。本文概述了针对几种市面上最成熟也是最流行的NoSQL数据库性能测试的结果。

    ycsb-mongodb

    YCSB(Yahoo Cloud Serving Benchmark)是一个开源的性能测试框架,用于评估分布式系统的读写性能。它具有以下优点和缺点: 优点: 简单易用:YCSB提供了简单的API和配置文件,使得性能测试非常容易上手和执行。 ...

    搭建高可用的MongoDB集群

    高性能、易扩展一直是MongoDB的立足之本,同时规范的文档和接口更让其深受用户喜爱,这一点从分析DB-Engines的得分结果不难看出——仅仅1年时间,MongoDB就完成了第7名到第五名的提升,得分就从124分上升至214分,...

    MongoDB、PIG、HIVE Storage、Map Reduce、Spark、Yarn性能分析模拟-研究论文

    Hadoop 能够评估大尺寸数据。 Hadoop 一直被认为是一个框架。 它已被应用于处理跨多个集群的大数据集。 Hadoop、Map Reduce 等工具能够管理如此庞大的数据量。 与此一起,Apache Hive、No SQL 也是这种收费。 信息...

    论文研究 - SQL和NO-SQL数据库管理系统对非结构化数据的比较研究

    关于基于性能,安全性等方面的多个数据库管理应用程序的比较,需要做大量的工作,但是在基于提供的数据评估这些数据库的情况下,我们可获得的信息有限。 这项研究将主要着眼于在处理JSON中的数据时,这两种数据库...

    tsbs:时间序列基准套件,用于比较和评估时间序列数据的数据库的工具

    时间序列基准套件(TSBS) 此仓库包含用于对多个时间序列数据库进行基准测试的代码,其中...时间序列基准套件(TSBS)是Go程序的集合,这些程序用于生成数据集,然后对各种数据库的读写性能进行基准测试。 目的是使TS

    python项目基于时间序列分析的降雨量预测cs.zip

    8. **模型评估**:通过比较实际降雨量与预测值,评估模型的性能并进行调整优化。 技术栈通常涉及: - Python编程语言:作为主要的后端逻辑和数据处理语言。 - 机器学习库:Pandas用于数据处理,NumPy进行数学计算...

    DataScienceprojects

    机器学习项目:使用算法并评估其性能以更好地对以肝脏疾病为特征的受试者进行分类,软件:knime 计算机科学项目:pandas数据框操作,语言:python 启动:涉及电力价格预测的业务模型设计的项目,其中要考虑电力...

    python项目基于机器学习的文本情感系统.zip

    4. **模型评估与优化**:通过交叉验证和其他评估指标(如准确率、召回率和F1分数)来测试模型性能,并根据结果调整模型参数。 5. **实时情感分析**:提供实时文本情感分析的功能,允许用户输入文本并获得即时的情感...

    awesome-devenv:精选的工具,资源和工作流程技巧精选清单,构成了很棒的开发环境

    很棒的开发环境 精选的工具,资源和工作流程提示的精选列表,构成了很棒的开发环境。 受到启发,反过来又受到启发。 贡献 从awesome-go调整和改编-谢谢!... phantomas-网站性能评估工具 围城 素食

    python项目基于时间序列分析的大气污染预测软件(django).zip

    8. **模型评估与优化**:通过对比实际数据和预测结果,评估模型性能并根据需要进行调整。 技术栈通常涉及: - Python编程语言:作为后端逻辑和数据处理的主要开发语言。 - Django框架:用于搭建稳定的Web服务和API...

    python项目基于混沌系统敏感文本信息加密算法研究(django).zip

    3. **安全性分析**:对所提出的加密方法进行严格的安全分析,包括密钥敏感性测试、抗差分攻击能力以及计算复杂度评估。 4. **用户界面**:提供Web界面供用户输入待加密的文本信息,选择不同的混沌系统参数,并执行...

    Protocol-Benchmarks:该存储库包含用于论文“别握我的数据人质-客户端协议重新设计的案例”的脚本,以及指向可用于重复这些实验的VM的链接。

    这套基准衡量传输大量数据时数据库(和其他系统)客户端协议的性能。 测量了以下系统: PostgreSQLMariaDB(MySQL) DB2 OracleMonetDB MongoDB的蜂巢所有基准测试都是使用数据库的ODBC连接器执行的(Hive除外,后者...

    报告系统法律

    Antra SEP Java评估项目 1.设置环境并使其运行。 这三个项目都是Sprintboot应用程序。 需要设置AWS SNS / SQS / S3才能使用异步API。(LMS中的视频) 确保使用您的AWS IAM账户密码和区域更新application....

    reporting_system_aws

    Antra SEP Java评估项目 1.设置环境并使其运行。 这三个项目都是Sprintboot应用程序。 需要设置AWS SNS / SQS / S3才能使用异步API。(LMS中的视频) 确保使用您的AWS IAM账户密码和区域更新application....

    upm-rotary-http:允许用户使用UPM并通过HTTP在浏览器中查看实时数据的容器

    此应用程序的目的是评估HTTP的性能,以查看Intel板上的实时传感器数据。 python容器利用UPM和MRAA库收集传感器数据,并将该数据(使用python的请求库)发布到Web服务器。 Node服务器充当REST API,使我们能够接收...

    python项目基于小波变换的数字水印研究(django).zip

    4. **效果对比**:展示原始媒体文件和加入水印后的文件对比,评估水印技术的隐蔽性和鲁棒性。 5. **性能分析**:分析不同类型和大小的水印对原始媒体质量的影响。 6. **教育资料**:提供关于数字水印技术和小波变换...

Global site tag (gtag.js) - Google Analytics