몽고DB와 RDBMS와 결합^^.... 요즘에 이렇게들 많이 쓰네요. 

MongoDB 2.2 Release가 되었습니다. 많이 향상되었는데 그중에 Redis나 기타 캐쉬형 nosql에서 볼 수 있는 expire data collection이 추가되었다는게 제일 흥미롭네요..

 Changes

• 집계 프레임워크
• 동시성 개선(DB level locking)

• 캐쉬 형태로 쓸 수 있는 Expire Data Collection(TTL Collections)

• 쿼리 옵티마이져 개선
• Replica-Set, Sharding Cluster 개선

Download

Online Conference: Deep Dive with MongoDB

Asya Kamsky, Antoine Girbal, and Edouard Servan-Schreiber, Solutions Architects, 10gen

window7 vs centos 간 Replica-Set 세팅은 어떻게 될까? 이런 궁굼증으로 서버 세팅하고 바로 insert Stress test를 해보았습니다.

*. 테스트 시나리오

1. 300개의 연결 쓰레드

2. 300개의 쓰레드가 90000번의 작업 수행

3. 1KB Document Size

4. C++ Test App

*. centos 테스트

10번 수행 한 결과 별 무리 없이 테스트 진행이 되었다.

*. windows os 테스트

10번 수행 중 3회의 경우 socket send 함수에서 blocking 발생하였다. 아래의 로그는 윈도우 PC서버에서 발생한 로그이다.

과연 무슨 문제인가??

흠... 

MongoDb Architecture 

몽고DB의 성능 정보를 저장하고 방법에 대해 알아볼까 합니다. 몽고DB는 다양한 성능 모니터링을 할 수 있는 툴들이 많은데, 자세히 troublshooting을 하기 위해서는 shell 명령어나 utility를 이용하여 수집할 수 있습니다. 

1. 성능 정보 수집 방법

가. c#으로 serverStatus 정보를 얻어와 몽고DB에 저장하기

https://github.com/mongodb/docs/blob/master/source/reference/server-status.txt

나. Mongostat utility 이용하여 상태 정보를 저장

http://docs.mongodb.org/manual/reference/mongostat/?highlight=mongostat

30초마다 Perflog.txt 파일에 기록

2. 성능 정보 추출

몽고DB에 있는 서버 상태 정보를 추출하여 파일로 기록
http://docs.mongodb.org/manual/reference/mongoexport/#cmdoption-mongoexport--fieldFile

이제는 성능 정보 추출하여 분석하는 일만 남았겠죠?

요즘 Stress 테스트중에 있는데 batch Request/sec 정보 공유합니다.

#. 테스트 환경

• OS : CentOS x64 6.2 Version
• H/W : Memory 8G, 1 TB, Intel Core i5
• DB : MongoDB x64 2.1.2(UnStable) version
•     http://www.mongodb.org/downloads

#. 테스트 방식

• CentOS에 mongodb(2.1.2) StandAlone 환경구성으로 1K Document의 게임로그를 20분간 반복 수행
• 900개의 Connection 개체를 생성하여 Stress로 데이터를 insert 요청  

#. Batch Request/Sec

   : document size에 따라 수치는 달라질 수 있음.
        11000~14000

참고 링크

http://www.mongodb.org/display/DOCS/Monitoring+and+Diagnostics#MonitoringandDiagnostics-HostedMonitoring
http://gurjarmehul.wordpress.com/2011/12/27/monitoring-mongodb/

몽고DB를 모니터링하기 위한 방법은 다양하다.

1. 툴을 이용한 모니터링

• munin
• Server stats: this will retrieve server stats (requires python; uses http interface)
• Collection stats, this will display collection sizes, index sizes, and each (configured) collection count for one DB (requires python; uses driver to connect)

• Ganglia:
• ganglia-gmond
• mongodb-ganglia

• cacti
• Mikoomi provides a MongoDB plugin for Zabbix
• Nagios
• Motop - Realtime monitoring tool for several MongoDB servers. Shows current operations ordered by durations every second.

• mtop - A top like utility for Mongo

• Mongo Live - A Chrome extension that provides a real-time server status view (uses the rest interface).

2. Shell Command

• db.serverStatus() : 일반적인 서버 상태 정보
• serverStatus Command

• db.stats() : 선택된(use) 데이타베이스 상태 정보
• db.foo.find().explain() : 쿼리 실행 계획
• db.users.stats() : collection 통계
• 프로파일러
• db.setProfilingLevel(2) ;  profile enable
• db.system.profile.find() : slow query see
• db.setProfilingLevel(0) ;  profile disable

3. Utility

• mongostat

mongostat --host 127.0.0.1:27017 30 --noheaders > perflog.txt

30초마다 헤더정보 없이 mongostat의 결과 정보를 peflog.txt에 기록해라.

• Mongotop
• read/write의 성능 정보(sec/per)

• Query profiler(Slow query 분석)
• Http console

http://localhost:28017

memSQL 공부해야 하나?? 왜 자꾸 변하는겨?

"멤SQL은 초당 8만쿼리를 처리해, 3천500쿼리를 다루는 마이SQL 성능을 23배 가량 앞선다. " 이게 가능한겨? MSSQL에서도 초당 Request수도 5000이상 보기 어려운디..

메모리 기반 RDBMS, MemSQL을 알아봅시다

http://dev.kthcorp.com/2012/07/04/memory-based-rdbms-memsql/