MongoDB、Elasticsearch

MongoDB

什么是NoSQL数据库？NoSQL和RDBMS有什么区别？在哪些情况下使用和不使用NoSQL数据库？

NoSQL是非关系型数据库，NoSQL = Not Only SQL。

• 关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。
• 在处理非结构化/半结构化的大数据时；
• 在水平方向上进行扩展时；
• 随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。
• 在考虑数据库的成熟度、支持、分析和商业智能、管理及专业性等问题时，应优先考虑关系型数据库。

什么是MongoDB？

MongoDB是一个文档数据库，提供好的性能，领先的非关系型数据库。采用BSON存储文档数据。BSON 是一种类json的一种二进制形式的存储格式，简称Binary JSON。相对于json多了date类型和二进制数组。

MongoDB的优势有哪些？

• 面向文档的存储：以 JSON 格式的文档保存数据。
• 任何属性都可以建立索引。
• 复制以及高可扩展性。
• 自动分片。
• 丰富的查询功能。
• 快速的即时更新。

为什么用MOngoDB？

• 架构简单
• 没有复杂的连接
• 深度查询能力,MongoDB支持动态查询。
• 容易调试
• 容易扩展
• 不需要转化/映射应用对象到数据库对象
• 使用内部内存作为存储工作区,以便更快的存取数据。

在哪些场景使用MongoDB？

• 大数据
• 内容管理系统
• 移动端Apps
• 数据管理，json格式数据，可横向扩展

monogodb 中的分片什么意思？

分片是将数据水平切分到不同的物理节点。当应用数据越来越大的时候，数据量也会越来越大。当数据量增长时，单台机器有可能无法存储数据或可接受的读取写入吞吐量。利用分片技术可以添加更多的机器来应对数据量增加以及读写操作的要求。

为什么要在MongoDB中使用分析器？

mongodb中包括了一个可以显示数据库中每个操作性能特点的数据库分析器，通过这个分析器你可以找到比预期慢的查询(或写操作)，利用这一信息,比如,可以确定是否需要添加索引。

MongoDB支持主键外键关系吗？

默认MongoDB不支持主键和外键关系。 用Mongodb本身的API需要硬编码才能实现外键关联，不够直观且难度较大。

为什么在MongoDB中使用"Object ID"数据类型？

"ObjectID"数据类型用于存储文档id

"ObjectID"有哪些部分组成？

一共有四部分组成：时间戳、客户端ID、客户进程ID、三个字节的增量计数器

在MongoDb中什么是索引？

索引用于高效的执行查询，没有索引的MongoDB将扫描整个集合中的所有文档，这种扫描效率很低，需要处理大量的数据。索引是一种特殊的数据结构，将一小块数据集合保存为容易遍历的形式，索引能够存储某种特殊字段或字段集的值，并按照索引指定的方式将字段值进行排序。

在MongoDB中什么是副本集（避免单点故障）？

在MongoDB中副本集由一组MongoDB实例组成，包括一个主节点多个次节点，MongoDB客户端的所有数据都写入主节点(Primary)，副节点从主节点同步写入数据，以保持所有复制集内存储相同的数据，提高数据可用性。

MongoDB支持存储过程吗？如果支持的话，怎么用？

MongoDB支持存储过程，它是javascript写的，保存在db.system.js表中。

如何理解MongoDB中的GridFS机制，MongoDB为何使用GridFS来存储文件？

GridFS是一种将大型文件存储在MongoDB中的文件规范。使用GridFS可以将大文件分隔成多个小文档存放，这样我们能够有效的保存大文档，而且解决了BSON对象有限制的问题。

为什么MongoDB的数据文件很大？

MongoDB采用的预分配空间的方式来防止文件碎片。

当更新一个正在被迁移的块（Chunk）上的文档时会发生什么？

更新操作会立即发生在旧的块（Chunk）上，然后更改才会在所有权转移前复制到新的分片上。

MongoDB在A:{B,C}上建立索引，查询A:{B,C}和A:{C,B}都会使用索引吗？

不会，只会在A:{B,C}上使用索引。

如果用户移除对象的属性,该属性是否从存储层中删除?

是的，用户移除属性然后对象会重新保存(re-save())。

允许空值null吗?

对于对象成员而言，是的，然而用户不能够添加空值(null)到数据库丛集(collection)因为空值不是对象，然而用户能够添加空对象{}。

更新操作立刻fsync到磁盘?

不会，磁盘写操作默认是延迟执行的，写操作可能在两三秒(默认在60秒内)后到达磁盘。例如，如果一秒内数据库收到一千个对一个对象递增的操作，仅刷新磁盘一次。

如何执行事务/加锁?

mongodb没有使用传统的锁或者复杂的带回滚的事务，因为它设计的宗旨是轻量，快速以及可预计的高性能。可以把它类比成mysql mylsam的自动提交模式。通过精简对事务的支持，性能得到了提升，特别是在一个可能会穿过多个服务器的系统里。

启用备份故障恢复需要多久?

从备份数据库声明主数据库宕机到选出一个备份数据库作为新的主数据库将花费10到30秒时间，这期间在主数据库上的操作将会失败–包括写入和强一致性读取(strong consistent read)操作，然而，你还能在第二数据库上执行最终一致性查询(eventually consistent query)(在slaveok模式下)，即使在这段时间里。

什么是master或primary?

它是当前备份集群(replica set)中负责处理所有写入操作的主要节点/成员，在一个备份集群中,当失效备援(failover)事件发生时，一个另外的成员会变成primary。

应该启动一个集群分片(sharded)还是一个非集群分片的 mongodb 环境?

(数据量大用集群分片,数据量小用非集群)为开发便捷起见，我们建议以非集群分片(unsharded)方式开始一个 mongodb 环境，除非一台服务器不足以存放你的初始数据集，从非集群分片升级到集群分片(sharding)是无缝的，所以在你的数据集还不是很大的时候没必要考虑集群分片(sharding)。

分片(sharding)和复制(replication)是怎样工作的?

每一个分片(shard)是一个分区数据的逻辑集合，分片可能由单一服务器或者集群组成,我们推荐为每一个分片(shard)使用集群。

数据在什么时候才会扩展到多个分片(shard)里?

mongodb 分片是基于区域(range)的，所以一个集合(collection)中的所有的对象都被存放到一个块(chunk)中.只有当存在多余一个块的时候，才会有多个分片获取数据的选项，现在，每个默认块的大小是 64mb，所以你需要至少 64 mb 空间才可以实施一个迁移。

当我试图更新一个正在被迁移的块(chunk)上的文档时会发生什么?

更新操作会立即发生在旧的分片(shard)上，然后更改才会在所有权转移(ownership transfers)前复制到新的分片上。

如果在一个分片(shard)停止或者很慢的时候，我发起一个查询会怎样?

如果一个分片(shard)停止了，除非查询设置了“partial”选项，否则查询会返回一个错误。如果一个分片(shard)响应很慢，mongodb则会等待它的响应。

可以把movechunk目录里的旧文件删除吗?

没问题,这些文件是在分片(shard)进行均衡操作(balancing)的时候产生的临时文件.一旦这些操作已经完成,相关的临时文件也应该被删除掉.但目前清理工作是需要手动的,所以请小心地考虑再释放这些文件的空间.

如果块移动操作(movechunk)失败了,我需要手动清除部分转移的文档吗?

不需要,移动操作是一致(consistent)并且是确定性的(deterministic);一次失败后,移动操作会不断重试;当完成后,数据只会出现在新的分片里(shard).

mongodb是否支持事务?

答：MongoDB 4.0的新特性——事务（Transactions）：MongoDB 是不支持事务的，因此开发者在需要用到事务的时候，不得不借用其他工具，在业务代码层面去弥补数据库的不足。
事务和会话(Sessions)关联，一个会话同一时刻只能开启一个事务操作，当一个会话断开，这个会话中的事务也会结束。

mongodb数据量很大的时候怎么实现分页？

普通分页： db.myCollection.find().sort({“ID”:1}).skip(10).limit(10)

但是这种方式skip如果跳过大量的数据会很慢
可以通过条件查询+排序+限制返回记录，即边查询，边排序，排序之后，抽取上一页中的最后一条记录，作为当前分页的查询条件，从而避免了skip效率低下的问题。

改良的做法为：

1. 选取一个唯一有序的关键字段，比如 _id，作为翻页的排序字段；
2. 每次翻页时以当前页的最后一条数据_id值作为起点，将此并入查询条件中。

 print("pageSize:", pageSize, "pageTotal", pageTotal)

  var t1 = new Date();

  var dl = [];
  var currentId = 0;
  var currentPage = 0;

  while(currentPage ++ < pageTotal){

      //以上一页的ID值作为起始值
     var condition = currentId? {_id: {$lt: currentId}}: {};
     var list = db.articles.find(condition, {_id:1}).sort({_id: -1}).limit(pageSize);
     dl = list.toArray();

     //没有更多记录
     if(dl.length == 0){
         break;
     }

     //记录最后一条数据的ID
     currentId = dl[dl.length-1]._id;
  }

  var t2 = new Date();

  var spendSeconds = Number((t2-t1)/1000).toFixed(2)
  print("turn pages: ", currentPage, "spend ", spendSeconds, ".")    
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

Elasticsearch

参考文档：https://blog.csdn.net/QLCZ0809/article/details/124821823
https://blog.csdn.net/afreon/article/details/124452249
https://cloud.tencent.com/developer/article/1839088