非关系型数据库（nosql）介绍-白红宇

非关系型数据库（nosql）介绍

阅读量：5034 次

发布时间：2019-06-12

本文共 8812 字，大约阅读时间需要 29 分钟。

非关系型数据库也叫Nosql数据库，全称是not noly sql。

2009年初，Johan Oskarsson举办了一场关于开源分布式数据库的讨论，Eric Evans在这次讨论中提出了NoSQL一词，用于指代那些非关系型的，分布式的，且一般不保证遵循ACID原则的数据存储系统。Eric Evans使用NoSQL这个词，并不是因为字面上的“没有SQL”的意思，他只是觉得很多经典的关系型数据库名字都叫“**SQL”,所以为了表示跟这些关系型数据库在定位上的截然不同，就是用了“NoSQL“一词。

非关系型数据库提出另一种理念，例如，以键值对存储，且结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。使用这种方式，用户可以根据需要去添加自己需要的字段，这样，为了获取用户的不同信息，不需要像关系型数据库中，要对多表进行关联查询。仅需要根据id取出相应的value就可以完成查询。

?‍♂️关系型数据库与非关系型数据库的区别：

关系型数据库通过外键关联来建立表与表之间的关系，非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定。

?‍♂️nosql数据库的特点：

模式自由
- 不需要定义表结构，数据表中的每条记录都可能有不同的属性和格式。

逆规范化
- 不遵循范式要求，去掉完整性约束，减少表之间的依赖

弹性可扩展
- 可在系统运行的过程中，动态的删除和增加节点。

多副本异步复制
- 数据快速写入一个节点，其余节点通过读取写入的日志来实现异步复制。

弱事务
- 不能完全满足事务的ACID特性，但是可以保证事务的最终一致性。

?‍♂️什么时候用nosql数据库：

数据库表schema经常变化

数据库表字段是复杂数据类型

高并发数据库请求

海量数据的分布式存储

Mongodb

➡️Mongodb简介

MongoDB.inc 公司研发的一款nosql类型的文档型数据库。

功能强大、使用灵活、性能卓越且易于扩展的数据库。

2009年发布第一个稳定版本，是当前非常热门的开源的nosql类型数据库。

官方网站：https://www.mongodb.org

开源项目：http://github.com/mongodb

➡️Mongodb特点

面向集合存储，易存储对象类型的数据

模式自由

支持动态查询

支持完全索引，包含内部对象

支持查询

支持复制和故障恢复

使用高效的二进制数据存储，包括大型对象（如视频等）

自动处理碎片，以支持云计算层次的扩展性

支持RUBY，PYTHON，JAVA，C++，PHP等多种语言

文件存储格式为BSON（一种JSON的扩展）

可通过网络访问

➡️Mongodb安装

1、下载mongodb安装包，

2、在/usr/local目录下创建一个mongodb文件夹，然后把mongodb的安装包解压到mongodb文件中

3、创建一个存放数据的文件夹data和日志文件logs
- cd /usr/local/mongodb
- mkdir data
- touch logs

4、启动mongodb
- /usr/local/mongodb/bin/mongod --dbpath=/usr/local/mongodb/data --logpath=/usr/local/mongodb/logs --logappend --port=27017 --fork

➡️Mongodb启动参数和启动脚本

使用Mongodb安装目录下的mongod文件来启动mongodb

常用的启动参数：

　　　　--dbpath的意思是指定存储数据的文件夹

　　　　--logpath的意思是指定日志存储文件

　　　　--logappend的意思是日志以增加方式产生

　　　　--port指定端口，如果不写的话，默认是27017

　　　　--fork 代表后台运行

也可以把这些参数都写到一个配置文件中，然后读取配置文件

➡️Mongodb启动脚本

启动脚本：

　　　　#!/bin/bash

　　　　pid=`ps -ef|grep /usr/local/mongodb/bin/mongod|grep -v "grep" | awk '{print $2}'`

　　　　if [ $pid ]

　　　　then

　　　　echo "mongodb is running..."

　　　　else

　　　　/usr/local/mongodb/bin/mongod --dbpath=/usr/local/mongodb/data --logpath=/usr/local/mongodb/logs --logappend --port=27017 --fork

　　　　echo 'mongodb started!'

➡️停止mongodb和停止脚本

Mongodb停止的时候不能直接kill掉，如果kill掉的话，下次启动会有问题

停止mongodb的时候要用mongod 后面加上shutdown参数，并且指定数据库文件

停止脚本

　　#!/bin/bash

　　pid=`ps -ef|grep /usr/local/mongodb/bin/mongod |grep -v "grep" | awk '{print $2}'`

　　if [[ $pid ]]

　　then

　　/usr/local/mongodb/bin/mongod --shutdown --dbpath /usr/local/mongodb/data/

　　echo 'mongodb stoped'

　　else

　　echo "mongodb is not running..."

➡️重启mongodb和重启脚本

重启的过程就是先停止，后启动，我们已经写好了启动的脚本和停止的脚本，依次调用即可

#!/bin/bash

/usr/local/mongodb/stop_mongodb.sh

/usr/local/mongodb/start_mongodb.sh

➡️连接mongodb

- Linux下可以直接使用mongo进入mongod命令行操作

➡️Mongodb增删改查

概念：集合==表文档==数据

命令关键词：
- Show dbs：查看数据库
- Show collectios：查看集合
- Create collection：创建一个集合
- use：切换数据库
- insert：插入数据
- Find：查找数据
- Update：修改数据
- Remove：删除数据

➡️Mongodb创建和删除数据库

Mongodb中使用use关键字来创建一个数据库

use chenshifeng;#创建了一个数据库

db;#查看当前的数据库

db.dropDatabase();

➡️插入数据

Mongodb中使用insert关键字来插入数据 db.collectios.insert(doc);

创建一个chenshifeng库，插入一条班级信息

use chenshifeng;

db.classes.insert({"name":"尘世风","nums":100,"course":["mysql","linux","性能测试项目实战","性能调优","安全测试"],"teacher":"尘世风"});

也可以通过定义变量的方式来插入数据

new_class=({"name":"尘世风","nums":150,"course":['mysql','nosql','linux','前端性能测试'],"teacher":"尘"});

db.classes.insert(new_class);

➡️更新数据

Mongodb中使用update关键字来更新数据,db.collectios.update({条件},{更新的值})

把刚才插入的乔巴班的信息加一个状态，status，上课中

use chenshifeng;

所有字段加全
- db.classes.update({"name":"尘世风"},{"name":"尘世风","nums":100,"course":["mysql","linux","性能测试项目实战","性能调优","安全测试"],"teacher":"尘世风","status":"上课中"});

$set方式只更新指定的字段
- db.classes.update({"name":"尘世风"},{$set:{"createtime":"20150810"}});

更新所有匹配的值
- db.classes.update({"teacher":"chenshifeng"},{$set:{"teacher":"niuhy"}},{multi:true});

如果更新的值不存在的话，插入一条
- db.classes.update({"teacher":"fengluo"},{$set:{"teacher":"niuhy"}},{upsert:true});

$inc，在原来的值上增加值，只适用于数字型
- db.classes.update({"name":"尘世风"},{$inc:{"nums":20}});

➡️查询数据

Mongodb中使用find关键字来查询数据,db.collectios.find();

db.collectios.find();查询所有的数据

db.collectios.find().pretty();已格式化的方式显示数据

db.collectios.find({"xx":"xx“});#指定条件查询

db.collectios.find({条件1,条件2})#and操作

db.collectios.find({$or,[{条件1},{条件2}]})#or操作

db.collectios.find({条件1},$or[{条件2},{条件3}]);#and和or合用

db.collectios.find().count();#查询所有的行数

db.collectios.find().sort(KEY:1)#排序

➡️Mongodb中的条件表达式

➡️删除数据

Mongodb中使用remove关键字来删除数据,db.collectios.remove();

db.collectios.remove({});删除所有的数据

db.collections.remove({条件1},1)#如果有多条匹配的，只删除一条

➡️开启profile

- Mongodb的profile就和mysql的慢查询类似，用于记录执行时间超过多少的语句。
- db.getProfilingLevel()#获取profile级别
- db.setProfilingLevel(1,2000)# 设置profile级别
- profile级别有三种：
  - 0：不开启
  - 1：记录慢命令，默认为大于100ms
  - 2：记录所有命令
- 查询profile记录
  - db.system.profile.find();
  - ts：该命令在何时执行
    op: 操作类型
    query: 本命令的详细信息
    responseLength: 返回结果集的大小
    ntoreturn: 本次查询实际返回的结果集
    millis: 该命令执行耗时，以毫秒记

➡️创建索引

db.collections.ensureIndex({xx:1})#创建单列索引

db.collections.ensureIndex({xx:1,xx:1})#创建多列索引

db.collections.ensureIndex({xx:1},{“unique”:true})#创建唯一索引

➡️查看、删除索引

db.system.indexes.find();查看索引

db.collections.getIndexes();#查看当前集合中的索引

Mongodb中使用dropIdenx来删除索引

db.collections.dropIndex({xx:1});删除指定索引

db.user.dropIndexes();删除所有的索引

➡️explain

使用explain可以解析查询语句

db.collection.find({xx:xx}).explain();

Explain说明：
- cursor: 返回游标类型(BasicCursor 或 BtreeCursor)
- nscanned: 被扫描的文档数量
- n: 返回的文档数量
- millis: 耗时(毫秒)
- indexBounds: 所使用的索引
- isMultiKey:是否使用了多键索引
- scanAndOrder:是否在内存中对结果集进行了排序
- indexOnly:是否只使用索引就能完成查询（覆盖索引)

Redis

➡️Redis简介

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。

redis的官网地址，非常好记，是redis.io。

Redis和mongodb的区别是redis数据全部存储在内存中，使用磁盘仅用于数据的持久化，而mongodb数据是存储在磁盘上。

➡️Redis安装

1、下载redis安装包

wget http://download.redis.io/releases/redis-2.8.12.tar.gz

2、安装redis依赖

yum -y install gcc*

yum -y install make

yum -y install tcl

3、编译安装

tar xvf redis-2.8.12.tar.gz

mv redis-2.8.12 redis #改名

mv redis /usr/local #移动

cd /usr/local/redis

make

4、使用redis的可执行命令

将redis命令移动到/usr/local/bin目录下，把redis命令放到/usr/local/bin目录下后就可以直接使用redis命令，如果不放到/usr/local/bin也是可以的，直接到/usr/local/redis/src目录下使用即可。

cd /usr/local/redis/src

cp -rf redis-benchmark redis-server redis-cli redis-check-dump redis-check-aof /usr/local/bin

➡️Redis启动

- 启动redis
  - 介绍两种启动方式，一种是命令启动，一种是使用配置文件启动。
  - redis-server & #这种是命令启动，默认端口6379，&表示后台运行
  - redis-server /usr/local/redis/redis.conf #配置文件启动的，可以在配置文件中修改端口
  - 由于redis默认带的配置文件不是后台运行的，咱们不用它，新建一个redis.conf配置文件，把原来那个默认的删掉，新的配置文件内容如下：
               daemonize yes #代表后台启动
               pidfile   /usr/local/redis/redis.pid #pid文件
               logfile   /usr/local/redis/redis.log #日志文件
               port      6379#端口
               dir /usr/local/redis/redisData #持久化文件存放位置

➡️Redis启动脚本

为了方便管理，现在写一个redis的启动脚本和停止脚本

启动脚本：

#!/bin/bash

pid=`ps -ef|grep redis-server|grep -v "grep"|awk '{print $2}'`

if [[ "$pid" ]]

then

echo "redis is running...."

else

/usr/local/bin/redis-server /usr/local/redis/redis.conf

echo "redis started!“

➡️Redis停止脚本

停止脚本：
- #!/bin/bash
- pid=`cat /usr/local/redis/redis.pid`
- new_pid=`ps -ef|grep $pid|grep -v "grep"|awk '{print $2}'`
- if [[ $new_pid ]]
- then
- kill -9 $pid
- echo "redis is stoped!"
- else
- echo "redis is not running..."
- fi

➡️Redis重启脚本

重启脚本，重启不过就是先停止，后启动，我们已经写好停止和启动的脚本，依次调用即可：
- #!/bin/bash
- /usr/local/redis/stop_redis
- /usr/local/redis/start_redis

➡️连接redis

- Linux下可以直接使用redis-cli进入redis命令行操作

- 也可以通过telnet方式连接

- 也可以通过redis-client这个可视化工具来连接

➡️Redis的增删改查

- 选择数据库，使用select关键字
  - select 1，选择第一个数据库
- 使用set关键字插入数据
  - set name andashu
- 使用get 关键字获取数据
  - get name
- 使用del 关键字删除数据
  - del name

Memcached

➡️Memcached简介

Memcached是一个高性能的分布式的内存对象缓存系统，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。

➡️Memcached安装

1、安装依赖包libevent

yum -y install libevent

2、编译安装

tar xvf memcached-1.2.0.tar.gz

cd memcached-1.2.0

./configure --prefix=/usr/local/memcached

make

make install

➡️Memcached启动参数

-p 监听的端口

-c 最大同时连接数，默认是1024

-m 最大内存使用，单位MB。默认64MB

-P 设置保存Memcache的pid文件

-d 后台运行

-u 运行Memcache的用户，仅在以root运行的时候有效

➡️Memcached启动脚本

#!/bin/bash

pid=`ps -ef|grep memcached|grep -v "grep"|awk '{print $2}'`

if [[ $pid ]]

then

echo "memcached is running..."

else

/usr/local/bin/memcached -d -m 10 -p 11211 -u root -c 256 -P /tmp/memcached.pid >> /tmp/memcached.log

echo 'memcached started pidfile path is /tmp/memcached.pid'

➡️Memcached停止脚本

#!/bin/bash

pid=`cat /tmp/memcached.pid`

new_pid=`ps -ef|grep $pid|grep -v "grep"|awk '{print $2}'`

if [[ $new_pid ]]

then

kill -9 `cat /tmp/memcached.pid`

echo "memcached stoped..."

else

echo "memcached is not runing...."

➡️Memcached重启脚本

重启脚本也和前面的一样，先停止再启动

#!/bin/bash

/usr/local/memcached/stop_mem.sh

/usr/local/memcahed/start_mem.sh

➡️Memcached连接方式

Memcached没有可视化工具，只能通过Telnet这种方式来连接

telnet ip 端口

telnet 211.149.218.16 11211

telnet上去之后，可以输入stats查看memcached信息

➡️Memcached的增删改查

增加使用add 关键字
- add key 0 存放时间数据大小
- add name 0 30 5

查询使用get 关键字
- get key
- get name

修改使用set或者replace关键字，set和replace的区别是set一个不存在的key时，会新增，replace一个不存在key时，会报错。
- set key 0 存放时间数据大小
- replace key 0 存放时间数据大小
- set name1 0 50 6
- replace name 0 70 5