最近开始研究数据库方面的东西,感觉能解决大数据的问题,感觉真的很爽,所以,可以学习了一下
sql方面的优化,这个将是一系列的课程,学习的过程中,将其记录下来,以后以备备案,同样,技术
是一个没有边界的东西,写出来代表我的个人理解,真心希望大神们来此围观一下,提提意见,感激不
尽
一、数据库优化概览
高性能的数据库依赖与几个因素,如表结构,查询语句,服务器的硬件配置和软件的设置。软件上
的构造直接导致了硬件层CPU和I/O操作,所以,我们优化的策略,一般为,减少不必要的磁盘I/O,尽量
利用好表的物理结构如索引来快速访问数据,达到高效的查询。
1.1、在数据库层的优化
让数据库应用更加快速的最重要的因素当然是他的基本的 设计,如:
1,表的结构是否合理,这些表现在:是否使用了正确的数据类型,如果是一个写频繁的结构,是否一次
一次写入,会更新到很多的列,这些的负荷是,会有相应的索引需要进行维护
2,是否使用了正确的索引,这个很重要,如果使用不当,当数据很大的时候,可能会被全部扫描,这样
如果内存不够大,会利用相应的磁盘进行排序等操作,将会非常慢
3,是否使用了合理的存储引擎,当然我现在使用的mysql,对于innodb来说,效果还是不错了,当然,
如果你的引用对于事物要求不是很高,可以考虑要嗯MyISM,这个存储引擎的速度真心比较快的,但
就是安全性方面有待考虑
4,是否使用了正确的行格式,mysql中支出压缩的行格式,这样会导致更少的磁盘I/O和读写数据,当然
他的不好的地方是不能在此上建立好的索引和进行数据的比较
5,是否你的应用程序使用了了锁策略,对于Innodb,使用了行级锁,这鼓励更多的并行操作,如果对与
应用程序,如果能把锁移动到应用程序中,使用相应的语言特性,或是系统调用如互斥锁,信号量等
来处理,而不应该把维护数据的正确行来锁表
6,是否使用了合理的缓存cache,这个缓存就更内存的分页一样,大了的话,会造成大量的碎片不能使用,
因此,很多查询没有地方缓存而清空之前的缓存,当下一次查询时,就不能利用缓存了,另外,如果
小了,会造成mysql对缓存的管理压力加大,因为会为没一次查询可能分好几页来缓存数据,管理这些
数据是需要一定的开销的
1.2、硬件层的优化
当数据库更加忙的时候,对硬件的要求就更高了,因此,我们应该更快,更好的识别出系统的瓶颈,早
些做决定,是否更换或添加相应的硬件,典型的瓶颈出现在这么几个地方:
1,磁盘寻道和读写
磁盘的寻道速度直接决定了访问数据的快慢,而磁盘磁头的寻道速度是有限的,因此,可以考虑
让数据并行读取,比如放在多个磁盘里读,这个还没有测试,原理上我觉得可行,因为对与单磁盘
其实他是实现的并行读写的,因为磁盘的主轴带动磁头旋转,那么一次就可以读取一个柱面,而
大多数的服务器都是多个磁盘,可以考虑配置数据库支持多盘存放,并行读写,这个将更加快速。
2,内存带宽
当CPU需要更多的数据来填充cache时,主存可能会变成一个瓶颈,可以考虑更快更大的内存,
相比,更快可能会好些,因为cpu的处理速度比内存的速度高几个数量级,如果内存足够快,相对
来说,CPU等待的时间就少了,自然速度就是上去了