关于图片或者文件在数据库的存储方式归纳

fteair

[size=13.3333px]http://www.cnblogs.com/wangtao_20/p/3440570.html

[size=13.3333px]商品图片，用户上传的头像，其他方面的图片。目前业界存储图片有两种做法：

[size=13.3333px]1、  把图片直接以二进制形式存储在数据库中

[size=13.3333px]一般数据库提供一个二进制字段来存储二进制数据。比如mysql中有个blob字段。oracle数据库中是blob或bfile类型

[size=13.3333px]2、  图片存储在磁盘上，数据库字段中保存的是图片的路径。

[size=13.3333px]一、图片以二进制形式直接存储在数据库中

[size=13.3333px]第一种存储实现(php语言)：

[size=13.3333px]大体思路：

[size=13.3333px]1、将读取到的图片用php程序转化成二进制形式。再结合insert into 语句插入数据表中的blob类型字段中去。

[size=13.3333px]3、  从数据库取出图片展示的时候。则是直接发送图片内容

[size=13.3333px]4、   代码

[size=13.3333px]总结：处理代码感觉还真比较麻烦。其实，我从来没用过在数据库中以二进制存储图片的做法。我们用得更多的是存储图片的路径，实际图片是在磁盘上保存的(图片二进制放到数据库,把数据库的负担弄重了)。

[size=13.3333px]据我了解，互联网环境中，大访问量，数据库速度和性能方面很重要。一般在数据库存储图片的做法比较少，更多的是将图片路径存储在数据库中，展示图片的时候只需要连接磁盘路径把图片载入进来即可。因为图片是属于大字段。一张图片可能1m到几m。

[size=13.3333px]有个原则：图片尽量不要存储在数据库中(是指不要二进制形式保存到字段，而只保存图片的路径)。这样的大字段数据会加重数据库的负担，拖慢数据库。在大并发访问的情况下很重要。这是一个经验。去看看dba对数据库性能调优方面的分析都能得到这个答案的：就是图片不要存储在数据库中。

[size=13.3333px]就像这个规则一样：文章分为标题、作者、添加时间、更新时间、文章内容、文章关键字

[size=13.3333px]文章内容一般是比较长的。经常使用text字段去存储。文章的内容就属于大字段。一般文章内容可以拆分到单独一个表中去。不要与文章信息存储在一张表里面。

[size=13.3333px]我理解的原理是：mysql中一张表的数据是全部在一个数据文件中的。如果大字段的数据也存储在里面。程序展示列表，比如文章列表。这个时候根本不需要展示文章内容的。但是仍然会影响速度，数据库查找数据其实就是扫描那个数据文件，文件容量越小，速度就会越快(为什么单表的容量在1g-2g的时候基本上要分表了)。拆分出去到一张单独的表，就是单独的文件了。我觉得，举一反三，相互独立，分离的思想不仅在系统开发中用到，在现实生活中经常存在的。相互混合，就会造成相互影响。小巧，简洁是一种思想。

[size=13.3333px]

[size=13.3333px]可以看看这篇翻译的文章，

[size=13.3333px]http://developer.51cto.com/art/201211/364472.htm

[size=13.3333px]作者建议，三种东西永远不要放到数据库里,图片，文件，二进制数据。作者的理由是，

• 对数据库的读/写的速度永远都赶不上文件系统处理的速度
• 数据库备份变的巨大，越来越耗时间
• 对文件的访问需要穿越你的应用层和数据库层
  

[size=13.3333px]把图片缩略图存到数据库里？很好，那你就不能使用nginx或其它类型的轻量级服务器来处理它们了。

[size=13.3333px]给自己行个方便吧，在数据库里只简单的存放一个磁盘上你的文件的相对路径，或者使用S3（备注：亚马逊云服务）或CDN之类的服务。

[size=13.3333px]============================================================

[size=13.3333px]关于mysql中的blob类型

[size=13.3333px]bolb像int型那样，分为blob、MEDIUMBLOB、LONGBLOB。其实就是从小到大，

[size=13.3333px]blob 容量为64KB ，MEDIUMBLOB 容量为16M，LONGBLOB 容量为4G。

[size=13.3333px]说实话，图片用这样子存储用得还真少。使用php函数serialize进行序列化的值，我看到有人存入这个字段中去。

[size=13.3333px]php手册：serialize返回字符串，此字符串包含了表示 value 的字节流，可以存储于任何地方。

[size=13.3333px]mysql中blob字段存储图片有个通信大小的设置：

[size=13.3333px]图片要传输给mysql存储起来，那么需要涉及到数据通信。mysql中有个配置是限制通信数据大小的。

[size=13.3333px]my.conf配置文件中的max_allowed_packet，mysql默认的值是1M。

[size=13.3333px]好多图片尤其是原始图可能不止1m。传输的数据(也就是图片)超过这个设置大小。结果就会出错

[size=13.3333px]呵呵，限制挺多。感觉好麻烦。这样子明显占用与mysql交互的通信时间嘛。延长响应时长了。我直接丢个图片路径”images/xxxx”给mysql。没这么耗费资源。

[size=13.3333px]其实所谓的性能，最关键是数据库性能。因为随着数据库数据量增大，大部分时间耗费是在php，java等语言等待数据库返回数据的过程中耗费时间。

[size=13.3333px]网站访问量大了后，具体的语言不是瓶颈，瓶颈都在数据库。用c，，php，java,net都能操作mysql数据库获取数据。语言之间可能存在速度执行差异，但是其实这种差别已经很小了。至少我觉得，给予用户感觉不到明显。执行相差0.0001秒用户感觉并没有明显的区别。可能说，大并发(很多用户同时访问)的时候，就会体现到差别了。其实我觉得，大并发访问是数据库瓶颈。等待数据库给予数据。没达到一定级别实在体现不了差别。数据库数据量达到一定级别。语言相差0.001s会给予用户体验上的差别。我想，这也是为什么php很适合做web开发了。解析页面速度快(解释型语言，不需要编译)。可以用java来与数据库打交道获取数据。php不直接操作数据库，而是调用java提供的数据接口，获取数据，马上展示在页面中。这是利用了php的页面执行速度快的一个优势。

[size=13.3333px]备份图片数据和迁移数据方便

[size=13.3333px]图片以二进制形式存储在数据库，有一个好处：备份的时候方便。直接备份数据库，图片也跟着备份。换句话说，迁移环境的时候是方便。

[size=13.3333px]而图片放在磁盘上的话，数据库中存储的只是图片路径。备份数据库后。磁盘上的图片也要跟着备份才行。

[size=13.3333px]不过我觉得，备份这个好处不是很明显。图片在磁盘上，备份磁盘也没很大的事情。打包压缩也可以了。互联网环境毕竟与传统的软件开发不同，web开发比较关注网站速度。也就是数据库的速度。就像互联网开发中，有时候为了速度，用空间换时间的做法比较普遍，所以往往在设计数据库的时候并不一定遵循传统数据库设计三大范式。

fteair

二、数据库中保存图片路径



一般是这样子的：



按照年月日生成路径。具体是按照年月日还是按照年月去生成路径，根据自己需要(不一定是按照日期去生成)。



理解为什么要分散到多个文件夹中去才是关键，涉及到一个原理就明白了：



操作系统对单个目录的文件数量是有限制的。当文件数量很多的时候。从目录中获取文件的速度就会越来越慢。所以为了保持速度，才要按照固定规则去分散到多个目录中去。



图片分散到磁盘路径中去。数据库字段中保存的是类似于这样子的”images/2012/09/25/ 1343287394783.jpg”



原来上传的图片文件名称会重新命名保存，比如按照时间戳来生成，1343287394783. jpg。这样子是为了避免文件名重复，多个人往同一个目录上传图片的时候会出现。

反正用什么样的规则命名图片，只要做到图片名称的唯一性即可。



比如网站的并发访问量大，目录的生成分得月细越好。比如精确到小时，一个小时都可以是一个文件夹。同时0.001秒有两个用户同时在上传图片(因为那么就会往同一个小时文件夹里面存图片)。因为时间戳是精确到秒的。为了做到图片名称唯一性而不至于覆盖，生成可以在在时间戳后面继续加毫秒微秒等。总结的规律是，并发访问量越大。就越精确就好了。



我现在还没碰到需要这么精细的。概率比较少。



有个方面总结一下：为什么保存的磁盘路径，是”images/2012/09/25/1343287394783.jpg”，而不是” /images/2012/09/25/ 1343287394783.jpg”(最前面带有斜杠)



我的理解：



连那个斜杠都不要。这里也是做到方便以后系统扩展。



在页面中需要取出图片路径展示图片的时候，如果是相对路径，则可以使用”./”+”images/2012/09/25/1343287394783.jpg”进行组装。



如果需要单独的域名(比如做cdn加速的时候)域名，img1.xxx.com,img2.xxx.com这样的域名，



直接组装 “http://img1.xxx.com/”+”images/2012/09/25/1343287394783.jpg”



当然数据库是可以在前面加斜杠/保存起来,/images/2012/09/25/ 1343287394783.jpg

其实不方便统一。比如相对路径载入图片的时候，则是”.”+” /images/2012/09/25/ 1343287394783.jpg”



可能我还没体会到坏处，以后会遇到问题的。不过，遵循惯例不加斜杠” images/2012/09/25/ 1343287394783.jpg”就对了。



涉及到一个新问题：为什么大部分系统都不会域名保存进去，像这样子保存到数据库中



曾经与一个上海的网友聊天，他也是习惯不会把域名保存数据库中过去。但当时我们两聊的时候，他对”域名保存进去的做法”与”不保存域名进去”也没有一个明确利弊。他就觉得，没有什么明显的区别啊。



了解的知识越多，越有利于我们做决定。可能就是一个”感觉区别不是很大”的影响下，去做一个决定，反而对后面是比较大的影响的。至少是增加自己的工作量了。



其实把域名保存进去，也不是什么滔天大罪的事情。但凡是经验丰富的开发人员都不会这样子做。这是一个经验积累出来的，所以上海那个网友也对此并没有明显的概念很正常，他说他不知道cdn方面的(当然觉得存个域名进去没什么大不了的)。需要了解cdn知识，什么情况下会用到cdn知识。



虽然是做开发人员，不需要关注运维和服务器之类的知识。不过了解一些就有利于理解了。

这里涉及到cdn加速。





关于cdn原理(就是内容分发网络)



cdn，我理解其本质就是为了解决距离远产生的速度问题，使用就近的服务。

从中国请求美国一台服务器上的图片。一般比较慢，因为距离这么远，网络传输是存在损耗的，距离越远，传输的时间就越长。一般会看到浏览器左下角显示：“已响应,正在传输数据..”。这不是服务器本身问题了。实际上服务器早就响应请求，把数据发给客户端，但是网络问题，就一直在传输，没传完了。



在中国，是南北距离远的问题。南北还会涉及到跨网，南方用户使用电信居多，北方用户网通居多。两个线路需要跨越，会有时间延迟。北京到广州的距离，如果直接请求

cdn加速就是适应这个需求产生的：现在不请求美国的服务器。直接在中国安放节点(节点是比较笼统的词语，可以理解成一台服务器，也可以理解成一个机房，就是一个点嘛)，请求距离近的节点。这样子就不需要那么远的距离了。



总结：cdn服务。对于静态内容是非常适合的。所以像商品图片，随着访问量大了后，租用cdn服务，只需要把图片上传到他们的服务器上去。



例子：北京访问长沙服务器，距离太远。我完全可以把商品图片，放到北京的云服务（我觉得现在提供给网站使用的云存储其实就是cdn，给网站提供分流和就近访问）上去。这样子北京用户访问的时候，实际上图片就是就近获取。不需要很长距离的传输。

自己用一个域名img.xxx.com来载入图片。这个域名解析到北京的云服务上去。



做法:数据库中保存的是” images/2012/09/25/1343287394783.jpg”,

这些图片实际上不存储在web服务器上。上传到北京的cdn服务器上去。

我从数据库取出来，直接”img.xxx.com/”+” images/2012/09/25/1343287394783.jpg”



比如如果还有多个，就命名img1.xx.com、img2.xx.com

反正可以随便。所以如果把域名直接保存进去。就显得很麻烦了。迁移麻烦。



像淘宝，凡客，亚马逊这些电子商务网站，我们看到请求的时候，下面往往会有

img1.xxx.cdn.com

img2.xxx.cdn.com

其实他们保存在数据库中的是相对路径。有些是不需要在数据库保存的，缩略图可以实时访问的时候用程序生成(节省很多存储空间)



实际上，把域名保存在数据库中，非常不利于系统迁移。一旦换个域名的话，原来保存在数据库中的是“www.abc.om/images/xxxxxx“,因为路径都在数据库中写死了。下回换个域名就用不了了。那个时候自己去写sql语句批量更新字段吧。



几个术语：

icp，Internet Content Provider，也就是网络内容提供者。联想到我们运营一个网站需要icp备案了吗？你自己运营网站，你就是ｉｃｐ服务商



IDC（Internet Data Center)，互联网数据中心。IDC的概念，目前还没有一个统一的标准。通俗点，就是提供机房托管(服务器租用和托管)，域名注册之类的。



关于淘宝的图片存储



了解到：淘宝以前使用了商用的存储。但是没法满足需求。据说，到2010年，淘宝网后端保存着286亿张图片。商用的系统系统没法满足需求的时候。他们就自己开发了一个tfs。大规模的小文件在磁盘上读取，需要磁盘磁头频繁的寻道和换道。大并发情况下和大量的操作确实很麻烦。其实借鉴了当时google公布的gfs设计论文。google有相册服务。为每个用户提供上传图片存储。

估计，google是率先实现这种小文件网络存储系统的。



有个观点比较好：对于老板们而言，往往觉得，用钱能解决的都不算问题。但问题在于，你遇到的问题，别人都没遇到过。那这个时候你就没有经验可以参考或者直接拿来使用。只有自己参考一些思路去创造技术了。



三、关于图片进行云存储(cdn加速)



曾经看过这个，这个是比较适合创业公司的。价格相对便宜

https://www.upyun.com/

fteair

张兴康

fteair

张兴康 发表于 2018-1-11 15:11

张兴康

fteair

张兴康 发表于 2018-1-12 16:59

张兴康

张兴康