一:为什么要分表
当一张表的数据达到几百万时,你查询一次所花的韶光会变多,如果有联合查询的话,有可能会去世在那儿了。分表的目的就在于此,减小数据库的包袱,缩短查询韶光。日常开拓中我们常常会碰着大表的情形,所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于弘大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情形,性能会更加糟糕。分表和表分区的目的便是减少数据库的包袱,提高数据库的效率,常日点来讲便是提高表的增编削查效率。数据库中的数据量不一定是可控的,在未进行分库分表的情形下,随着韶光和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增编削查的开销也会越来越大;其余,由于无法进行分布式式支配,而一台做事器的资源(CPU、磁盘、内存、IO 等)是有限的,终极数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
二:分表的方案

1,做 mysql 集群,有人会问 mysql 集群,根分表有什么关系吗?虽然它不是实际意义上的分表,但是它启到了分表的浸染,做集群的意义是什么呢?为一个数据库减轻包袱,说白了便是减少 sql 排队行列步队中的 sql 的数量,举个例子:有 10 个 sql 要求,如果放在一个数据库做事器的排队行列步队中,他要等很永劫光,如果把这 10 个 sql 要求,分配到 5 个数据库做事器的排队行列步队中,一个数据库做事器的行列步队中只有 2 个,这样等待韶光是不是大大的缩短了呢?
linux mysql proxy 的安装,配置,以及读写分离
mysql replication 互为主从的安装及配置,以及数据同步
优点:扩展性好,没有多个分表后的繁芜操作(php 代码)
缺陷:单个表的数据量还是没有变,一次操作所花的韶光还是那么多,硬件开销大。
2. 垂直分割便是按字段分。水平分割。便是按记录分
「社区福利」30G-PHP进阶资料,助力大家达到30K
2. 数据库优化有哪些?分别须要把稳什么?
SQL 优化的原则是:将一次操作须要读取的 BLOCK 数减到最低,即在最短的韶光达到最大的数据吞吐量。
调度不良 SQL 常日可以从以下几点切入:
检讨不良的 SQL,考虑其写法是否还有可优化内容
检讨子查询 考虑 SQL 子查询是否可以用大略连接的办法进行重新书写
检讨优化索引的利用
考虑数据库的优化器
避免涌现 SELECT FROM table 语句,要明确查出的字段。
在一个 SQL 语句中,如果一个 where 条件过滤的数据库记录越多,定位越准确,则该 where 条件越该当前移。
查询时尽可能利用索引覆盖。即对 SELECT 的字段建立复合索引,这样查询时只进行索引扫描,不读取数据块。
在判断有无符合条件的记录时建议不要用 SELECT COUNT ()和 select top 1 语句。
利用内层限定原则,在拼写 SQL 语句时,将查询条件分解、分类,并只管即便在 SQL 语句的最里层进行限定,以减少数据的处理量。
应绝对避免在 order by 子句中利用表达式。
如果须要从关联表读数据,关联的表一样平常不要超过 7 个。
小心利用 IN 和 OR,须要把稳 In 凑集中的数据量。建议凑集中的数据不超过 200 个。
<> 用 < 、> 代替,> 用 >= 代替,< 用 <= 代替,这样可以有效的利用索引。
在查询时只管即便减少对多余数据的读取包括多余的列与多余的行。
对付复合索引要把稳,例如在建立复合索引时列的顺序是 F1,F2,F3,则在 where 或 order by 子句中这些字段涌现的顺序要与建立索引时的字段顺序同等,且必须包含第一列。只能是 F1 或 F1,F2 或 F1,F2,F3。否则不会用到该索引。
多表关联查询时,写法必须遵照以下原则,这样做有利于建立索引,提高查询效率。格式如下
select sum(table1.je) from table1 table1, table2 table2, table3 table3 where (table1的等值条件(=)) and(table1的非等值条件) and (table2与table1的关联条件) and (table2的等值条件) and (table2的非等值条件) and(table3与table2的关联条件) and (table3的等值条件) and (table3的非等值条件)。
注:关于多表查询时 from 后面表的涌现顺序对效率的影响还有待研究。
子查讯问题。对付能用连接办法或者视图办法实现的功能,不要用子查询
在 WHERE 子句中,避免对列的四则运算,特殊是 where 条件的左边,严禁利用运算与函数对列进行处理。比如有些地方 substring 可以用 like 代替。
如果在语句中有 not in(in)操作,应考虑用 not exists(exists)来重写,最好的办法是利用外连接实现。
对一个业务过程的处理,该当使事物的开始与结束之间的韶光间隔越短越好,原则上做到数据库的读操作在前面完成,数据库写操作在后面完成,避免交叉。
请小心不要对过多的列利用列函数和 order by,group by 等,谨慎利用 disti 软件开拓 t。
用 union all 代替 union,数据库实行 union 操作,首先先分别实行 union 两端的查询,将其放在临时表中,然后在对其进行排序,过滤重复的记录。
当已知的业务逻辑决定 query A 和 query B 中不会有重复记录时,该当用 union all 代替 union,以提高查询效率。
20、选取最适用的字段属性 ,MySQL 可以很好的支持大数据量的存取,但是一样平常说来,数据库中的表越小,在它上面实行的查询也就会越快。因此,在创建表的时候,为了得到更好的性能,我们可以将表中字段的宽度设得尽可能小。
例如,在定义邮政编码这个字段时,如果将其设置为 CHAR (255), 显然给数据库增加了不必要的空间,乃至利用 VARCHAR 这种类型也是多余的,由于 CHAR (6) 就可以很好的完成任务了。同样的,如果可以的话,我们该当利用 MEDIUMINT 而不是 BIGIN 来定义整型字段。
其余一个提高效率的方法是在可能的情形下,该当只管即便把字段设置为 NOTNULL,这样在将来实行查询的时候,数据库不用去比较 NULL 值。
对付某些文本字段,例如 “省份” 或者 “性别”,我们可以将它们定义为 ENUM 类型。由于在 MySQL 中,ENUM 类型被当作数值型数据来处理,而数值型数据被处理起来的速率要比文本类型快得多。这样,我们又可以提高数据库的性能。
3. web 开拓方面会碰着哪些缓存?分别如何优化?
浏览器缓存
在任何当代浏览器上 (如 IE, FireFox, Chrome) 折腾打消隐私数据的对话框,你很可能会把稳到 “缓存” 这个设置项。
代理做事器缓存
Web 代理做事器利用同样的缓存事理,只是规模更大。代理以同样的办法做事千万用户,大公司和 ISP 常常在他们的防火墙或者单独的设备(也被称为中介 (intermediaries))上架设代理缓存。
网关缓存
也被称为 “反向代理缓存” 或 “替代缓存”。网关缓存同样是起中介浸染的,不过不是网络管理员支配的,而多数是网站管理员(公司专门的运维工程师、或 UED 或程序组某人 Add)支配,这样更随意马虎扩展与掩护。
4. 给你 256M 的内存,统计 10G 文件每个关键字涌现的次数如何实现?
思路
$handle=fopen("/tmp/uploadfile.txt","r")ordie("Couldn't get handle");if($handle){while(!feof($handle)){$buffer=fgets($handle,4096);// Process buffer here..}fclose($handle);}
5. PHP 的生命周期 / 启动流程
完全的生命周期为模块初始化、要求初始化、要求处理、要求关闭、模块关闭五大阶段。
cli 模式下,每个脚本都会完全的实行上面的五大阶段;对付 fastcgi 模式而言,只在启动时会实行模块初始化,之后的要求都走了要求初始化、处理要求、要求关闭三大阶段,在 fastcgi 关闭时实行模块关闭阶段。各个扩展的加载也是在模块初始化阶段完成的。
6. 说一下 PHP 的(内存)垃圾回收机制
每一个变量对应一个 zval 数据构造,在该构造内还有一个 val 构造体,该构造体内有一个引用计数(php7 而言,对付 php5,这个引用计数是保存在 zval 构造中的),标识该工具的引用数,当工具的引用计数为 0 时期表这个工具可被回收。
工具的 refcount 减少的机遇:修正变量、函数返回(开释局部变量)、unset 变量
对付数组和工具而言,可能存在变量中的成员引用变量本身的情形,也便是循环引用,这样会造成这个变量永久不会被内存回收,而成为垃圾。
PHP 里对付这种情形给出了垃圾回收机制:如果数组、工具的引用计数减少而且不为零,则认为他们可能是垃圾,把他们放到垃圾网络器里。等垃圾网络器到了一定的数量之后,进行垃圾处理:对所有可能的垃圾 refcount 减 1,如果为 1,解释是垃圾,则进行内存回收;如果不为 1,解释还有其他变量在利用,refcount 重新加 1;这种工具复用以及垃圾回收机制在其他措辞中也有表示:redis 中也利用了引用计数表示每个工具的引用数量。
7. PHP7 与 PHP5 的差异
改进的性能 - 将 PHPNG 代码合并到 PHP7 中,速率是 PHP 5 的两倍。
降落内存花费 - 优化的 PHP 7 利用较少的资源。
标量类型声明 - 现在可以逼迫实行参数和返回类型。
同等的 64 位支持 - 对 64 位体系构造机器的同等支持。
改进了非常层次 - 非常层次得到了改进
许多致命的缺点转换为例外 - 例外范围增加,涵盖许多致命的缺点转换为例外。
安全随机数发生器 - 增加新的安全随机数发生器 API。
已弃用的 SAPI 和扩展已删除 - 各种旧的和不受支持的 SAPI 和扩展从最新版本中删除。
空合并运算符(?) - 添加了新的空合并运算符。
返回和标量类型声明 - 支持所添加的返回类型和参数类型。
匿名类 - 支持匿名添加。
零本钱断言 - 支持零本钱断言增加。
8. MongoDB 运用处景
mongodb 支持副本集、索引、自动分片,可以担保较高的性能和可用性。
更高的写入负载
默认情形下,MongoDB 更侧重高数据写入性能,而非事务安全,MongoDB 很适宜业务系统中有大量 “低代价” 数据的场景。但是应该避免在高事务安全性的系统中利用 MongoDB,除非能从架构设计上担保事务安全。
高可用性
MongoDB 的复副集 (Master-Slave) 配置非常简洁方便,此外,MongoDB 可以快速相应的处理单节点故障,自动、安全的完成故障转移。这些特性使得 MongoDB 能在一个相对不稳定(如云主机)的环境中,保持高可用性。
数据量很大或者未来会变得很大
依赖数据库 (MySQL) 自身的特性,完成数据的扩展是较困难的事,在 MySQL 中,当一个单达表到 5-10GB 时会涌现明显的性能降级,此时须要通过数据的水平和垂直拆分、库的拆分完成扩展,利用 MySQL 常日须要借助驱动层或代理层完成这类需求。而 MongoDB 内建了多种数据分片的特性,可以很好的适应大数据量的需求。
基于位置的数据查询
MongoDB 支持二维空间索引,因此可以快速及精确的从指定位置获取数据。
表构造不明确
在一些传统 RDBMS 中,增加一个字段会锁住全体数据库 / 表,或者在实行一个重负载的要求时会明显造成其它要求的性能降级。常日发生在数据表大于 1G 的时候(昔时夜于 1TB 时愈甚)。 因 MongoDB 是文档型数据库,为非构造货的文档增加一个新字段是很快速的操作,并且不会影响到已有数据。其余一个好处当业务数据发生变革时,是将不在须要由 DBA 修正表构造。
9. PHP 短信验证码防刷机制
1、韶光限定:60 秒后才能再次发送
从发送验证码开始,前端(客户端)会进行一个 60 秒的倒数,在这一分钟之内,用户是无法提交多次发送信息的要求的。这种方法虽然利用得比较普遍,但是却不是非常有用,技能轻微好点的人完备可以绕过这个限定,直接发送短信验证码。
2、手机号限定:同一个手机号,24 小时之内不能够超过 5 条
对利用同一个手机号码进行注册或者其他发送短信验证码的操作的时候,系统可以对这个手机号码进行限定,例如,24 小时只能发送 5 条短信验证码,超出限定则进行报错(如:系统繁忙,请稍后再试)。然而,这也只能够避免人工手动刷短信而已,对付批量利用不同手机号码来刷短信的机器,这种方法也是无可奈何的。
3、短信验证码限定:30 分钟之内发送同一个验证码
网上还有一种方法说:30 分钟之内,所有的要求,所发送的短信验证码都是同一个验证码。第一次要求短信接口,然后缓存短信验证码结果,30 分钟之内再次要求,则直接返回缓存的内容。对付这种办法,不是很清楚短信接口商会不会对发送缓存信息收取用度,如果有兴趣可以理解理解。
4、前后端校验:提交 Token 参数校验
这种办法比较少人说到,个人以为可以这种方法值得一试。前端(客户端)在要求发送短信的时候,同时向做事端提交一个 Token 参数,做事端对这个 Token 参数进行校验,校验通过之后,再向要求发送短信的接口向用户手机发送短信。
5、唯一性限定:微信产品,限定同一个微信 ID 用户的要求数量
如果是微信的产品的话,可以通过微信 ID 来进行识别,然后对同一个微信 ID 的用户限定,24 小时之内最多只能够发送一定量的短信。
6、产品流程限定:分步骤进行
例如注册的短信验证码利用场景,我们将注册的步骤分成 2 步,用户在输入手机号码并设置了密码之后,下一步才进入验证码的验证步骤。
7、图形验证码限定:图形验证通过后再要求接口
用户输入图形验证码并通过之后,再要求短信接口获取验证码。为了有更好的用户体验,也可以设计成:一开始不须要输入图形验证码,在操作达到一定量之后,才须要输入图形验证码。详细情形请根据详细场景来进行设计。
8、IP 及 Cookie 限定:限定相同的 IP/Cookie 信息最大数量
利用 Cookie 或者 IP,能够大略识别同一个用户,然后对相同的用户进行限定(如:24 小时内最多只能够发送 20 条短信)。然而,Cookie 能够清理、IP 能够仿照,而且 IP 还会涌现局域网相同 IP 的情形,因此,在利用此方法的时候,该当根据详细情形来思考。
9、短信预警机制,做好出问题之后的防护
以上的方法并不一定能够完备杜绝短信被刷,因此,我们也该当做好短信的预警机制,即当短信的利用量达到一定量之后,向管理员发送预警信息,管理员可以急速对短信的接口情形进行监控和防护。
10. 如何设计一个高并发的系统
① 数据库的优化,包括合理的事务隔离级别、SQL 语句优化、索引的优化
② 利用缓存,只管即便减少数据库 IO
③ 分布式数据库、分布式缓存
④ 做事器的负载均衡
11. PHP 的掌握反转 (IOC) 和依赖注入 (DI) 观点
IOC(inversion of control)掌握反转模式;掌握反转是将组件间的依赖关系从程序内部提到外部来管理;
DI(dependency injection)依赖注入模式;依赖注入是指将组件的依赖通过外部以参数或其他形式注入;
12. mySQL 里有 2000w 数据,redis 中只存 20w 的数据,如何担保 redis 中的数据都是热点数据
干系知识:redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略(回收策略)。redis 供应 6 种数据淘汰策略:
volatile-lru:从已设置过期韶光的数据集(server.db [i].expires)中挑选最近最少利用的数据淘汰
volatile-ttl:从已设置过期韶光的数据集(server.db [i].expires)中挑选将要过期的数据淘汰
volatile-random:从已设置过期韶光的数据集(server.db [i].expires)中任意选择数据淘汰
allkeys-lru:从数据集(server.db [i].dict)中挑选最近最少利用的数据淘汰
allkeys-random:从数据集(server.db [i].dict)中任意选择数据淘汰
no-enviction(驱逐):禁止驱逐数据
末了,祝所有大家在口试中过关斩将,拿到心仪offer。