数据挖掘不是每天写SQL提取分析数据，数据挖掘，首先是根据需要分析的数据和想要研究的问题，建立相应的模型，然后针对性的研究数据中的共性特征，再根据共性特征结合数据趋势，得到需要的结果。
普通的数据分析师、数据挖掘工程师 = SQL工程师 + Excel工程师 + 统计学。高端的 = 数据 + 业务 + 解决方案。一般来说数据分析师产出的是分析报告、业务参谋建议，数据挖掘工程师产出的是有业务价值的数据。
写SQL 脚本：俗称“跑数据”。leader要一组 季度数据/月数据/周数据 ，写一段或者N段SQL把数据跑出来。一般是临时性需求，不过当发现默默地演变成一个常规性需求时，最好直接封装SP（存储过程）了……每次跑一下方便省事。
事务2：调用commit进行提交 事务1：再次查询上次的记录 此时事务1对同一数据查询了两次，可得到的内容不同，称为不可重复读。
按我个人经验有以下几种方法：在连接数据库的时候可以优化，使用连接池。主要就是不要频繁地创建，销毁连接。这是很费时的一个操作。因此，使用连接池来代替普通的建立连接操作，能提高并发度。 使用缓存技术。
在处理数据库连接问题时，MySQL的默认最大连接数为151，可通过修改my.cnf文件将它调整到不超过2000，以提升并发性能。监控连接数的方法包括查看MySQL当前连接状态和操作系统统计，例如使用netstat命令。连接池在并发处理中起关键作用，通过调整连接池大小，如从5提升到50，可以显著提高TPS（每秒事务处理数）。
在MySQL 中，事务的 自动提交 状态默认是开启的。 自动提交的作用 ：当我们执行一条 SQL 语句的时候，其产生的效果就会立即体现出来，且不能 回滚 。 什么是回滚？举个例子： 可以看到，在执行插入语句后数据立刻生效，原因是 MySQL 中的事务自动将它 提交 到了数据库中。
字段（column）：字段是指数据表的列，表由字段组成。索引（index）：索引是对数据库表中一列或多列的值进行排序的一种结构。类似于书籍的目录。主键（primary key）：主键是唯一的。一个数据表中只能包含一个主键。记录（record）：指数据，一行可称为一条记录。
数据类型对存储空间的影响、前缀索引和覆盖索引的运用，以及主键为自增ID的优化。冗余和重复索引应避免，通过Explain查看执行计划，了解查询是否有效利用了索引，避免全表扫描和全索引扫描。总之，理解MySQL索引的基础概念和优化策略，对于提升数据库性能至关重要。后续还会深入探讨更多MySQL知识点。
可以看到，当指定STRAIGHT_JOIN方式以后，MySQL就会先选择table1表，然后再进行的匹配。那么就有读者问了，这有啥好处呢？性能，还是性能。由于我这里测试数据比较少，大进行大量数据的访问时，我们指定STRAIGHT_JOIN让MySQL先读取左边的表，让MySQL按照我们的意愿来完成联接操作。在进行性能优化时，我们可以考虑使用STRAIGHT_JOIN。
整体场景总结如下：MySQL 的主从复制是依赖于 binlog 的，也就是记录 MySQL 上的所有变化并以二进制形式保存在磁盘上二进制日志文件。主从复制就是将 binlog 中的数据从主库传输到从库上，一般这个过程是异步的，即主库上的操作不会等待 binlog 同步的完成。
结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。
非结构化数据则是指那些字段长度可变，且每个字段的记录可能包含可重复或不可重复的子字段的数据。这类数据不仅适用于处理结构化数据，如数字和符号，也更适合处理非结构化数据，如文本、图像、音频、视频和超媒体等。（3）数据清洗是数据处理过程中的最后一步，它涉及发现并纠正数据文件中的错误。
非结构化数据则是指那些字段长度可变，且每个字段的记录可能包含可重复或不可重复子字段的数据。非结构化数据库不仅能够处理结构化数据，如数字和符号，也适合处理非结构化数据，包括文本、图像、声音、视频和超媒体等信息。
结论：结构化数据与非结构化数据是数据存储和管理的两种主要形式。结构化数据，如同企业ERP和财务系统的数据库，是预定义、规则化的数据，适用于高速存储、备份、共享和容灾需求。这类数据通常是固定的字段和格式，如数字和符号，适合于精确的分析和操作。
