涕零
1. mysql，大数据量，表怎么设计
通过数据表来统计，数据量太大的话，可以建适合的索引来统计； 另外也可以通过nosql来做计数器
2. 怎么在word里做大数据表格，急
用横排吧，“文件”→“页面设置”→“页边距”→“方向”→选择“横向”
3. 说明在设计数据库表时你是如何考虑的
数据库是整个软件应用的根基，是软件设计的起点，它起着决定性的质变作用，因此我们必须对数据库设计高度重视起来，培养设计良好数据库的习惯，是一个优秀的软件设计师所必须具备的基本素质条件！ 那么我们要做到什么程度才是对的呢？下面就说说数据库设计的原则： （1）、数据库设计最起码要占用整个项目开发的40%以上的时间 数据库是需求的直观反应和表现，因此设计时必须要切实符合用户的需求，要多次与用户沟通交流来细化需求，将需求中的要求和每一次的变化都要一一体现在数据库的设计当中。如果需求不明确，就要分析不确定的因素，设计表时就要事先预留出可变通的字段，正所谓“有备无患”。 （2）、数据库设计不仅仅停留于页面demo的表面 页面内容所需要的字段，在数据库设计中只是一部分，还有系统运转、模块交互、中转数据、表之间的联系等等所需要的字段，因此数据库设计绝对不是简单的基本数据存储，还有逻辑数据存储。 （3）、数据库设计完成后，项目80%的设计开发在你脑海中就已经完成了 每个字段的设计都是有他必要的意义的，你在设计每一个字段的同时，就应该已经想清楚程序中如何去运用这些字段，多张表的联系在程序中是如何体现的。换句话说，你完成数据库设计后，程序中所有的实现思路和实现方式在你的脑海中就已经考虑过了。如果达不到这种程度，那当进入编码阶段后，才发现要运用的技术或实现的方式数据库无法支持，这时再改动数据库就会很麻烦，会造成一系列不可预测的问题。 （4）、数据库设计时就要考虑到效率和优化问题 一开始就要分析哪些表会存储较多的数据量，对于数据量较大的表的设计往往是粗粒度的，也会冗余一些必要的字段，已达到尽量用最少的表、最弱的表关系去存储海量的数据。并且在设计表时，一般都会对主键建立聚集索引，含有大数据量的表更是要建立索引以提供查询性能。对于含有计算、数据交互、统计这类需求时，还要考虑是否有必要采用存储过程。 （5）、添加必要的（冗余）字段 像“创建时间”、“修改时间”、“备注”、“操作用户IP”和一些用于其他需求（如统计）的字段等，在每张表中必须都要有，不是说只有系统中用到的数据才会存到数据库中，一些冗余字段是为了便于日后维护、分析、拓展而添加的，这点是非常重要的，比如黑客攻击，篡改了数据，我们便就可以根据修改时间和操作用户IP来查找定位。 （6）、设计合理的表关联 若多张表之间的关系复杂，建议采用第三张映射表来关联维护两张表之间的关系，以降低表之间的直接耦合度。若多张表涉及到大数据量的问题，表结构尽量简单，关联也要尽可能避免。 （7）、设计表时不加主外键等约束性关联，系统编码阶段完成后再添加约束性关联 这样做的目的是有利于团队并行开发，减少编码时所遇到的问题，表之间的关系靠程序来控制。编码完成后再加关联并进行测试。不过也有一些公司的做法是干脆就不加表关联。 （8）、选择合适的主键生成策略
4. 问卷调查的数据库表的设计方式
一般用N个text字段来做来(比如F1,f2,f3,f4…..f50).然后加自一个标识字段(如type).再加一二个meno字段来存大数据(如context1,context2),再建几个公用性比强的如(user,phone,tel,sex)写程序时,把小的问题,按问题系号,1,2,3将结果存用度f1,f2,f3中…用手写的就存入context1字段.如果有好几个手写的,context字段不够用时,可以用一个特殊字符做分隔,将两三个问题同存于一个context字段中.这样就OK了
5. Oracle数据库大数据量表如何优化
要看数据多到何种程度。比如一个表的笔数只是几百，如果不需要和其他大表关联查询数据，连索引都不用建。如果是几十万级别的表，一般正确建索引就可以。如果是千万级别的表，不但要正确建索引，而且要定时手工进行收集统计信息维护，不建议系统自动维护，以免影响使用性能。如果是亿以上级别的表，则可考虑按一定条件拆分表资料，将旧资料归档，这样可改善生成表的使用。数据库优化的同时，程序也要进行相应优化，程序和数据科学搭配，才能使性能达到最佳。
6. 大数据量快速处理的架构设计
大数据量快速处理的架构设计在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这时回顾前期的设计，就会发现好多问题。 可能是数据模型设计的时候没有考虑表的分区和及时归档、sql的设计没有考虑索引或全表扫描、数据的处理没有考虑及时的分批切分、并发处理的多线程可配置化等等， 为了以后的设计不要走相同的错路。这里暂时简要总结一下。1 最初要考虑归档和分区。所有可能的大表设计，都要在最初的时候考虑归档和分区。数据冲上高水位（HighWaterMark）后，即使有归档也不会降低高水位，性能可能也存在消耗，所以要及时归档转移数据。 最好是设置分区表，这样分区表可以进行及时的truncate或者drop再重新add分区。 可以灵活的控制存储。2 sql条件精准定位。大的关联sql查询，一定要尽量的精准抽取数据范围，不要模糊抽取过多数据，含好多无用的后面再过滤，这很可能影响数据库的执行计划判断导致性能下降。3 快速定位数据，分批支持流水并发。大批量数据处理，首先要用最简单的方式找到目标最小集群的数据，从大范围中抽出来，并进行切分。切分的目的是可以使用多线程并发处理数据，并且隔离各分区的数据不会重复，也不能有遗漏，这样并发时不会造成数据干扰。4 流水线并发处理提升时效。采用3的切分多批＋多线程并发的方式，就可以针对有多个步骤的业务逻辑处理时，不用瀑布模式等待执行，而是可以流水线样的多条执行，实现了多并发，无时间和空间的浪费。 对于有高时效的任务处理，具有可观的价值。
7. 如何用大数据的方法绘制知觉图
如何用大数据的方法绘制知觉图统研究时代，知觉图(perceptual map)是一个简洁直观解析品牌定位的经典工具。然而随着大数据时代的降临，传统的数据获取方法受到了不断的冲击，原来使用焦点小组(Focus Group) 或调研问卷获得数据变成了一项费时费力，且耗费成本的工作。大数据背景下，可不可以有更简单，更快捷的方式获知品牌及其竞争对手的定位？可不可以快速评价品牌定位是否达到目标位置？可不可以全面检验修正品牌传播策略正确与否？这些问题都值得我们来探讨。知觉图是什么？先来说说知觉图的含义：知觉图是消费者对某一系列产品或品牌的知觉和偏好的形象化表述。目的是尝试将消费者或潜在消费者的感知用直观的、形象化的图像表达出来。特别是用在产品、产品系列、品牌的定位方面，也会用于描述企业与竞争对手的相对位置方面。知觉图可以是多维的，但通常的情形是二维的。下图通过两维展示了消费者心目中笔记本电脑品牌在用户导向/标准配置，创意设计/经济实用方面的品牌定位。此例中，消费者认为，苹果品牌代表了创新设计及用户导向的特性。而三星笔记本则代表了经济实用和标准配置。*非真实数据，仅用于展示如何用大数据的方法绘制知觉图？绘制知觉图，涉及到至少6个步骤：确定研究方向：作为咨询研究公司，研究方向往往是通过对消费者的研究，获取其对于客户某产品及其竞争对手产品的感觉或偏好。这时我们要选择符合该产品的一系列变量指标以及想要研究的目标品牌。通常来说， 品牌和变量指标之间存在一个理想的比例关系，即1.3-1.6倍，也就是说如果研究8-10个品牌，大致需要14-15个变量。在传统研究时代，通过问卷获取消费者认知的阶段中，对于品牌的研究一般不超过20个，否则可能导致调查对象的疲倦，最终影响调研结果。而在大数据获取的背景下，数据是本身的获取是相对客观的，并不存在这个问题。这也算是大数据绘制知觉图的优势之一。获取数据本次介绍的大数据获取用户感知数据的方式，主要来自电商评论数据的获取。与传统途径相比，它具有采集快速，数据量大的特点。在HCR最新的研究项目中，仅6个月内关于几大剃须刀品牌的商品评论数据就采集33万条之多，而采集时间却仅用了一天。省去了问卷设计，调研对象邀约，答题，统计等多个环节，最终获取到多于问卷调研对象百倍的原始数据。当然这种大数据的采集方式，也会存在短板，比如评价不同品牌的个体不相同，个人评论的尺度的不同可能会影响最终的结果。但通过大量级的数据收集，可以将这种误差控制在可控范围内。任何一项研究都可能存在误差，而传统问卷抽样所导致的误差问题可能更明显。确定产品变量传统问卷的采集形式中，确定产品维度的工作是在数据采集前完成的，即先确定需要考察的产品属性，之后体现在问卷设计当中向调查对象提问。在大数据的研究方法中，在数据采集之后，可通过高频属性的方式，提炼出某产品最受关注的一系列属性。例如：物流，服务，促销，价格，外观，功能，质量，体验等。每一项指标分为正面，中性，负面。相当于以往问卷式研究中的1-3分量表，即负面等于1分表示不满意，中性等于2分表示一般，正面等于3分表示满意。数据处理计算每一条评价在不同的指标下的分数，汇总后取平均值，得到不同品牌在各项指标下的平均得分。此处以剃须刀为例（非真实数据）：用因子分析中的主成分分析法可以得出每个品牌及每项指标的两维（X,Y）值：绘图根据品牌及指标的X,Y值，绘制出知觉图。在绘制知觉图的时候，有一项工作是非常重要的。即坐标轴的命名。此处可根据轴两侧45%角内指标的特性，为X,Y轴命名。例如：X轴负半轴，可根据便携，价格和促销/赠品来命名，比如“经济实用”。如果遇到命名指标数量过少的情况，如Y轴负半轴，则可用正半轴相关指标的反义词来辅助命名。图表解读：位置越相近的品牌，说明他们的市场定位越接近。而同属一个象限的品牌，在本质上可以被聚类。例如博朗与松下；奔腾，科美及朗威；飞利浦与飞科。他们彼此形成强烈的竞争关系。对于这些品牌，可以通过知觉图检测品牌定位的正确与否，通过逐渐改变品牌定位的方法，迁移到理想的新位置。大数据时代的到来，提供了我们更多，更大的数据。获取数据的时间缩短了，成本降低了。但对于传统研究方法的借鉴，仍然是一个值得关注的话题。都说大数据往往缺少深入洞察，但HCR一直致力于将丰富的调研分析经验融入到新时代的背景下，将大小数据融合，不断为客户创造更高价值。
8. 请问什么算是大数据表，有什么数据衡量指标（比如：百万级）
大数据，现在说的大数据已经是PB级的了，最少也得上个百T吧据说对于大数据的表回创建索引可答能会引起整个数据库的性能降低：这个不能这么说，看具体使用的在大批量插入的时候有索引肯定会降低速度，但在更新和删除操作的时候也可能会加快速度的，这个没有绝对的，看具体的使用情况了
9. 一般用哪些工具做大数据图表分析
大数据图表分析的工具其实有很多，关键要看题主的是在什么样的业务场景下。
一般情况下，内Excel就可以满足日容常的使用需求，当然前提在于你对Excel足够熟练。
当然，如果你懂代码，可以用：Echarts ，如果你懂设计，可以用：Ai。这些都可以做大数据图表分析出来。
可是从题主的描述中，我看到两个关键词：数据积累多、领导看。
这就注定了Excel很难担此重任。所以在制作统计图表方面，你可能就需要使用一些更为灵活的软件。
作为业务人员或者分析师，你可能需要用到商业智能类的软件，比如：永洪BI
对于BI类产品来说，进行大数据图表分析简直就是小菜一碟，而永洪BI在国内的厂商中应该是做的最好的了。
进行大数据图表分析的时候，只需要把数据导入产品中，通过拖拖拽拽就可以生成统计图表了，而且完全不用担心数据量大的问题。
以下是几张有代表性的：
使用BI软件可以解决统计图表制作的问题，但是大数据图表分析的过程中，如何让图表表达更清楚的含义，有以下几个原则可以借鉴：
越简单越好，专注于表达核心信息；
在需要表达细节的时候，可以放更多的信息；
差异越大越好，这样会使得你的统计图表更明显，易于理解；
10. 大数据量的数据库表设计技巧
大数据量的数据库表设计技巧即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。技巧1：尽量不要使用代码。比如性别这个字段常见的做法：1代表男，0代表女。这样的做法意味着每一次查询都需要关联代码表。技巧2：历史数据中所有字段与业务表不要有依赖关系。如保存打印发票的时候，不要只保留单位代码，而应当把单位名称也保存下来。技巧3：使用中间表。比如职工工资，可以把每一位职工工资的合计保存在一张中间表中，当职工某一工资项目发生变化的时候，同时对中间表的数据做相应更新。技巧4：使用统计表。需要经常使用的统计数据，生成之后可以用专门的表来保存。技巧5：分批保存历史数据。历史数据可以分段保存，比如2003年的历史数据保存在 《2003表名》中，而2004年的历史数据则保存在《2004表名》中。 技巧6：把不常用的数据从业务表中移到历史表。比如职工档案表，当某一职工离开公司以后，应该把他的职工档案表中的信息移动到《离职职工档案表》中。1、经常查询的和不常用的分开几个表，也就是横向切分2、把不同类型的分成几个表，纵向切分3、常用联接的建索引4、服务器放几个硬盘，把数据、日志、索引分盘存放，这样可以提高IO吞吐率5、用优化器，优化你的查询6、考虑冗余，这样可以减少连接7、可以考虑建立统计表，就是实时生成总计表，这样可以避免每次查询都统计一次8、用极量数据测试一下数据速度，影响它的因数太多了，且数据量越大越明显。1、存储将硬盘分成NTFS格式，NTFS比FAT32快，并看你的数据文件大小，1G以上你可以采用多数据库文件，这样可以将存取负载分散到多个物理硬盘或磁盘阵列上。2、tempdbtempdb也应该被单独的物理硬盘或磁盘阵列上,建议放在RAID0上，这样它的性能最高,不要对它设置最大值让它自动增长3、日志文件日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上，这样也可以提高硬盘I/O性能。4、分区视图就是将你的数据水平分割在集群服务器上，它适合大规模OLTP,SQL群集上，如果你数据库不是访问特别大不建议使用。5、簇索引你的表一定有个簇索引，在使用簇索引查询的时候，区块查询是最快的，如用between，应为他是物理连续的，你应该尽量减少对它的updaet,应为这可以使它物理不连续。6、非簇索引非簇索引与物理顺序无关，设计它时必须有高度的可选择性，可以提高查询速度，但对表update的时候这些非簇索引会影响速度，且占用空间大，如果你愿意用空间和修改时间换取速度可以考虑。7、索引视图如果在视图上建立索引,那视图的结果集就会被存储起来，对与特定的查询性能可以提高很多，但同样对update语句时它也会严重减低性能，一般用在数据相对稳定的数据仓库中。8、维护索引你在将索引建好后，定期维护是很重要的，用dbccshowcontig来观察页密度、扫描密度等等，及时用dbccindexdefrag来整理表或视图的索引,在必要的时候用dbccdbreindex来重建索引可以受到良好的效果。不论你是用几个表1、2、3点都可以提高一定的性能，5、6、8点你是必须做的，至于4、7点看你的需求，我个人是不建议的。