大数据测试工具数据推算工具(夫妻宫半和金局)
常用的大数据工具有哪些?
常用的大数据采集工具有八爪鱼、Content Grabber、Parsehub、Mozenda、Apache Flume等。
八爪鱼是一款免费的、可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据。
Content Grabber是一个支持智能抓取的网页爬虫软件。
Parsehub是一款基于网页的爬虫流程。
Mozenda是一款网页抓取软件，它还不错为商业级数据抓取提供定制服务。
Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持顾客扩展的数据采集系统。未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据剖析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持程序化的模型配置。通过第3方插件技术，比较容易将其他工具及服务集成到平台中去。数据剖析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、剖析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。
未至科技小蜜蜂互联网信息雷达是一款互联网信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的互联网数据采集目标，为网络数据剖析提供基础。
未至科技泵站是一款大数据平台数据抽取工具，实现db到hdfs数据导入功能，借助Hadoop提供高效的集群分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决大数据传统抽取致使的作业负载过大抽取时间过长的问题，为大数据仓库提供传输管道。
未至科技云计算数据中心以先进的中文数据处理和海量数据支撑为技术基础，并在各个环节辅以人工服务，使得数据中心能够安全、高效运行。依据云计算数据中心的区别环节，我们专门配备了系统管理和维护人员、数据加工和编撰人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和剖析人员等，满足各个环节的需要。面向用户我们提供面向和面向企业的处理方案。
未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术，
包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop
MapReduce的文本挖掘软件能够实现海量文本的挖掘剖析。CKM的一个重要应用范畴为智能比对，
在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等范畴皆有着宽广的应用。
未至科技数据立方是一款大数据可视化关系挖掘工具，体现方式包括关系图、时间轴、剖析图表、列表等多种表达方式，为使用者提供全方位的信息体现方式。
常用的大数据剖析软件有哪些?
数据剖析的工具千万种，综合起来万变不离其宗。不外乎是数据获取、数据存储、数据管理、数据计算、数据剖析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据剖析工具。
工具介绍
1。前端体现
用于体现剖析的前端开源工具有JasperSoft，Pentaho， Spagobi， Openi， Birt等等。
用于体现剖析商用剖析工具有Style Intelligence、RapidMiner Radoop、Cognos， BO， Microsoft Power BI， Oracle，Microstrategy，QlikView、 Tableau 。
国内的有BDP，国云数据（大数据魔镜），思迈特，FineBI等等。
2。数据仓库
有Teradata AsterData， EMC GreenPlum， HP Vertica 等等。
3。数据集市
有QlikView、 Tableau 、Style Intelligence等等。
更多阅读
大数据剖析的六个基本方面
1。Analytic Visualizations（可视化剖析）
无论是对数据剖析专业人士还是普通用户，数据可视化是数据剖析工具最根本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
2、、Data Mining Algorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点剖析还有其他别的算法使俺们深入数据内部，挖掘价值。这几个算法不但要处理大数据的量，也要处理大数据的速度。
3。Predictive Analytic Capabilities（预测推算性剖析能力）
数据挖掘能够让剖析员更佳的理解数据，而预测推算性剖析能够让剖析员依据可视化剖析和数据挖掘的结果做出一些预测推算性的判断。
4。Semantic Engines（语义引擎）
大家都清楚因为非结构化数据的多样性带过来了数据剖析的新的挑战，大家需要一系列的工具去解析，提取，剖析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5。Data Quality and Master Data Management（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的程序和工具对数据进行处理可以保证一个预先定义好的高质量的剖析结果。
如果大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的有益之处，而不但仅是挑战。
6。数据存储，数据仓库
数据仓库是为了便于多维剖析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据剖析和数据挖掘提供数据平台。
简单推荐一些我常用到的大数据剖析软件1、专业的大数据剖析工具
2、各式Python数据可视化第3方库
3、其它语言的数据可视化框架
1。专业的大数据剖析工具
1。FineReport
FineReport是一款纯Java创作的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，仅需要简单容易的拖拽操作便可以设计复杂的中国式报表，搭建数据决策剖析系统。
2。FineBI
FineBI是新一代自助大数据剖析的商业智能产品，提供了从数据准备、自助数据处理、数据剖析与挖掘、数据可视化于一体的完整处理方案，也是我比较推崇的可视化工具之一。
FineBI的使用感同Tableau类似，都主张可视化的探索性剖析，有点像加强版的数据透视表。上手简单，可视化库丰富。可以充当数据报表的门户，也可以充当各业务剖析的平台。
2。Python的数据可视化第3方库
Python正慢慢地成为数据剖析、数据挖掘范畴的主流语言之一。在Python的生态里，许多开发者们提供了非常富饶的、用于各式场景的数据可视化第3方库。这几个第3方库能够让我们结合Python语言绘制出漂亮的图表。
1。pyecharts
Echarts(下面会提到)是一个开源免费的javascript数据可视化库，它使俺们可以轻松地绘制专业的商业数据图表。当Python遇上了Echarts，pyecharts便诞生了，它呢其实是由chenjiandongx等一群开发者维护的Echarts Python接口，使俺们可Yi经过Python语言绘制出各式Echarts图表。
2。Bokeh
Bokeh是一款基于Python的交互式数据可视化工具，它提供了优雅简洁的方式方法来绘制样式不一的图形，可以高性能的可视化大型数据集以及流数据，帮助我们制作交互式图表、可视化仪表板等。
3。其他数据可视化工具
1。Echarts
前面说过了，Echarts是一个开源免费的javascript数据可视化库，它使俺们可以轻松地绘制专业的商业数据图表。
众所周知去年春节以及近期养世大规划报道的百度大数据产品，如百度迁徙、百度司南、百度大数据预测推算等等，这几个产品的数据可视化均是通过ECharts来实现的。
2。D3
D3（Data Driven Documents）是支持SVG渲染的另一种JavaScript库。不过D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。
差不多就如此多了，希望能帮到楼主
数据剖析软件有Excel、SAS、R、SPSS、Tableau Software。
1。Excel
为Excel微软办公套装软件的一个重要的组成部分，它真的可以进行各式数据的处理、统计剖析和辅助决策操作，广泛地使用于管理、统计财经、金融等众多范畴。
2。SAS
SAS由美国NORTH CAROLINA州立大学1966年开发的统计剖析软件。SAS把数据存取、管理、剖析和体现有机地融为一体。SAS提供了从基本统计数的计算到各式试验设计的方差剖析，相关回归剖析以及多变数剖析的多种统计剖析过程，几乎囊括了所有最新剖析方法。
3。R
R拥有一套完整的数据处理、计算和制图功能。可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。
4。SPSS
SPSS除了数据录入及部分命令流程等少数输入工作需要键盘键入外，大都操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成。
5。Tableau Software
Tableau Software用以快速剖析、可视化并共享信息。Tableau Desktop 是基于斯坦福大学冲破性技术的软件应用流程。它真的可以以在几分钟内生成美观的图表、坐标图、仪表盘与报告。
大数据处理必须准备的十大工具!
大数据的日益增长，给企业管理大量的数据带过来了挑战的并且也带过来了一些机遇。以下是用于信息化治理的大数据工具列表：
1、ApacheHive
Hive是一个建立在hadoop上的开源数据仓库基础设施，通过Hive可以比较容易的推进数据的ETL，对数据进行结构化处理，并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单容易的类似SQL的查询语言—HiveQL，这为熟悉SQL语言的用户查询数据提供了方便。
2JaspersoftBI套件
Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领路人者发现Jaspersoft软件是一流的，很多企业已经使用它来将SQL表转化为pdf，，这使任何人皆可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。
3、1010data
1010data创立于两千年，是一个总部设在纽约的剖析型云服务，旨在为华尔街的顾客提供服务，甚至包括NYSEEuronext、 游戏 和电信的顾客。它在设计上支持可伸缩性的大规模并行处理。它亦有其本人的查询语言，支持SQL函数和宽广的查询类型，包括图和时间序列剖析。这个私有云的方式方法减少了顾客在基础设施管理和扩展方面的压力。
4、Actian
Actian之前之名字叫做IngresCorp，它拥有超过一万顾客而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这几个发展分别致使了ActianVector和ActianMatrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。
5、PentahoBusinessAnalytics
从某种意义上说，Pentaho与Jaspersoft相比起来，尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理。Pentaho的工具可以连接到非也SQL数据库，例如MongoDB和Cassandra。PeterWayner指出，PentahoData(一个更有意思的图形编程界面工具)有许多内置模块，你可以把它们拖放到一个图片上，紧接着将它们连接起来。
6、KarmasphereStudioandAnalyst
KarsmasphereStudio是一组构建在Eclipse上的插件，它是一个更易于创建和运行Hadoop任务的专用IDE。在配置一个Hadoop工作时，Karmasphere工具将引导您完成每个步骤并显示部分结果。当出现所有数据处于同一个Hadoop集群的情形时，KarmaspehereAnalyst旨在简化筛选的过程，。
7、Cloudera
Cloudera正在努力为开源Hadoop，提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”领域，这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以 使用作集成Hadoop与传统数据仓库的基础。Cloudera致力于成为数据治理的“重心”。
8、HPVerticaAnalyticsPlatformVersion7
HP提供了用于加载Hadoop软件发行版需要的参考硬件配置，由于它本身其实没有本人的Hadoop版本。计算机行业领袖将其大数据平台架构命名为HAVEn(意为Hadoop，Autonomy，Vertica，EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增添了一个“FlexZone”，允许用户在定义数据库方案以及相关剖析、报告之前 探索 大型数据集中的数据。这个版本通过使用HCatalog作为元数据存储，与Hadoop集成后为用户提供了一种 探索 HDFS数据表格视图的方式方法。
9、TalendOpenStudio
Talend’s工具用于协助进行数据质量、数据集成和数据管理等方面工作。Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期治理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构，在次架构下，集成并启用百分之百开源服务的分布式应用流程变为可能。
10、ApacheSpark
ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，由于它依赖于本人的数据处理框架而不是依靠Hadoop的HDFS服务。并 且，它还用于事件流处理、实时查询和机器学习等方面。
请问针对OJ上的大数据测试，求大神给测例? 测例希望全面，离奇……_百 。。。
能在网上寻找标准流程(多数都会有)，假如没有的话写一个可来确保正确的暴力代码，紧接着写一个随机生成数据的流程，用一个bat文件，不断的造小数据使自己的代码和标算(暴力)跑，校对答案。(以上方法俗称对拍)
bat 文件如下
:1
make_data
a
a_
fc a。out a_。out
if errorlevel==1 pause
goto 1
a为你的流程的名称，a_为标算或暴力，fc假如不能使用可以去C盘里找出来，紧接着放到流程边上。
因为数据是随机生成的，所以假如代码有明显的漏洞，比较容易就拍出来(特别是一些细节与关键上的问题)，然而也有代码在随机数据的情形下表现的特别好，不过会被构造的数据卡掉，可以try构造极端的数据来进行测试。
综上所述对拍对的代码不一定就是正确的，遇见错误时最好还是先再理一遍本人的思路，跟着本人的代码走一遍，确认思路没有错之后再使用对拍。
何谓大数据测试?
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、觉察发现力和程序优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），平台有hadoop
