数据分析统计学方法范文

导语：想要提升您的写作水平，创作出令人难忘的文章？我们精心为您整理的5篇数据分析统计学方法范例，将为您的写作提供有力的支持和灵感！

篇1

[中图分类号] G320 [文献标识码] B

近年来，随着全球经济一体化进程的加快和网络时代信息获取的便捷程度的极大提高，“用数据说话，做科学决策”已成为企业提高经营管理水平的必然选择，在全球500强企业中，90%以上的重要投资和经营决策都取决于充分的数据分析支持。数据分析在企业战略规划、项目投资决策、融资决策、营销决策、生产运营与管理决策中发挥的作用和价值日益显现，并已被我国政府部门和各行各业越来越多的企业所认同。在这一时代背景下，社会对项目数据分析师、市场调查分析师这些高技能应用型人才的需求旺盛，供给缺口巨大，据权威部门预测，在未来几年，我国对专业项目数据分析师的需求预计可达20万人，调查分析师的市场缺口则在100万人以上。面对社会对数据分析人才的强劲需求和高校经管专业毕业生就业难并存的局面，高校应充分地认识到，当今社会数据分析能力已成为经管类大学毕业生在职场中生存的一项核心能力，积极探讨提升经管类专业大学生数据分析能力的有效策略，对于更好地适应社会需求，提高大学生的职业竞争力具有重要的意义。

一、社会对数据分析人才的技能与素质要求分析

数据分析是指运用适当的统计分析方法对收集来的大量数据进行整理、分析，从数据中提取有用信息并形成分析结论，提出有价值的决策参考建议的过程。数据分析师是指在不同行业中，专门从事数据搜集、整理、分析，并依据数据做出行业或市场研究、评估和预测的专业人员。笔者通过对各大招聘网站数据分析师、市场调查/市场分析师等职位招聘信息的搜索和分析，深入挖掘并归纳出社会用人单位对数据分析师职位的技能和能力素质要求（详见下表1），以期为高校经管专业学生数据分析能力的培养提供参考。

从表1可以看出，数据分析能力是一种综合实践能力，它要求数据分析人员在了解行业状况及公司业务流程的基础上，构建数据分析的思路，主动地搜集相关数据，运用恰当的统计分析方法，借助于统计分析软件对数据进行处理和分析，从而得出分析结论，并撰写出有价值的分析报告。

通过以上分析，笔者认为，高校在经管类专业学生的培养定位中应对数据分析能力的培养给予充分的重视。应要求所有经管类专业的学生具备基本的数据分析能力，以适应本专业领域业务数据的收集、整理和初步分析的需要，并有针对性地培养出一批具有较强数据分析能力的学生，为他们考取项目数据分析师、调查分析师等资格证书创造条件，使他们有机会成为各行业中数据分析领域的高级专门人才。

二、经管类专业大学生数据分析能力培养中存在的主要问题

（一）经管类专业课程体系设置中缺少数据分析能力培养模块

当前，在许多高校经管类专业的培养方案中，较少设有专门讲授数据分析内容的课程。与数据分析相关的内容分散于《大学计算机基础》、《数据库应用基础》、《统计学》、《市场调查与预测》等课程，学生虽然从多门课程中接触到与数据分析相关的一些内容，但各门课程的教学资源未能实现有效的整合，如，《大学计算机基础》课程一般在大一开设，该门课程中将Excel软件作为办公自动化软件之一，一般只讲授简单的文字和数据录入及处理，并未涉及Excel软件的高级数据分析功能。而《统计学》和《市场调查与预测》课程一般在大二开设，主要侧重于从理论上介绍数据的收集、整理和数据分析的各种方法，以及市场调查和市场预测的各种方法，这两门课程主要为数据分析提供方法论的指导。这样的课程体系设置中就缺少了将数据分析的方法与数据分析的工具结合起来培养学生数据分析实际技能的课程，致使学生并未能有效、深入地掌握实际的数据分析技能。

（二）缺少实用性强的培养学生数据分析能力的实践教材

近年来，一些出版社出版了一批以Excel或SPSS为分析工具的统计分析教材，如：黄等编著的《Excel统计分析基础教程》、邓维斌等编著的《SPSS19（中文版）统计分析实用教程》等教材，这些教材在内容体系上与《统计学》教材大体相同，教材内容涉及面广，与企业实际需求结合不紧密且难度较大，对于没有数据分析基础的学生来讲很难掌握，而且有些高级统计分析方法在企业的实际工作中也很少能应用到。

（三）缺乏数据分析理论与实践能力兼备的教师队伍

培养学生的数据分析能力，首先需要拥有一支既懂数据分析理论又能指导学生统计软件操作的高水平的教师队伍，而长期以来统计学教学中一直存在的重理论，轻实践的状况，使得能够讲授《数据分析》实践课程的教师严重缺乏，这也是影响学生数据分析能力培养的关键制约因素。

（四）学生对数据分析存在畏惧心理

对于许多初次接触统计学和数据分析的学生，经常会对书中大量的数学公式和复杂的软件操作产生畏惧心理和回避心理，加之一些统计学教师在教学过程中对学生的学习没有加以正确的引导，致使很多学生从一开始就对掌握数据分析这门有用的技能失去了的兴趣和学习的信心，从而必然会影响到学习的效果。

三、经管类专业大学生数据分析能力提升策略的探讨

（一）完善学生数据分析能力培养模块

为强化学生数据分析能力的培养，高校经管类各专业的培养方案中应设置培养学生数据分析能力的模块。笔者认为，首先应将已开设的与学生数据分析能力培养相关的《大学计算机基础》、《数据库应用基础》、《统计学》、《市场调查与预测》等课程的内容进行有机地整合，在此基础上，在大三学年开设《数据分析基础》实践必修课，以加强学生数据分析的实际技能，构建学生数据分析能力的完备知识体系。同时，经管各专业还可根据需要增设《SPSS软件应用》作为专业选修课，以满足那些对数据分析有浓厚兴趣，准备考取项目数据分析师、调查分析师资格证书，有志于成为数据分析专门人才的学生的需求。

（二）开发实用性强的《数据分析》实践教材

借鉴社会项目数据分析师、调查分析师资格认证相关培训教材，编写一部《数据分析基础》实践教材，教材将以通用的Excel软件为分析工具，这样可以降低学习难度，从心理上拉近与非统计专业学生的距离，目的是使经管专业的学生掌握必知必会的数据分析概念、流程和操作，以适应社会对经管类应用型人才应具备基本的数据分析技能的需求。教材的内容体系将按数据分析的流程构建，具体内容将设以下7大模块：1.数据分析概述；2.数据采集；3.数据处理；4.数据分析（包括数据分析方法、数据分析工具的使用）；5.数据呈现；6.报告撰写；7.综合案例。

（三）培养一支数据分析理论与实践能力兼备的教师队伍

针对当前部分高校缺乏数据分析理论与实践能力兼备的讲师队伍的难题，学校可以采取“引进来，走出去”的办法多渠道解决专业师资力量不足的问题，一方面可以从其他学校聘请专业教师授课，也可以派出本学校中、青年教师到其他设有统计学专业的高校进行短期的进修学习，以提高数据分析的理论水平和实践能力，此外，学校还可以鼓励本校中、青年教师考取项目数据分析师等资格证书，以深入地了解社会对数据分析能力的需求，使学校的人才培养定位与社会需求能够实现无缝对接。

（四）培养学生对数据分析的浓厚兴趣

记得有一位资深的数据分析人士曾说过：“统计学是一门很难，但是很有趣，更是很有用的工具学科。懂得如何使用它的人总是乐在其中，而尚未入门的人则畏之如虎。”笔者结合多年的教学经验认为，要想将《统计学》这样一门多数人认为很难的课程让初学者理解它、接受它，对它产生浓厚兴趣，需要借助一些人们生活中的小案例，将难懂的统计学的基本概念和公式还原回生活当中，用来解释社会经济现象，帮助学生发现隐藏在数据背后的规律。总之，培养学生对数据分析的浓厚兴趣，是提升经管类专业学生数据分析能力的关键所在。

[参 考 文 献]

篇2

基金项目：华北理工大学研究生教育教学改革项目资助（项目编号：K1503）

基金项目：华北理工大学教育教学改革研究与实践重点项目资助（项目编号：Z1514-05；J 1509-09）

G643；O21-4

谷歌公司的经济学家兼加州大学的教授哈尔・范里安先生过去说过统计学家将会成为像电脑工程师一样受欢迎的工作。在未来10年里，人们获得数据、处理数据、分析数据、判断数据、提取信息的能力将变得非常重要，不仅仅在教育领域，各行各业都需要数据专家，“大数据”时代的到来使得数据处理与分析技术日新月异，深刻的影响着各个行业、领域及学科的发展，尤其是与数据关系密切的行业及学科，而作为工科各专业硕士研究生重要的公共基础课数理统计学是天生与数据打交道的学科。

怎样在“大数据”时代背景下培养出适应面向企业自主创新需求的数据分析人员或掌握现代数据处理技术的工程师，如何把当下流行的“大数据”处理技术与相关数理统计学课程教学有机的结合，以激发学生对数据处理与分析技术发展的兴趣，这些都是我们在与数理统计学相关的课程教学中不得不思考的问题。然而，当前高校工科各专业硕士研究生数理统计教学的现状却与其重要程度相去甚远，整个教学过程的诸多环节都存在较大的不足，主要表现为：1.教学内容偏重理论，学生学习兴趣不高；2. 轻统计实验；忽略对统计相关软件的教学；3.没有注重数理统计的学习与研究生专业相结合，实用性强调不够。4. 轻能力培养；轻案例分析等。

这些现象导致的直接后果就是学生动手能力上的缺陷和创新能力的缺乏， 不能够自觉利用数理统计知识解决实际问题， 尤其缺乏对统计数据的分析能力。因此，需要数理统计学随着环境的变化不断创新新的数理统计思维和教学内容。避免教学内容与大数据时代脱节。为此笔者在该课程的教学过程中，有意识地进行了一些教学改革尝试。提出了几点工科研究生数理统计教学的改革措施。

（1）调整教学内容，将与数理统计相关的大数据处理案例引进课堂。有很多有普遍性的应用统计实际案例，可以在本课程的教学过程中有选择的引入介绍给学生，让学生们了解利用所学统计方法进行实际数据分析的操作过程和得出结论的思维方法。以期解决工科研究生对确定性思维到随机性思维方式的转变的不适应性。

（2）适应大数据时代数理统计学课程的教学环境。实现教学方式的多样性。大数据时代背景下，互联网十分发达，学生根据自己的兴趣去收集、整理和分析数据，既可以改变他们对统计方法的进一步认识，也可以增加他们的学习兴趣。甚至可以以专业QQ群，邮件的方式和同学、老师之间相互交流，交流者处于相互平等的地位，可以畅所欲言，随时随地都可以交流，起到事半功倍的效果。这种交流使得教师不再是知识的权威，而是把教师上课作为一种更好自主学习的引导，这种交流使得他们的思想变得更加成熟。同时参与各种网络论坛，贴吧回答问题等使得他们更能体现自己的价值，这种交流也使得学生的学习热情和学习精神得到更好的激发。

（3）引导工科研究生开展与本专业相结合的课题研究，强调实用性，注重统计思维能力培养。适应大数据时代数理统计学课程教学环境，实现教学方式的多样性。以期弥补学生缺少数据分析实例的训练，解决学以致用的不足。在目前的数理统计教学安排下，受学时所限，如果相当一部分时间用来学习公式、定理的推导及证明，势必没有时间进行实际的数据分析练习。在大数据时代背景下，随着海量数据、复杂形式数据的出现，使得统计方法的发展和以前有了很大的不同，没有实际的数据分析训练，学生们就无法对统计的广泛应用性及重要性有深刻的体会，也不利于保持和提高他们的学习兴趣。这要求具体工作者提出新的统计思想和方法，加深对已有统计思想的理解，以解决实际问题。

（4）改革成绩评定方式。现有的考试模式为通过有限的一到两个小时的期末考试，进行概念的辨析和理论及方法的推导计算，由此来判断研究生关于数理统计课程的学习情况有很大的不足，特别是对可以利用软件进行的某些实际数据分析的考察没有办法实现。因此，有必要通过日常课堂“论文选题―提交―讨论”与期末理论考试相结合的形式对学生数理统计学习进行考核。加大对学生平时考察的力度，相应地减少期末考试成绩的比重。让学生选择一些与自己专业有关的数据进行尝试性的数据分析、一些统计科普著作的读书报告等并写成论文的形式提交，做为对学生成绩的评定方式，更能综合、客观地评价学生的学习情况。

数据分析在现代生活中发挥的作用越来越大，而道硗臣品椒可以与数据分析有机的结合，从而在提高数据分析效率的同时，保持分析结果的有效性，为生产和实践活动提供准确的参考。以上的思考和建议仅是我们在教学研究和教学过程中的一点体会，还有许多工作亟待深入，比如适合工科研究生数理统计课程的大数据案例选取，与课程内容的有效衔接；案例教学法如何实施；教学方式多样化问题；课堂教学与网络交流结合；理论介绍与软件应用训练结合问题等。教学改革与实践是一项艰巨的任务，以培养学生的实际运用能力和正确解释数据分析结果的能力为目的，强调统计思想和方法应用的培养，让学生们了解利用所学统计方法进行实际数据分析的操作过程和得出结论的思维方法将是一项长期的工作。

参考文献

篇3

一、引言

最早提出大数据时代到来的机构是全球知名的麦肯锡咨询公司，该公司在一份研究报告中指出：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来”。

大数据是随着互联网技术的广泛应用带来的数据量和数据类型激增而衍生出来的一种现象，但大数据一词不仅指规模大、种类多的数据集，还包括对这种数据集进行采集、处理与分析以提取有价值信息和直接创造价值的技术构架和技术过程。大数据的第一个特征是数据量巨大。截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）级别。第二个特征是数据类型繁多、异构性突出，包括网络日志、音频、视频、图片、地理位置信息等等。第三个特征是数据价值密度较低，数据中存在大量重复性和无价值性信息或噪声。如何通过强大的计算技术和统计分析等方法迅速完成数据的价值提纯，是大数据时代亟待解决的难题。第四个特征是处理速度快、时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

目前，不同的学科领域对大数据概念有着不尽相同的解释，但各种解释中大致可以从两个方面去理解。首先，大数据概念体现在数据量的巨大、种类的众多及产生速度的飞快，同时产生的数据集极有可能包含着各种半结构化和非结构化数据；其次，大数据概念还体现在对数据进行处理的手段和流程方面，由于数据量的庞大和类型复杂，利用常规的统计软件已经无法对当今的数据进行及时有效的存储、分析及处理。因此，所谓的大数据并不是单纯指数据流量的巨大，还指其结构的复杂和种类的多样，在数据处理和分析上需要采用高端计算平台或高级统计软件，以及海量数据中存在着可挖掘的潜在的大量价值信息与知识。

近年来，随着高速计算机的应用、信息技术的快速发展，特别是云计算技术的发展，使大数据的存储和分析技术得到迅速发展，目前的核心技术有MapReduce、GFS、BigTable、Hadoop，以及数据可视化等。在数据搜集上，可方便地通过在线互联网数据库获取二手数据或一手实时数据。在数据分析上，传统统计学方法采取的是基于统计模型的样本数据分析，而大数据分析技术则是通过高端计算平台，对大数据中的信息进行挖掘。

统计学作为对数据进行处理和分析的科学，必然受到大数据的影响。在大数据时代，统计学教育必须与时俱进，跟上时展步伐。近年来，有不少文献讨论了大数据环境下我国统计学教育的改革问题（例如[1]-[5]），本文在分析大数据时代特征的前提下，进一步讨论我国统计学教育的现状与挑战、统计学教育改革的内容、方法、借鉴和适应时代要求的变革问题。

二、统计学教育的现状与挑战

2013年，教育部对我国统计学专业设置进行一次新的调整，将原来的既可授予理学学位，也可授予经济学学位的统计学专业划分为统计学、应用统计学和经济统计学三个本科专业[6]。根据教育部高等学校统计类专业教学指导委员会2013年11月公布的数据，当时全国有194所高校开设了统计学专业，156所高校开设了应用统计学专业，164所高校开设了经济统计学专业[6]。目前，全国开设这三个统计学专业的高校个数和在校学生人数与2013年相比都有不少的增加。

面对大数据时代，我们目前的统计学教育无论在培养目标和教学内容上，还是在教育方式和人才培养模式上，都存在着亟待解决的挑战性问题。例如，在专业培养目标和人才培养过程中，我们比较重视课程层面上的评价，比较轻视专业层面上的整体评价，缺乏对学生综合能力的反馈机制。

关于教学内容，目前三个统计学专业在统计理论和应用统计两个方面有不同的侧重。统计理论主要包括：抽样理论、实验设计、估汁理论、假设险验、决策理论、贝叶斯统计、半参数和非参数统计、序贯分析、多元统计分析、时间序列分析、小样本理论和大样本理论等。在数据分析中，现今的统计方法基本以结构化数据为主要处理对象，而对非结构化和半结构化数据的分析和工具涉及较少。因此，现今统计学课程及内容已不能满足从事非结构型和半结构型的大数据研究和商业应用对人才培养的需要，必须进行必要的改革。

对于教育方式，鉴于大数据时代要求，统计分析人员需要具备较高的数学和现代统计学基础，具有较高的软件操作能力，掌握一定的大数据收集、整理、分析、处理和挖掘数据的技能。日本学者城田真琴认为：“数据科学家要有计算机科学专业背景，数学、统计方面的素养和使用数据挖掘软件的技能，善于利用数据可视化的手法展现晦涩难懂的信息，而且具备相应的专业知识、眼界和视野，具有适应社会发展和创造价值的能力”。现今的统计学教育方式还不能很好适应大数据时代数据科学人才培养需要，必须进行必要及时的调整和变革。

对人才培养模式，大数据时代不仅要求培养具有数据处理和分析所需的基本素质与技能，更重视培养从海量数据中发现和挖掘价值信息、把握市场机遇、创造利润的潜在能力。面对大数据时代的诸多挑战，现代统计技术、数据挖掘方法、计算机信息技术、软件工具和理念的日新月异，培养统计人才的教育模式也需要相应变化，统计学教育只有与时俱进，主动做出全面的调整和变革才能适应新时代知识进步和激烈人才市场竞争的需要，积极迎接大数据时代的挑战。

大数据时代对统计学教师有更高的要求，统计学教师需要与时俱进，跟上时代步伐。随着互联网、物联网、云计算等信息技术的发展，对数据的分析和处理的技术也随之要求更高，统计学教师固有的知识体系已不能满足培养现代统计人才的需要，必须进一步深化和更新原有的统计学理论知识，而且还需要学习掌握计算机技术、互联网、数据库和信息科学等有关知识和技术，同时还要熟悉处理非结构型和半结构型数据的知识和技能，以适应现代统计学教育对教师的知识结构和基本素质的要求。

大数据时代对统计专业的学生也提出了更高的要求，他们不仅需要掌握现代统计理论、统计方法和专业统计软件，还要学会如何分析、处理来自互联网或各种实际问题中的海量数据，如何利用统计软件和互联网技术进行数据操作，如何借助软件技术和统计准则判断数据质量，如何进行模型选择和评价模型方法的有效性，如何准确清晰地呈现统计分析结果和结论，等等。

2014年11月，美国统计学会了统计学本科专业指导性教学纲要 [7]，该教学纲要对统计学专业提出四个方面的要求：（1）具有扎实的数学和统计学基础、强大的统计计算和编程能力，熟练使用统计软件和数据库；（2）分析来自现实问题的真实数据，真实数据是统计专业教育的重要组成部分；（3）掌握多样化的统计模型方法；（4）具有通过语言、图表和动画等方式解释数据分析结果的能力。美国是统计学教育和人才培养最先进的国家之一，该指导性教学纲要代表着美国统计学专业培养人才的基本要求和发展方向，对我国统计教育的改革具有重要的参考价值。以该指导性教学纲要为参考依据，对照我国目前的统计学本科专业教育，无论是在培养目标和课程设置方面，还是在教学内容和教学方法方面，都存在着亟待解决的挑战性问题。

三、统计学教育的改革

大数据时代的统计学教育不仅是各种统计方法、数据挖掘方法和信息技术手段的延续或发展，更主要的是这些方法的集成应用和在实际数据分析中的真实体验。过去，企业数据库价格昂贵，在统计学教育的教学案例或实验课教学中，很少采用真实和海量的数据库资源，基本都是采用过时或虚拟的数据。今天，像百度大数据引擎这样的数据库的逐步对外开放，将有助于开展“线上大数据统计实验”教学。为了适应大数据时代要求，有必要利用网络资源以及各种数据处理软件，搭建线上大数据分析实验教学平台，全面开展大数据统计实验教学的改革。实际上，借助大数据分析平台，本科阶段的统计学教育就可以融人联机分析和数据的可视化教学。其次，要时刻关注大数据分析理论的进展，及时将新理论新方法融入课堂教学内容。

需要指出的是，在大数据时代，经典统计理论和方法并没有过时，但需要进行改进和进一步发展。这是因为，网上采集的巨型数据集往往存在大量的重复性和无价值数据信息，使得大数据价值密度降低。在对这些数据进行分析处理之前往往需要通过去噪、分层、截断、聚类等方法的预处理，将其变成便于进行分析处理的小数据，继而借助于经典统计方法进行分析和处理。因而在大数据时代仍然需要采用传统统计学的小样本理论和方法。所以，即便是在大数据时代，经典统计方法仍然是进行统计分析的基石，其核心地位不可动摇。所以，在大数据时代仍然要强化统计学的基本理论和方法，尤其是在长期发展和实践应用中经过验证的、成熟有效的经典和现代统计方法，在大数据时代仍然没有过时，但需要结合大数据分析的需要对经典统计方法进行必要的发展和改进。

大数据科学需要统计学与数学、计算机等学科的结合。亚马逊大数据科学家John Rauser 认为：“数据科学家是统计学家和计算机工程师的结合体”。为了满足大数据时代的要求，统计学专业的课程设置需要进行必要的调整。应根据新时代人才培养的要求，增设与大数据前沿领域发展相关的课程，如计算机网络和大数据相关的软件应用，同时要加大实验课和社会实践课的比重，引导学生理解和掌握大数据概念、理论、技术和方法，培养其运用大数据的相关分析工具解决实际问题的能力。对于理论课程，除基本统计理论外，还应开设一些较为现代和深入的课程，如现代贝叶斯方法、神经网络、数据挖掘、应用随机过程论等。另外，还应开设与大数据分析相关的关联规则、决策树、机器学习、支持向量机等课程。

为了培养与时代适应的统计学人才，统计学专业教师应不断更新自身的知识结构和价值观念，改变认识数据、收集数据和分析数据的思维，主动学习和补充互联网、现代数据分析技术、数据库和数据挖掘技术，使自己的知识体系不断更新和提升，跟上时展的步伐。

在大数据时代，要注意培养学生适应社会的能力。统计专业人才培养模式应以提高本专业学生数据分析方面的能力，开阔他们的视野，培养其适应社会的能力。应积极引导学生进入实训场所动手操作和锻炼，尝试以企事业单位的财政、金融、保险、统计、咨询和信息公司等部门为主构建专业性教育实践基地。鼓励学生到大数据相关的机构部门、产业园区和企业中去调查研究和实践。此外，统计专业应积极同其他专业进行合作，联合培养适应新时代要求的数据分析人才。鉴于大数据对数据分析人员在计算机技术、行业认知、业务知识、数据分析工具和方法的要求提高，统计学科应主动与计算机、经济学、管理学等相关学科合作，培养学生的计算机能力、专业素质和业务修养。

“它山之石可以攻玉”，关于统计学专业的课程设置，可以参考和借鉴美国统计学会公布的统计学本科专业指导性教学纲要。根据该教学纲要，统计专业的课程设置应该涵盖五个模块[7]：（1）统计方法与统计理论。建立统计模型并对模型的输出结果进行评价，熟悉统计推断，能够从数据分析中得出恰当的结论。（2）数据操作和统计计算。熟练使用一款专业统计软件进行探索性数据分析，发现和清洗数据中的错误记录，具有编程能力和算法思维，可以进行各种数据操作，还应掌握统计计算技术，能够进行模拟研究。（3）数学基础。熟练掌握微积分、线性代数、矩阵论、概率论和数理统计的基础知识。（4）实践训练和表达能力。具有良好的表达和交流能力，善于通过图示和动画等听众易于理解的方式展示分析结论，并且具有团队合作精神和项目领导能力。（5）特定领域的知识。掌握特定应用领域的知识，并用统计学特有的思维方法来分析和解决特定领域的实际问题。

大数据时代是以数据为中心的时代，统计学专业的教育改革必须适应这个时代的要求。统计数据分析中软件应用能力至关重要。在众多统计软件中推荐使用R和SAS软件，因为R是免费开源软件，其统计建模、统计计算和可视化功能强大，更新迅速，是最新统计方法的主要平台，非常有利于培养学生的编程能力和知识更新能力，而SAS软件被很多公司用于数据管理和数据分析，在实际应用领域具有长期而深远的影响，是数据分析不可或缺的专业统计软件。当然，教学中也可以尝试使用其他专业统计软件，例如经济统计专业学生也可使用SPSS软件，但最好会使用SAS或R软件。在加强软件使用和编程能力的基础上，应加强学生统计计算和统计模拟能力的培养。在大数据时代，强调统计计算的重要性是大势所趋。统计模拟技术是伴随着高速计算机和信息技术的快速发展而广泛应用的现代技术，可用来解决传统学科领域中无法解决的问题。例如，在计算技术飞速发展的今天，贝叶斯统计方法过去曾经面临的计算瓶颈正在逐渐消失，基于马尔科夫链蒙特卡洛（MCMC）技术的统计模拟方法在数据分析中的强大威力正在日益显现[8]。

参考文献：

[1] 刘春杰，大数据时代对当代统计学教育的挑战，统计与决策，2015年，第8期。

[2] 孟生旺，袁卫，大数据时代的统计教育，统计研究，2015年，第32卷4期。

[3] 葛虹，韩伟，大数据时代统计教育变革的SWOT分析与发展策略，统计与决策，2015年，第4期。

[4] 张海波，黄世祥，统计学专业学生大数据分析能力的培养方式选择，统计与决策，2014年，第24期。

[5] 李卫东，大数据对统计学科发展的影响，统计与决策，2014年，第13.期。

篇4

【论文关键词】统计学；统计思想；认识

1关于统计学

统计学是一门实质性的社会科学，既研究社会生活的客观规律，也研究统计方法。统计学是继承和发展基础统计的理论成果，坚持统计学的社会科学性质，使统计理论研究更接近统计工作实际，在国家和社会得到广泛发展。

2统计学中的几种统计思想

2.1统计思想的形成

统计思想不是天然形成的，需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括，才能逐步形成系统的统计思想。

2.2比较常用的几种统计思想

所谓统计思想，就是统计实际工作、统计学理论及应用研究中必须遵循的基本理念和指导思想。统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想。现分述如下：

2.2.1均值思想

均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论，是统计学的基本思想。均值思想也要求从总体上看问题，但要求观察其一般发展趋势，避免个别偶然现象的干扰，故也体现了总体观。

2.2.2变异思想

统计研究同类现象的总体特征，它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差，是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。

2.2.3估计思想

估计以样本推测总体，是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设：样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响，在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。

2.2.4相关思想

事物是普遍联系的，在变化中，经常出现一些事物相随共变或相随共现的情况，总体又是由许多个别事务所组成，这些个别事物是相互关联的，而我们所研究的事物总体又是在同质性的基础上形成。因而，总体中的个体之间、这一总体与另一总体之间总是相互关联的。

2.2.5拟合思想

拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在，所有实际事物的关系都表现得非常复杂，这种方法就是对规律或趋势的拟合。拟合的成果是模型，反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。

2.2.6检验思想

统计方法总是归纳性的，其结论永远带有一定的或然性，基于局部特征和规律所推广出来的判断不可能完全可信，检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。

2.3统计思想的特点

作为一门应用统计学，它从数理统计学派汲取新的营养，并且越来越广泛的应用数学方法，联系也越来越密切，但在统计思想的体现上与通用学派相比，还有着自己的特别之处。其基本特点能从以下四个方面体现出：

（1）统计思想强调方法性与应用性的统一；

（2）统计思想强调科学性与艺术性的统一；

（3）统计思想强调客观性与主观性的统一；

（4）统计思想强调定性分析与定量分析的统一。

3对统计思想的一些思考

3.1要更正当前存在的一些不正确的思想认识

英国著名生物学家、统计学家高尔顿曾经说过：“统计学具有处理复杂问题的非凡能力，当科学的探索者在前进的过程中荆棘载途时，唯有统计学可以帮助他们打开一条通道”。但事实并非这么简单，因为我们所面临的现实问题可能要比想象的复杂得多。此外，有些人认为方法越复杂越科学，在实际的分析研究中，喜欢简单问题复杂化，似乎这样才能显示其科学含量。其实，真正的科学是使复杂的问题简单化而不是追求复杂化。与此相关联的是，有些人认为只有推断统计才是科学，描述统计不是科学，并延伸扩大到只有数理统计是科学、社会经济统计不是科学这样的认识。这种认识是极其错误的，至少是对社会经济统计的无知。比利时数学家凯特勒不仅研究概率论，并且注重于把统计学应用于人类事物，试图把统计学创建成改良社会的一种工具。经济学和人口统计学中的某些近代概念，如GNP、人口增长率等等，均是凯特勒及其弟子们的遗产。

3.2要不断拓展统计思维方式

统计学是以归纳推理或归纳思维为主要的逻辑方式的。众所周知，逻辑推理方式主要有两种：归纳推理和演绎推理。归纳推理是基于观测到的数据信息(尤其是不完全甚至劣质的信息)去产生新的知识或去验证一个假设，即以所掌握的数据信息为依据，归纳得出具有一般特征的结论。归纳推理是要在数据信息的基础上透过偶然性去发现必然性。演绎推理是对统计认识能力的深化，尤其是在根据必然性去研究和认识偶然性方面，具有很大的作用。

3.3深化对数据分析的认识

任何统计研究都离不开数据分析。因为这是得到统计研究结论的必要环节。虽然统计分析的形式随时代的推移而变化着，但是“从数据中提取一切信息”或者“归纳和揭示”作为统计分析的目的却一直没有改变。对统计数据分析的原因有以下三个方面：一是基于同样的数据会得出不同、甚至相反的分析结论；二是我们所面对的分析数据有时是缺损的或存在不真实性；三是我们所面对的分析数据有时则又是海量的，让人无从下手。虽然统计数据分析已经经历了描述性数据分析(DDA)、推断性数据分析(IDA)和探索性数据分析(EDA)等阶段，分析的方法技术已经有了质的飞跃，但与人类不断提高的要求相比，存在的问题似乎也越来越多。所以，我们必须深化对数据分析的认识，围绕“准确解答特定问题并且从数据中获取一切有效信息”这一目的，不断拓展研究思路，继续开展数据分析方法技术的研究。

参考文献:

[1]陈福贵.统计思想雏议[J]北京统计,2004,(05).

篇5

二、数据科学的统计学内涵

(一)理论基础

数据科学中的数据处理和分析方法是在不同学科领域中分别发展起来的，譬如，统计学、统计学习或称统计机器学习、数据挖掘、应用数学、数据密集型计算、密集计算方法等。在量化分析的浪潮下甚至出现了“metric+模式”，如计量经济学、文献计量学、网络计量学、生物统计学等。因此，有学者将数据科学定义为计算机科学技术、数学与统计学知识、专业应用知识三者的交集，这意味着数据科学是一门新兴的交叉学科。但是这种没有侧重的叠加似乎只是罗列了数据科学所涉及到的学科知识，并没有进行实质性的分析，就好似任何现实活动都可以拆解为不同的细分学科，这是必然的。根据Naur(1960，1974)的观点，数据科学或称数据学是计算机科学的一个替代性称谓。但是这种字面上的转换，并没有作为一个独立的学科而形成。Cleveland(2001)首次将数据科学作为一个独立的学科提出时，将数据科学表述为统计学加上它在计算技术方面的扩展。这种观点表明，数据科学的理论基础是统计学，数据科学可以看作是统计学在研究范围(对象)和分析方法上不断扩展的结果。一如统计学最初只是作为征兵、征税等行政管理的附属活动，而现在包括了范围更广泛的理论和方法。从研究范围的扩展来看，是从最初的结构型大规模数据(登记数据)，到结构型的小规模数据(抽样数据)、结构型的大规模数据(微观数据)，再扩展到现在的非(半)结构型的大规模数据(大数据)和关系数据等类型更为丰富的数据。从分析方法的扩展来看，是从参数方法到非参数方法，从基于模型到基于算法，一方面传统的统计模型需要向更一般的数据概念延伸;另一方面，算法(计算机实现)成为必要的“可行性分析”，而且在很多方面算法模型的优势越来越突出。注意到，数据分析有验证性的数据分析和探索性的数据分析两个基本取向，但不论是哪一种取向，都有一个基本的前提假设，就是观测数据是由背后的一个(随机)模型生成，因此数据分析的基本问题就是找出这个(随机)模型。Tukey(1980，2000)明确提到，EDA和CDA并不是替代关系，两者皆必不可少，强调EDA是因为它被低估了。数据导向是计算机时代统计学发展的方向，这一观点已被越来越多的统计学家所认同。但是数据导向仍然有基于模型与基于算法两种声音，其中，前文提到的EDA和CDA都属于基于模型的方法，它们都假定数据背后存在某种生成机制;而算法模型则认为复杂的现实世界无法用数学公式来刻画，即，不设置具体的数学模型，同时对数据也不做相应的限制性假定。算法模型自20世纪80年代中期以来随着计算机技术的迅猛发展而得到快速成长，然而很大程度上是在统计学这个领域之外“悄然”进行的，比如人工神经网络、支持向量机、决策树、随机森林等机器学习和数据挖掘方法。若响应变量记为y，预测变量记为x，扰动项和参数分别记为ε和β，则基于模型的基本形式是:y=f(x，β，ε)，其目的是要研究清楚y与x之间的关系并对y做出预测，其中，f是一个有显式表达的函数形式(若f先验假定，则对应CDA;若f是探索得到的，则对应EDA)，比如线性回归、Logistic回归、Cox回归等。可见，传统建模的基本观点是，不仅要得到正确的模型———可解释性强，而且要得到准确的模型———外推预测能力强。而对于现实中复杂的、高维的、非线性的数据集，更切合实际的做法是直接去寻找一个恰当的预测规则(算法模型)，不过代价是可解释性较弱，但是算法模型的计算效率和可扩展性更强。基于算法的基本形式类似于非参数方法y=f(x，ε)，但是比非参数方法的要求更低yx，因为非参数方法很多时候要求f或其一阶导数是平滑的，而这里直接跳过了函数机制的探讨，寻找的只是一个预测规则(后续的检验也是基于预测构造的)。在很多应用场合，算法模型得到的是针对具体问题的解(譬如某些参数是被当作一个确定的值通过优化算法得到的)，并不是统计意义上的推断解。

(二)技术维度

数据科学是基于数据的决策，数据分析的本质既不是数学，也不是软件程序，而是对数据的“阅读”和“理解”。技术只是辅助数据理解的工具，一个毫无统计学知识的人应用统计软件也可以得到统计结果，但无论其过程还是结果都是可疑的，对统计结果的解释也无法令人信服。“从计算机科学自身来看，这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究，但数据在其中的地位将会得到更进一步的加强”。不可否认，统计分析逐渐向计算机科学技术靠近的趋势是明显的。这一方面是因为，数据量快速膨胀，数据来源、类型和结构越来越复杂，迫切需要开发更高效率的存储和分析工具，可以很好地适应数据量的快速膨胀;另一方面，计算机科学技术的迅猛发展为新方法的实现提供了重要的支撑。对于大数据而言，大数据分析丢不掉计算机科学这个属性的一个重要原因还不单纯是因为需要统计软件来协助基本的统计分析和计算，而是大数据并不能像早先在关系型数据库中的数据那样可以直接用于统计分析。事实上，面对越来越庞杂的数据，核心的统计方法并没有实质性的改变，改变的只是实现它的算法。因此，从某种程度上来讲，大数据考验的并不是统计学的方法论，而是计算机科学技术和算法的适应性。譬如大数据的存储、管理以及分析架构，这些都是技术上的应对，是如何实现统计分析的辅助工具，核心的数据分析逻辑并没有实质性的改变。因此，就目前而言，大数据分析的关键是计算机技术如何更新升级来适应这种变革，以便可以像从前一样满足统计分析的需要。

(三)应用维度

在商业应用领域，数据科学被定义为，将数据转化为有价值的商业信息①的完整过程。数据科学家要同时具备数据分析技术和商业敏感性等综合技能。换句话说，数据科学家不仅要了解数据的来源、类型和存储调用方式，而且还要知晓如何选择相应的分析方法，同时对分析结果也能做出切合实际的解释②。这实际上提出了两个层面的要求:①长期目标是数据科学家从一开始就应该熟悉整个数据分析流程，而不是数据库、统计学、机器学习、经济学、商业分析等片段化碎片化的知识。②短期目标实际上是一个“二级定义”，即，鼓励已经在专业领域内有所成就的统计学家、程序员、商业分析师相互学习。在提及数据科学的相关文献中，对应用领域有更多的倾向;数据科学与统计学、数学等其他学科的区别恰在于其更倾向于实际应用。甚至有观点认为，数据科学是为应对大数据现象而专门设定的一个“职业”。其中，商业敏感性是数据科学家区别于一般统计人员的基本素质。对数据的简单收集和报告不是数据科学的要义，数据科学强调对数据多角度的理解，以及如何就大数据提出相关的问题(很多重要的问题，我们非但不知道答案而且不知道问题何在以及如何发问)。同时数据科学家要有良好的表达能力，能将数据中所发现的事实清楚地表达给相关部门以便实现有效协作。从商业应用和服务社会的角度来看，强调应用这个维度无可厚非，因为此处是数据产生的土壤，符合数据科学数据导向的理念，数据分析的目的很大程度上也是为了增进商业理解，而且包括数据科学家、首席信息官这些提法也都肇始于实务部门。不过，早在20世纪90年代中期，已故图灵奖得主格雷(JimGray)就已经意识到，数据库技术的下一个“大数据”挑战将会来自科学领域而非商业领域(科学研究领域成为产生大数据的重要土壤)。2008年9月4日刊出的《自然》以“bigdata”作为专题(封面)探讨了环境科学、生物医药、互联网技术等领域所面临的大数据挑战。2011年2月11日，《科学》携其子刊《科学－信号传导》、《科学－转译医学》、《科学－职业》专门就日益增长的科学研究数据进行了广泛的讨论。格雷还进一步提出科学研究的“第四范式”是数据(数据密集型科学)，不同于实验、理论、和计算这三种范式，在该范式下，需要“将计算用于数据，而非将数据用于计算”。这种观点实际上是将数据从计算科学中单独区别开来了。

三、数据科学范式对统计分析过程的直接影响

以前所谓的大规模数据都是封闭于一个机构内的(数据孤岛)，而大数据注重的是数据集间的关联关系，也可以说大数据让孤立的数据形成了新的联系，是一种整体的、系统的观念。从这个层面来说，将大数据称为“大融合数据”或许更为恰当。事实上，孤立的大数据，其价值十分有限，大数据的革新恰在于它与传统数据的结合、线上和线下数据的结合，当放到更大的环境中所产生的“1+1＞2”的价值。譬如消费行为记录与企业生产数据结合，移动通讯基站定位数据用于优化城市交通设计，微博和社交网络数据用于购物推荐，搜索数据用于流感预测、利用社交媒体数据监测食品价等等。特别是数据集之间建立的均衡关系，一方面无形中增强了对数据质量的监督和约束;另一方面，为过去难以统计的指标和变量提供了另辟蹊径的思路。从统计学的角度来看，数据科学(大数据)对统计分析过程的各个环节(数据收集、整理、分析、评价、等)都提出了挑战，其中，集中表现在数据收集和数据分析这两个方面。

(一)数据收集方面

在统计学被作为一个独立的学科分离出来之前(1900年前)，统计学家们就已经开始处理大规模数据了，但是这个时期主要是全国范围的普查登记造册，至多是一些简单的汇总和比较。之后(1920－1960年)的焦点逐渐缩聚在小规模数据(样本)，大部分经典的统计方法(统计推断)以及现代意义上的统计调查(抽样调查)正是在这个时期产生。随后的45年里，统计方法因广泛的应用而得到快速发展。变革再次来自于统计分析的初始环节———数据收集方式的转变:传统的统计调查方法通常是经过设计的、系统收集的，而大数据是零散实录的、有机的，这些数据通常是用户使用电子数码产品的副产品或用户自行产生的内容，比如社交媒体数据、搜索记录、网络日志等数据流等，而且数据随时都在增加(数据集是动态的)。与以往大规模数据不同的是，数据来源和类型更加丰富，数据库间的关联性也得到了前所未有的重视(大数据的组织形式是数据网络)，问题也变得更加复杂。随着移动电话和网络的逐渐渗透，固定电话不再是识别住户的有效工具变量，相应的无回答率也在增加(移动电话的拒访率一般高于固定电话)，同时统计调查的成本在增加，人口的流动性在增加，隐私意识以及法律对隐私的保护日益趋紧，涉及个人信息的数据从常规调查中越来越难以取得(从各国的经验来看，拒访率或无回答率的趋势是增加的)，对时效性的要求也越来越高。因此，官方统计的数据来源已经无法局限于传统的统计调查，迫切需要整合部门行政记录数据、商业记录数据、个人行为记录数据等多渠道数据源，与部门和搜索引擎服务商展开更广泛的合作。

(二)数据分析方面

现代统计分析方法的核心是抽样推断(参数估计和假设检验)，然而数据收集方式的改变直接淡化了样本的意义。比如基于浏览和偏好数据构建的推荐算法，诚然改进算法可以改善推荐效果，但是增加数据同样可以达到相同的目的，甚至效果更好。即所谓的“大量的数据胜于好的算法”这与统计学的关键定律(大数定律和中心极限定理)是一致的。同样，在大数据分析中，可以用数量来产生质量，而不再需要用样本来推断总体。事实上，在某些场合(比如社会网络数据)，抽样本身是困难的。数据导向的、基于算法的数据分析方法成为计算机时代统计学发展无法回避的一个重要趋势。算法模型不仅对数据分布结构有更少的限制性假定，而且在计算效率上有很大的优势。特别是一些积极的开源软件的支撑，以及天生与计算机的相容性，使算法模型越来越受到学界的广泛重视。大数据分析首先涉及到存储、传输等大数据管理方面的问题。仅从数量上来看，信息爆炸、数据过剩、数据泛滥、数据坟墓、丰富的数据贫乏的知识……这些词组表达的主要是我们匮乏的、捉襟见肘的存储能力，同时，存储数据中有利用价值的部分却少之又少或尘封窖藏难以被发现。这除了对开采工具的渴求，当时的情绪主要还是迁怨于盲目的记录，把过多精力放在捕捉和存储外在信息。在这种情况下，开采有用的知识等价于抛弃无用的数据。然而，大数据时代的思路改变了，开始变本加厉巨细靡遗地记录一切可以记录的数据。因为:数据再怎么抛弃还是会越来越多。我们不能通过删减数据来适应自己的无能，为自己不愿做出改变找借口，而是应该面对现实，提高处理海量数据的能力。退一步，该删除哪些数据呢?当前无用的数据将来也无用吗?显然删除数据的成本要大于存储的成本。大数据存储目前广泛应用的是GFS、HDFS等基于计算机群组的文件系统，它可以通过简单增加计算机来无限地扩充存储能力。值得注意的是，分布式文件系统存储的数据仅仅是整个架构中最基础的描述，是为其他部件服务的(比如MapReduce)，并不能直接用于统计分析。而NoSQL这类分布式存储系统可以实现高级查询语言，事实上，有些RDBMS开始借鉴MapReduce的一些思路，而基于MapReduce的高级查询语言也使MapReduce更接近传统的数据库编程，二者的差异将变得越来越模糊。大数据分析的可行性问题指的是，数据量可能大到已经超过了目前的存储能力，或者尽管没有大到无法存储，但是如果算法对内存和处理器要求很高，那么数据相对也就“大”了。换句话说，可行性问题主要是，数据量太大了，或者算法的复杂度太高。大数据分析的有效性问题指的是，尽管目前的硬件条件允许，但是耗时太久，无法在可容忍的或者说可以接受的时间范围内完成。目前对有效性的解决办法是采用并行处理。注意到，高性能计算和网格计算也是并行处理，但是对于大数据而言，由于很多节点需要访问大量数据，因此很多计算节点会因为网络带宽的限制而不得不空闲等待。而MapReduce会尽量在计算节点上存储数据，以实现数据的本地快速访问。因此，数据本地化是MapReduce的核心特征。

四、结论

（一）数据科学不能简单地理解为统计学的重命名，二者所指“数据”并非同一概念，前者更为宽泛，不仅包括结构型数据，而且还包括文本、图像、视频、音频、网络日志等非结构型和半结构型数据;同时，数量级也是后者难以企及的(PB以上)。但是数据科学的理论基础是统计学，数据科学可以看作是统计学在研究范围(对象)和分析方法上不断扩展的结果，特别是数据导向的、基于算法的数据分析方法越来越受到学界的广泛重视。

（二）从某种程度上来讲，大数据考验的并不是统计学的方法论，而是计算机科学技术和算法的适应性。譬如大数据的存储、管理以及分析架构，这些都是技术上的应对，核心的数据分析逻辑并没有实质性的改变。因此，大数据分析的关键是计算机技术如何更新升级以适应这种变革，以便可以像从前一样满足统计分析的需要。

（三）大数据问题很大程度上来自于商业领域，受商业利益驱动，因此数据科学还被普遍定义为，将数据转化为有价值的商业信息的完整过程。这种强调应用维度的观点无可厚非，因为此处是数据产生的土壤，符合数据科学数据导向的理念。不过，早在20世纪90年代中期，已故图灵奖得主格雷就已经意识到，数据库技术的下一个“大数据”挑战将会来自科学领域而非商业领域(科学研究领域成为产生大数据的重要土壤)。他提出科学研究的“第四范式”是数据，不同于实验、理论、和计算这三种范式，在该范式下，需要“将计算用于数据，而非将数据用于计算”。这种观点实际上将数据从计算科学中单独区别开了。