.NetforSpark如何实现WordCount应用及调试入坑分析

本篇文章为大家展示了.Net for Spark如何实现WordCount 应用及调试入坑分析，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

专注于为中小企业提供成都做网站、成都网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业浪卡子免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了成百上千企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

.Net for Spark 实现WordCount应用及调试入坑详解

1.    概述

      iNeuOS云端操作系统现在具备物联网、视图业务建模、机器学习的功能，但是缺少一个计算平台产品。最近在调研使用什么语言进行开发，并且研究实现的技术路线。iNeuOS全系使用C#/JS/CSS/PYTHON开发，所以优先选择C#实现计算平台的开发，当然也不排除使用scala和python等语言。最近微软发布.Net for Spark组件，与 .NET Standard 2.0 兼容，可以在 Linux、macOS 和 Windows 系统上使用，就像 .NET 的其余部分一样。在网上进行了调研，下图展示了 .NET Core 与 Python、Scala 在 TPC-H 查询集上的性能对比。如下图：

        在github上看了源代码，代码质量比较高。最近两天进行了应用及测试，整体流程已经走通，感觉比较清爽。

2.系统环境

         操作系统：Ubuntu 16.04

         开发语言：.Net Core 2.2

         计算框架：.Net for Spark

         开发工具：VSCODE

         测试工具：netcat

3.环境部署

      3.1安装 .Net Core 2.2

          参见安装过程：https://dotnet.microsoft.com/download/linux-package-manager/ubuntu16-04/sdk-current

      3.2安装 .Net for Spark及代码实现

         参见安装过程：https://github.com/dotnet/spark/blob/master/docs/getting-started/ubuntu-instructions.md

         Program.cs实现的代码参见：https://github.com/dotnet/spark/blob/master/examples/Microsoft.Spark.CSharp.Examples/Sql/Streaming/StructuredNetworkWordCount.cs

     3.3安装 netcat

1	命令行：apt-get install netcat

4.开发调试

     4.1启动netcat

    主要用于实时发送字符串，实现字符串统计。

1	命令行：nc -lk 9999

    4.2启动调试模式

    在程序集目录：HelloSpark/bin/Debug/netcoreapp2.2下。

1	命令行：spark-submit --class org.apache.spark.deploy.DotnetRunner --master local microsoft-spark-2.4.x-0.3.0.jar debug

     不执行这个命令，在vscode调试的时候，会出现异常：[Exception] [JvmBridge] Connection refused 127.0.0.1:5567。

    4.3启动vscode调试

    在main函数的第一行增加一行测试代码：

1	args=new string[]{      "localhost","9999"};

      主要用于连接netcat服务，接收netcat发送过来的字符串，并进行字符串统计。如下图：

     4.4调试过程

     打开“4.1启动netcat”和“4.2启动调试模式”窗口，netcat用于发送数据，调试模式窗口可以接收到数据并进行统计。如下图：

上述内容就是.Net for Spark如何实现WordCount 应用及调试入坑分析，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注创新互联行业资讯频道。

本文标题：.NetforSpark如何实现WordCount应用及调试入坑分析
URL标题：http://bjjierui.cn/article/poheii.html