2016-10-06 4 views
0

Map Reduceアプリケーションがあり、Spring Batch Yarnロジックを使用したいと思います。 以下のリンクに記載されているようなものです。マップを再起動する方法Springバッチ紡績アプリケーションを使用してHadoopジョブを減らしますか?

https://spring.io/guides/gs/yarn-batch-restart/

しかし、私は通常、私たちはHadoopのマップを持っているとして、それは本当に特定したいジョブを減らします。 バネ糸クラスと構成を探しています。私のhadoopマップを考慮すると、ロジックはすでにインプレースされ、動作しています。

ありがとうございました!ここで

答えて

0

はuが

<?xml version="1.0" encoding="UTF-8"?> 
<beans xmlns="http://www.springframework.org/schema/beans" 
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:util="http://www.springframework.org/schema/util" 
    xmlns:context="http://www.springframework.org/schema/context" 
    xmlns:hdp="http://www.springframework.org/schema/hadoop" xmlns:batch="http://www.springframework.org/schema/batch" 
    xsi:schemaLocation=" 
    http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd 
    http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd 
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd 
    http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd 
    http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-4.2.xsd"> 

    <context:property-placeholder location="classpath:application.properties" /> 
    <hdp:configuration namenode-principal="hdfs://xx.yy.com" rm-manager-uri="xx.yy.com" 
     security-method="kerb" user-keytab="location" rm-manager-principal="username" 
     user-principal="username"> 
     fs.default.name=${fs.default.name} 
     mapred.job.tracker=${mapred.job.tracker} 
    </hdp:configuration> 

    <hdp:job id="wordCountJobId" input-path="${input.path}" 
     output-path="${output.path}" jar-by-class="com.xx.poc.Application" 
     mapper="com.xx.poc.Map" reducer="com.xx.poc.Reduce" /> 

    <hdp:job-runner id="wordCountJobRunner" job-ref="wordCountJobId" 
     run-at-startup="true" /> 
</beans> 
を探していたのApplicationContextの設定です
関連する問題