2016-12-28 7 views
0

ここに私のコードです。私はトピックを作成することができますが、何らかの理由でトピック内にデータを送信できません。私は長い間これらのエラーを受けています。カフカのプロデューサーがサーバーにデータを送信できません

:私は、これはここで

[2016-12-27 21:05:54,873] ERROR Closing socket for /127.0.0.1 because of error (kafka.network.Processor) 
java.io.IOException: An established connection was aborted by the software in your host machine 
at sun.nio.ch.SocketDispatcher.read0(Native Method) 
at sun.nio.ch.SocketDispatcher.read(Unknown Source) 
at sun.nio.ch.IOUtil.readIntoNativeBuffer(Unknown Source) 
at sun.nio.ch.IOUtil.read(Unknown Source) 
at sun.nio.ch.SocketChannelImpl.read(Unknown Source) 
at kafka.utils.Utils$.read(Utils.scala:380) 
at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54) 
at kafka.network.Processor.read(SocketServer.scala:444) 
at kafka.network.Processor.run(SocketServer.scala:340) 
at java.lang.Thread.run(Unknown Source) 
[2016-12-27 21:07:54,727] INFO Closing socket connection to /127.0.0.1. (kafka.network.Processor) 
[2016-12-27 21:16:08,559] INFO Closing socket connection to /127.0.0.1. (kafka.network.Processor) 

は私のJavaコードは、カフカシステムに整数値を送信することであるカフカのためのserver.logファイルであるカフカバージョン2.11-0.8.2.1

[email protected]74c6c 
[email protected]6995df 

を使用していますここで

Properties props = new Properties(); 
    props.put("bootstrap.servers", "localhost:9092"); 
    props.put("acks", "all"); 
    props.put("retries", 0); 
    props.put("batch.size", 16384); 
    props.put("linger.ms", 1); 
    props.put("buffer.memory", 33554432); 
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
    props.put("timeout.ms", "50"); 

    Producer<String, String> producer = new KafkaProducer<>(props); 
     for(int i = 0; i < 2; i++) 
      System.out.println(producer.send(new ProducerRecord<String, String>("testtopic", Integer.toString(i), 
        Integer.toString(i))).toString()); 

producer.close(); 

<dependencies> 
    <dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka-clients</artifactId> 
    <version>0.10.1.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka_2.11</artifactId> 
    <version>0.8.2.1</version> 
</dependency> 
<dependency> 
    <groupId>org.slf4j</groupId> 
    <artifactId>slf4j-simple</artifactId> 
    <version>1.6.4</version> 
</dependency> 
<dependency> 
    <groupId>log4j</groupId> 
    <artifactId>log4j</artifactId> 
    <version>1.2.16</version> 
    <exclusions> 
    <exclusion> 
     <groupId>javax.jms</groupId> 
     <artifactId>jms</artifactId> 
    </exclusion> 
    </exclusions> 
</dependency> 
</dependencies> 
のpom.xmlです
+0

は(System.out.printlnはせずにデータを送信するようにしてください)。何が起こったのか教えてください。 – user4342532

答えて

0

私はKafkaのバージョンをkafka_2.10-0.9.0.0に格下げし、以下のプロパティを使用できます。

Properties props = new Properties(); 
    props.put("metadata.broker.list", "localhost:9092"); 
    props.put("acks", "all"); 
    props.put("retries", 0); 
    props.put("batch.size", 16384); 
    props.put("linger.ms", 1); 
    props.put("buffer.memory", 33554432); 
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); 
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); 
    props.put("serializer.class", "kafka.serializer.StringEncoder"); 
    ProducerConfig producerConfig = new ProducerConfig(props); 
    kafka.javaapi.producer.Producer<String, String> producer 
    = new kafka.javaapi.producer.Producer<String, String>(producerConfig); 

次のように私のpom.xmlファイルは次のとおりです。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
<modelVersion>4.0.0</modelVersion> 
<groupId>TwitterKafkaPostgre</groupId> 
<artifactId>TwitterKafkaPostgre</artifactId> 
<version>0.0.1-SNAPSHOT</version> 
<dependencies> 
    <dependency> 
    <groupId>com.twitter</groupId> 
    <artifactId>hbc-core</artifactId> <!-- or hbc-twitter4j --> 
    <version>2.2.0</version> <!-- or whatever the latest version is --> 
    </dependency> 
    <dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka-clients</artifactId> 
    <version>0.9.0.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka_2.11</artifactId> 
    <version>0.9.0.0</version> 
</dependency> 
<dependency> 
    <groupId>log4j</groupId> 
    <artifactId>log4j</artifactId> 
    <version>1.2.16</version> 
    <exclusions> 
    <exclusion> 
     <groupId>javax.jms</groupId> 
     <artifactId>jms</artifactId> 
    </exclusion> 
    </exclusions> 
</dependency> 
<dependency> 
    <groupId>org.slf4j</groupId> 
    <artifactId>slf4j-simple</artifactId> 
    <version>1.6.4</version> 
</dependency> 
<dependency> 
    <groupId>com.google.guava</groupId> 
    <artifactId>guava</artifactId> 
    <version>18.0</version> 
</dependency> 

0

何も

props.put("timeout.ms", "50"); 
以外際立っていない要求のタイムアウトは、デフォルトではカフカで5分で、デフォルトのポーリング間隔よりもする必要があります。だから私はそれが動作するはずですデフォルト値(これはちょうど5分以上です)にそれを残す場合は推測します。

+0

私はその行をコメントアウトしようとしましたが、同じ問題が残っています。 pom.xmlに何か問題がありますか?ここに私が使用している依存関係があります。私はkafka_2.11-0.8.2.1バージョンを使用しています –

関連する問題