Twitterの感情分析に関するIBM Bluemixチュートリアルのグラフのパフォーマンス

Question

私はこの素晴らしいtutorialに続いて、DAVID TAIEBに成功しました。 問題は、グラフの変更に時間がかかりすぎることです。

何が問題なのですか？

私はScalaのノートブックでは、このセルを実行します。出力は次のようになります

demo.startTwitterStreaming(sc) 

：

Registering JaasConfiguration: /tmp/1sFcnUVoabfuBAyF/jaas.conf 
Setting hadoop configuration for swift container 
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics 
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics 
default location of ssl Trust store is: /usr/local/src/spark160master/ibm-java-x86_64-80/jre/lib/security/cacerts 
Twitter stream started 
Tweets are collected real-time and analyzed 
To stop the streaming and start interacting with the data use: StreamingTwitter.stopTwitterStreaming 
Receiver Started: KafkaReceiver-0 
Batch started with 0 records 
------------------------------------------- 
Time: 1460572070000 ms 
------------------------------------------- 

Batch completed with 0 records 
Batch started with 0 records 
------------------------------------------- 
Time: 1460572075000 ms 
------------------------------------------- 

Batch completed with 0 records 
Batch started with 487 records 
------------------------------------------- 
Time: 1460572080000 ms 
------------------------------------------- 
(#TDS,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(30.5, 0.0, 16.5, 0.0, 19.5, 3.0, 38.5, 20.0, 5.0, 32.0, 28.0, 9.0, 0.0))) 
(#DolceAmoreILoveYou,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(5.0, 0.0, 6.0, 0.0, 17.0, 1.0, 17.5, 12.5, 24.5, 34.0, 44.0, 2.0, 0.0))) 
(#nasty,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(0.5, 0.0, 16.0, 0.0, 0.5, 34.5, 49.0, 1.0, 0.0, 46.0, 16.0, 2.5, 0.0))) 
(#Job:,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(8.0, 0.0, 2.5, 0.0, 28.0, 1.5, 4.5, 2.5, 45.0, 19.5, 37.0, 3.5, 0.0))) 
(#bigbrand,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(5.5, 0.0, 6.0, 0.0, 49.0, 4.0, 2.0, 15.0, 12.5, 3.5, 48.5, 5.5, 0.0))) 
(#SwitchUp,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(47.5, 0.0, 3.5, 0.0, 34.5, 1.0, 47.0, 29.0, 11.5, 22.5, 1.0, 3.5, 0.0))) 
(#Hiring,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(8.0, 0.0, 2.5, 0.0, 28.0, 1.5, 4.5, 2.5, 45.0, 19.5, 37.0, 3.5, 0.0))) 
(#entrepreneurship,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(20.5, 25.5, 5.0, 0.0, 28.0, 9.0, 12.0, 3.0, 28.0, 4.0, 12.5, 2.5, 0.0))) 
(#startup,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(5.5, 0.0, 6.0, 0.0, 49.0, 4.0, 2.0, 15.0, 12.5, 3.5, 48.5, 5.5, 0.0))) 
(#porn,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(0.5, 0.0, 16.0, 0.0, 0.5, 34.5, 49.0, 1.0, 0.0, 46.0, 16.0, 2.5, 0.0))) 
... 

これは、チュートリアルが表示さどのように見えるしません： https://i0.wp.com/developer.ibm.com/clouddataservices/wp-content/uploads/sites/47/2016/01/Running-Spark-Streaming.png?zoom=2&w=980

あなたが私を助けてくれることを願っています。グラフが数秒ごとに変化しない原因は何ですか？

私は、アプリケーションとカーネルを閉じて、それらを再度開くしようとすると、これは私が何をすべきかです：

の1-再起動カーネル 2-が再び

をすべてのセルを実行するには、この権利ですか？

が@DavidTaieb

Answer 1

このチュートリアルをありがとう最近起因する基盤となるサービスにおけるAPIの変更（MessageHub、MessageConnectとワトソントーンアナライザ）へのアップデートを経ました。変更の一部として、より細かいログメッセージを提供するためにStreamingListenerを追加しました。残念ながら、実行中のセルを表示するスクリーンショットを更新することを忘れました。いずれにしても、あなたは最新のバージョンを実行しています。
含まれているスニペットから、マイクロバッチが正しく処理され、結果がMessageHub/Kafkaに正常に送信されたようです。ダッシュボードは数秒ごとにMessageHubをポーリングするように設定されていますが、リフレッシュするまでに1分かかるようです。テスト環境でアプリを再実行したところ、同じことに気付き始めました。ログを見て、私はMessageHubへの残りの呼び出しが409のエラーコードを返すようになったことに気付きました。フロントエンドアプリを再起動すると、その問題が解決されました。私はあなたがあなたをブロック解除するために同じことをお勧めします。私は今後このエラーを調査し、受け入れ可能な修正があればアップデートを提供します。

Answer 2

メッセージハブは、前のリクエストが完了する前にコンシューマリクエストが行われた場合、409エラーコードを返すように設定されています。ポーリング間隔の増加はこの問題を解決するはずです。

サンプル内で見つかったもう1つの問題は、ポート9094と9093の両方で設定されたブーストラップサーバーがあることです.3月3日現在、ポート9094がオフになっています。 「demo.startTwitterStreaming（SC）」

登録JaasConfiguration：あなたが唯一の次のコマンドを含むセルから、私は時間前のチュートリアルを試したとき、私は次のエラーを取得するポート9093.

Answer 3

を使用していることを確認してください：/ tmp/BA8rP92KZiZZSkpq/jaas。CONF は https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics

迅速容器のためのHadoopの構成を設定する上記のリンクをクリックすると言う - { "ERROR_CODE"：40101、 "メッセージ"： "不足しているキー"}

OUT [3]：

名前：java.lang.NullPointerException メッセージ：null StackTrace：org.apache.hadoop.fs.swift.http.SwiftRestClient $ AuthenticationPost.extractResult（SwiftRestClient.java:1293） org.apache.hadoop.fs.swift。 http.SwiftRestClient $ AuthenticationPost.extract結果（SwiftRestClient.java:1245）......

java.lang.Thread.run（Thread.java:785）