一段时间后在Spark Streaming中停止流上下文

我建立了一个从Twitter接收DStream的应用程序,停止Streaming上下文的唯一方法是停止执行。我想知道是否有一种方法可以设置时间并在不停止整个应用程序的情况下终止流式套接字?

6
投票

您可以使用任一

awaitTerminationOrTimeout(long)

如上一个答案中所述,或者您可以从其他线程手动停止流上下文:

    // in the main thread
    awaitTermination(); // will wait forever or until the context is stopped

    // in another thread
    streamingContext.stop();
2
投票

您可以在awaitTermination()对象上使用streamingContext方法来等待指定的时间。请参阅this