@Aarkon Du hast doch mal nen HTTP API crawler in Haskell geschrieben, der auch parallele queries gemacht hat.
Wie hast du das concurrency level bestimmt? 1000e requests parallel sind dann irgendwann ja auch zu viel des Guten.

@schmittlauch In Scala hast Du den Threadpool (wird sogar glaube ich von Java gemanaged). Da sagst Du wie viele Du gern hättest und dann lüppt dat:

private val blockingPool = Executors.newFixedThreadPool(5)
implicit val cs: ContextShift[IO] = IO.contextShift(global)
private val blocker = Blocker.liftExecutorService(blockingPool)
val httpClient: Client[IO] = JavaNetClientBuilder[IO](blocker).create

Der Teil ist allerdings auch mehrheitlich eher geklaut als verstanden 😅

Sign in to participate in the conversation
Mastodon

The social network of the future: No ads, no corporate surveillance, ethical design, and decentralization! Own your data with Mastodon!