Cronner – nástroj pro jednoduchou správu cronových úloh

Vypadá to zajímavě, ale mám pár hloupých dotazů:

• Jak ověřím, že to jede?
• Jak to řeší situaci, kdy to spustím třeba 2x?
• Jak to vypnu?

@castamir

• Teď ještě není ověření možné, ale v issues už mám úkol, který to bude řešit.
• Tuhle situaci to teď neřeší. Dávám si do issues. Díky!
• Co myslíš vypnutím? Dočasně nebo trvale? Dočasné vypbutí by mělo vyřešit stejné issue jako pro bod 1. Trvale to vypneš odebráním anotace @cronner-task od metody.

@Felix
Záleží čistě na tobě jako vývojáři, kdy to budeš spouštět :-) Můžeš si vytvořit speciální akci pro crona, kterou nastavíš v nastavení hostingu jako cron akci (a tedy se jednomu nastavení v administraci hostingu nevyhneš). Další úlohy už ale stačí přidávat v kódu. Nebo si můžeš úlohy spouštět v jakékoli jiné akci, kterou uznáš za vhodnou, klidně při každém requestu ;-)

Bohužel nejsem kouzelník a pokud ti hosting nedovoluje pouštět úlohu častěji než 1× za hodinu, tak se ani častěji nespustí. Pokud má někdo nápad, jak to řešit jinak, sem s ním!

Má to ale jednu výhodu. Pokud se projekt rozroste a zvýšíš si balíček hostingu tak, že crona můžeš pouštět každou minutu, stačí změnit periodu pro crona jako celek a Cronner se postará o správné spouštění.

PS: Pokud ti hosting nedovolí crona častěji než hodinu a ty bys tu úlohu častěji pouštět chtěl, otázka je, zda a) máš správný hostingový balíček nebo b) opravdu potřebuješ tak často pouštět tu úlohu? ;-)

stekycz napsal(a):
Bohužel nejsem kouzelník a pokud ti hosting nedovoluje pouštět úlohu častěji než 1× za hodinu, tak se ani častěji nespustí. Pokud má někdo nápad, jak to řešit jinak, sem s ním!

Mno a co treba udelat script, co spousti sam sebe?

...
... provedeni uloh ...
...

sleep($delay);
if (is_file('php-cron.enabled')) {
	file_get_contents('http://na.sama.sebe'); //nebo pres curl, ci exec(), atp...
}

Samozrejme by se objevilo spoustu uskali napr rozlisovani, kdy to spustil cron a kdy se to spustilo samo, nebo jak se vyporadat s delkou vykonavani narocnejsich uloh, atp. ale i tak si myslim, ze by to bylo proveditelny…

Sleep se do max doby behu scriptu nezapocitava (na linuxech).
Na serveru, kde je alespon nejakej cron, bych to urcite neretezil do nekonecna, ale jen v ramci intervalu toho crona (mam k dispozici 10 min, tak se bude retezit maximalne 9×, za predpokladu, ze budu chtit jednou za minutu overit, jestli nemam neco spustit)… A kdyz uz bych to cely takhle delal, udelal bych to asi tak, aby ten retezici script jen kontroloval, jestli se nema neco spustit, ale sam to uz nespoustel, a byl uplne co mozna nejjednodusi (klidne i cisty php), ktery pokud ho volas i treba kazdou minutu nebude mit naprosto zadnej vliv na vykon celyho serveru, protoze sam o sobe bezi < 10 ms..

Myslel jsem to jinak, to retezeni by se chovalo jen jako cron, tj periodicky by si to kontrolovalo seznam uloh ke spusteni a ty pripadne spoustel (otazka je, jak je spoustet paralelne ze scriptu). Uloha sama by si kontrolovala, jestli ma vyznam spoustet dalsi svy akce – tedy jako u normalniho crona.

@xxxmisko Cronner zatím nepovažuji za finální/stabilní verzi (viz číslo verze). Tyto úkoly mám v issues na GitHubu a budu je řešit, za předpokladu, že je nevyřeší někdo jiný nějakým Pull Requestem :-)

Ahoj, zaprvé chci pochválit. Na první pohled to vypadá pěkně. Řeší to přesně logiku jak bych chtěl s cronem pracovat. Můžu se zeptat, jak to vypadá s dalším vývojem?

Ahoj, Mam jeden taky navrh :-)
Dnes som narazil na problem ked mam niekolko Taskov v rade vsetky maju povolene sa spustat v tom istom case a vsetky dost dlho bezia. Bud zbehnu za 10 sec, to znamena ze uz nemaju co riesit, alebo bezia 40–50 sec. co znamena ze stale nieco riesia.
Na vela servroch je set_time_limit zakazane, takze toto sa neda pouzit.
To spozôbi ze 2 task mi padne. Neda sa nejako sledovat ako dlho bezal task a v pripade ze bezal nad limit (parameter) tak dalsi nespusti?

Skusal som nieco taketo, lenze toto asi nepojde kedze cez callback neviem ovplivnit foreach Cronnera.

class CronPresenter extends Presenter
{
	.......

	/** @var string */
	private $startTime;


	/**
	 * ACTION - Default
	 */
	public function actionDefault()
	{
		$this->cronner->onTaskBegin[] = function ($cronner, $task) {
			if (!$this->startTime) {
				$this->startTime = microtime(TRUE);
			} else {
				$end = microtime(TRUE);
				$time = $end - $this->startTime;
				if ($time > 3) { // Pocet sekund cez ktore nema presiahnut 1 process
					// AKO UROBIM BREAK FOREACH?
				}
			}
		};

		$this->cronner->addTasks($this->cron1);
		$this->cronner->addTasks($this->cron2);

		$this->cronner->run();
		$this->terminate();
	}
}

Toto funguje celkom pekne, dakujem, len drobnost:

try {
	$this->cronner->run();
} catch (CronnerInterruptedException $e) {
	// Toto neodchyti ziadnu vynimku, aj v pripade ze dam chytat \Exception
}

@stekycz cau, uspesne pouzivam cronner. V posleddnej dobe som narazil na jeden problem. Mam definovene pravidlo:

/**
* @cronner-task Synchronize store
* @cronner-period 1 day
* @cronner-time 07:00 - 23:55
*/

Problem je v tom ze sa mi kazdy den spusta o hodinu neskor a neskor a nie kazdy den po 07:00, ale stale o hodinu neskor ako den pred. nevies mi poradit ako to riesit? Dik.
…
20.7 14:01
21.7 15:01
22.7 16:01
23.7 17:00
…

Edit: pouzivam Nette 2.1

Editoval duskohu (24. 7. 2014 10:21)

@stekycz Neviem ci uplne rozumiem, Cron sa mi spusta kazdu 1 hodinu, lebo mam este aj dalsie tasky. Oki skusim si dumpnut tuto kontrolu a dam vediet. Dik.

@duskohu Tomu celkem rozumím. Není ten $lastRunTime asi o vteřinu posunutý? Jaký dostaneš čas, když se k tomu připočte ta perioda? Když si ty časy dumpneš, dostaneš opravdu stejný čas nebo posunutý o vteřinu ve prospěch posunutého posledního spuštění?

Cau, takze som si dal nejaky debug $now, $lastRunTime a saveRunTime a vymazal som cron cache nechal som to bezat nanovo. Zadanie pre cron bolo toto, pricom cron bezi kazdu hodinu.

	/**
	 * @cronner-period 1 day
	 * @cronner-time 07:00 - 23:55
	 */

vystup bol takyto:
[2014–08–02 07–01–06] $now:2014–08–02 07:01:06; $lastRunTime:null
[2014–08–02 07–01–10] saveRunTime:2014–08–02 07:01:10
[2014–08–02 08–01–10] $now:2014–08–02 08:01:10; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 09–00–54] $now:2014–08–02 09:00:54; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 10–01–07] $now:2014–08–02 10:01:07; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 11–00–51] $now:2014–08–02 11:00:51; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 12–01–42] $now:2014–08–02 12:01:42; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 13–00–54] $now:2014–08–02 13:00:53; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 14–01–10] $now:2014–08–02 14:01:10; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 15–00–59] $now:2014–08–02 15:00:59; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 16–01–16] $now:2014–08–02 16:01:16; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 17–00–46] $now:2014–08–02 17:00:46; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 18–01–15] $now:2014–08–02 18:01:15; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 19–00–57] $now:2014–08–02 19:00:57; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 20–01–14] $now:2014–08–02 20:01:14; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 21–00–55] $now:2014–08–02 21:00:55; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 22–01–07] $now:2014–08–02 22:01:07; $lastRunTime:2014–08–02 07:01:10
[2014–08–02 23–01–01] $now:2014–08–02 23:01:01; $lastRunTime:2014–08–02 07:01:10

[2014–08–03 07–01–00] $now:2014–08–03 07:01:00; $lastRunTime:2014–08–02 07:01:10
[2014–08–03 08–01–15] $now:2014–08–03 08:01:15; $lastRunTime:2014–08–02 07:01:10
[2014–08–03 08–01–16] saveRunTime:2014–08–03 08:01:16
[2014–08–03 09–00–52] $now:2014–08–03 09:00:52; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 10–01–06] $now:2014–08–03 10:01:06; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 11–00–51] $now:2014–08–03 11:00:51; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 12–01–41] $now:2014–08–03 12:01:41; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 13–00–52] $now:2014–08–03 13:00:52; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 14–01–02] $now:2014–08–03 14:01:02; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 15–01–01] $now:2014–08–03 15:01:01; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 16–01–08] $now:2014–08–03 16:01:08; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 17–00–50] $now:2014–08–03 17:00:50; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 18–01–10] $now:2014–08–03 18:01:10; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 19–00–52] $now:2014–08–03 19:00:52; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 20–01–11] $now:2014–08–03 20:01:11; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 21–00–54] $now:2014–08–03 21:00:54; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 22–01–06] $now:2014–08–03 22:01:06; $lastRunTime:2014–08–03 08:01:16
[2014–08–03 23–01–00] $now:2014–08–03 23:01:00; $lastRunTime:2014–08–03 08:01:16

[2014–08–04 07–01–05] $now:2014–08–04 07:01:05; $lastRunTime:2014–08–03 08:01:16
[2014–08–04 08–01–12] $now:2014–08–04 08:01:12; $lastRunTime:2014–08–03 08:01:16
[2014–08–04 09–01–07] $now:2014–08–04 09:01:07; $lastRunTime:2014–08–03 08:01:16
[2014–08–04 09–01–07] saveRunTime:2014–08–04 09:01:07
[2014–08–04 10–01–08] $now:2014–08–04 10:01:07; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 11–01–01] $now:2014–08–04 11:01:01; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 12–01–43] $now:2014–08–04 12:01:43; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 13–01–07] $now:2014–08–04 13:01:07; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 14–01–15] $now:2014–08–04 14:01:15; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 15–01–03] $now:2014–08–04 15:01:03; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 16–01–12] $now:2014–08–04 16:01:12; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 17–01–08] $now:2014–08–04 17:01:08; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 18–01–20] $now:2014–08–04 18:01:19; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 19–01–08] $now:2014–08–04 19:01:08; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 20–01–13] $now:2014–08–04 20:01:13; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 21–00–48] $now:2014–08–04 21:00:48; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 22–01–12] $now:2014–08–04 22:01:12; $lastRunTime:2014–08–04 09:01:07
[2014–08–04 23–01–10] $now:2014–08–04 23:01:10; $lastRunTime:2014–08–04 09:01:07

Editoval duskohu (4. 8. 2014 23:27)

@duskohu Omlouvám se zpožděnou odpověď. Založil jsem si na to issue. Měl bych se k tomu tento týden dostat.

@Azathoth S vydáním verze 1.0.0 otálím už asi měsíc nebo dva. Přemýšlím, jestli je ten pull request na paralelní běh ok. Zatím jsem ale nepřišel na lepší řešení nebo na možný problém, který by byl řešitelný. Za případné náměty budu rád :-) Plánuju na Cronneru pracovat, ale především co se týče opravách bugů. Sám totiž příliš nevím, jaké další funkce navíc by mohl někdo využít. Takže námětům i pull requestům se meze nekladou :-)

Šlape verze 1.0.0 i v Nette 2.0.15? Co jsem zkoušel nějakou poslední verzi, tak sice bylo napsáno, že podporuje Nette >= 2.0.0, ale nefungovalo to, protože byl závislý na třídách z Nette 2.2.

Snažím se v balíku držet maximum zpětné kompatibility. Sám ale jedu na nejnovějších stabilních verzích a tak mi může něco uniknout. Podle dotazů předpokládám, že bude stačit na pár míst přidat class_alias, protože většina problémů bude nejspíše kvůli rozdělení Nette na několik balíčků. Nicméně ze stejného důvodu pro tyto verze nejspíš vytvořím speciální tagy (kvůli závislostem). Založil jsem si issue, kouknu na to během týdne (možná už dnes).

Díky za reporting!

@Azathoth Díky za reporting! Už se pracuje na fixu :-)

Já nevím, jestli mi něco uniká, ale při porovnání jsou master i v1.0.1-n2.0 shodné = tag pro Nette 2.0 obsahuje kód, který na verzi 2.0.15 nefunguje.

Ahoj,
tak se snažím rozchodit cronner a mám několik velmi hloupých otázek, tak mne prosím, neukamenujte:

1. úplně jsem nepochopil ty tagy:

At the end you would need to specify your task objects. It would be some service with high probability. You can add tag cronner.tasks to all services with Cronner tasks and those services will be bind automatically. However you can still add new task objects by your own using addTasks method.

Kam konkrétně patří ten tag? Pochopil jsem to ta, že se to má dát do config.neon, ale úplně si nejsem jist, protože používání tagů v souvislosti s DI mi nějak uniklo.

2. Musím nějak nastavovat cron, aby to fungovalo?
3. co všechno je třeba udělat, aby to fungovalo? Přidat do config.neon cronner jako extension a potom jenom přidat do cronneru objekt, který má metody, které chci spouštět, pomocí toho tagu cronner.tasks a u těch metod pak stačí jenom v anotacích definovat, kdy se to má spouštět a to je všechno?

A nebo je lepší mít v presenteru jako závislost cronner, objekt, který má metody, které chci cronnerem spouštět a předat cronneru ten objekt pomocí $cronner->addTasks()?

Těším se na odpovědi.

Editoval Azathoth (28. 8. 2014 11:20)

@Azathoth neviam comu uplne nerozumies. Vsetko je pekne popisane v dokumentaci.
Ale skusim ti to zopakovat, aj ked len prepisujem to co uz niekto napisal:

1. zaregistrujes si extension v neone:

extension:
    cronner: stekycz\Cronner\DI\CronnerExtension

2. injectnes si cronner do presentru:

class CronPresenter extends \Nette\Application\UI\Presenter {
    /**
     * @var \stekycz\Cronner\Cronner
     * @inject
     */
    public $cronner;

    public function actionCron() {
        $this->cronner->run();
    }
}

3. mas moznost registrovat tasky v presentru, alebo v neone, ja si injectnem sluzby kde mam tasky do presentru a tam pridam cronerru tasky.

services:
	CronTasks

class CronPresenter extends \Nette\Application\UI\Presenter {
    /**
     * @var \stekycz\Cronner\Cronner
     * @inject
     */
    public $cronner;

    /**
     * @var CronTasks
     * @inject
     */
    public $cronTasks

    public function actionCron() {
		$this->cronner->addTasks($this->cronTasks);
        $this->cronner->run();
    }
}

4. Classa CronTasks ma tasky, tie definujes na zaklade anotaci:

class CronTasks {
    /**
     * @cronner-task E-mail sending
     * @cronner-period 1 day
     * @cronner-days working days
     * @cronner-time 23:30 - 05:00
     */
    public function sendEmails() {
        // Code which sends all your e-mails
    }

    /**
     * @cronner-task Important data replication
     * @cronner-period 3 hours
     */
    public function replicateImportantData() {
        // Replication code
    }
}

Omlouvám se za to, že jsem nereagoval, byl jsem na dovolené.

@duskohu Podívám se na problémy co nejdříve to půjde.

@Azathoth Cron nastavit musíš. Cronner je jen možnost, jak v rámci aplikace jednotlivé úkoly spravovat. Samotný běh můžeš pouštět buď v presenteru přes nějakou URL nebo přes CLI. Pro CLI mohu doporučit použití Kdyby/Console. Jak to použiješ záleží na tobě.

Hodně základních hostingů umožňuje pouštět Crona pouze po nějakém intervalu a pouze jednu úlohu. Přesně k tomu je Cronner určený. Navíc většina takovým akcí je pouštěná přes curl a proto je použití v presenteru možné. Nicméně pokud to potřebuješ takhle udělat, je vhodné filtrovat danou akci na IP adresy a pokud není localhost (nebo jiná povolená IP adresa), tak vrátit 404. Pokud použiješ CLI a Kdyby/Console, není filtr potřeba, ale většinou potřebuješ nastavit cron sám přes crontab.

Tagy u služby jsou metadata, které je možné použít třeba právě v jednotlivých rozšířeních. Je to součást nette/di. Teoreticky bych mohl nadefinovat interface bez metod a podle něj si služby vytahat. Nicméně je to zbytečná definice rozhraní a následně bys to musel ty implementovat. Mnohem jednodušší je přidat do configu k existující službě tag. Pokud tagy používat nechceš, musíš Cronneru předat jednotlivé objekty jak výše popisuje @duskohu. Tagy jsou v Cronneru až od verze 1.0.

ahoj, taky mám problém na nette 2.2.3: Undefined property: stdClass::$entity

@duskohu @Desttro cronner nepouzivam, ale imho to pude vyresit prohnanim $config v compiler extension fci Compiler::filterArguments, tak si to zkuste a kdyztak poslete stekymu pull request

@matej21 pomohlo dik, prosim ta mohol by si mi objastnit, preco je nutne to pouzit, aky je rozdiel oproti nette 2.1?