nette database large number of rows

Ahoj

potrebuju projít tabulku s cca 400k zaznamu – je mi jasny ze nemuzu udelat select * from table, ale musim strankovat.
Narazim ale na problem s mnozstvim pameti (vic nez 4GB nejsem ochoten skriptu dat). Konkretne nad radkem delam nejdrive nejake ref na jinou tabulku + dalsi zpracovani a nasledne ulozeni vysledku.

Mam pocit, ze ve foreach cyklu kde je join na $delivery pres vice tabulek se nacita do pameti a pri dalsim zavolani se neuvolni. Nasledne dostanu error s velikosti pameti ve Caching/Storages/FileStorage.php:313 (unserialize v metode readMetaAndLock). Je jedno jestli mam velikost stranky 100 nebo 10k zaznamu.

Pouzivam nette/database:2.4.11

konkretne

		for ($i = 0; $i <= $iterations; $i++) {
            $this->database->beginTransaction();
            $orders = $this->database->table("orders")
                ->order("id")
                ->limit($step, $step * $i)
                ->fetchAll();
            /**
             * @var ActiveRow$order
             */
            foreach ($orders as $order) {
				$delivery = $database->table("deliveries")
					->where(...)
					->where(":deliveries2zip.zip_id.zip = ?", $order->zip)
					->fetch();
				if($delivery){
                    $order->update(['delivery_id' => $delivery->id]);
				}
            }
            $this->database->commit();

            echo $i."/".$iterations.PHP_EOL;
        }

Diky za postrceni spravnym smerem…

Editoval driici (15. 2. 2022 15:21)