- Tytuł:
-
Quick offline sparse matrices
Szybkie rzadkie macierze przechowywane na dysku - Autorzy:
- Wicijowski, J.
- Powiązania:
- https://bibliotekanauki.pl/articles/160240.pdf
- Data publikacji:
- 2010
- Wydawca:
- Sieć Badawcza Łukasiewicz - Instytut Elektrotechniki
- Tematy:
-
macierz rzadka
mnożenie
przechowywanie w trybie offline
wielki zbiór danych
sparse matrix
multiplication
offline storage
huge datasets - Opis:
-
When dealing with large datasets, computer memory constraints are a common problem. With the volumes of data exceeding 1 GiB of size, storage of the whole datasets in RAM becomes infeasible. Since in most applications one deals with only a portion of dataset at a time, the rest may be kept offline on nonvolatile memory that provides larger capacities. The access to nonvolatile memory is typically a few orders of magnitude slower than of RAM, so an efficient method of storage should be proposed to keep the number of disc accesses count as small as possible. In the paper I describe the offline storage of sparse matrices that is built on top of Hierarchical Data Format (precisely, on the latest revision - HDF5) addressing the problem of matrix-vector multiplication.
Ograniczenia pamięci komputera są powszechnym problemem przy obliczeniach przeprowadzanych na wielkich zbiorach danych. Przy danych roboczych przekraczających 1 GiB, składowanie całości w pamięci operacyjnej staje się utrudnione, a często nawet nieosiągalne. Ponieważ w większości aplikacji wykonuje się działania jedynie na fragmencie zbioru danych, reszta może być przechowywana w pamięci stałej, która zapewnia dużo większe pojemności. Dostęp do pamięci stałej jest zazwyczaj kilka rzędów wielkości wolniejszy niż do RAMu, zatem należy przedstawić metodę składowania ograniczającą do minimum ilość dostępów do dysku. W artykule opisuję format przechowywania macierzy rzadkich na dysku, zbudowanym na bazie formatu HDF5 (Hierarchical Data Format) pod kątem minimalizacji czasu mnożenia tej macierzy przez wektor. - Źródło:
-
Prace Instytutu Elektrotechniki; 2010, 247; 209-222
0032-6216 - Pojawia się w:
- Prace Instytutu Elektrotechniki
- Dostawca treści:
- Biblioteka Nauki
Artykuł