Utrata danych z pliku muzycznego?

[Grendel2012]

Witam!

 

Może temat był już poruszany ale go nie znalazłem...

 

Otóż mam pytanie czy pliki zapisane na twardym dysku, dysku zewn. itd. mogą tracić na jakości? Tzn. czy może się pojawiać jakaś utrata danych co spowoduje np. przerwy w muzyce? Albo jakieś zniekształcenia?

 

Czy też może jest tak, że plik zapisany w formacie powiedzmy FLAC nie zmienia się, tzn. raz zgrany jest taki sam przez cały czas i nie występuje żadna utrata danych, mogąca spowodować utratę jakości muzycznej?

 

Jestem trochę laikiem jeśli chodzi o gromadzenie muzyki na komputerze więc proszę o wypowiedzi.

[hafis]

A zdjęcia gromadzisz? Tracą na jakości? A filmy? A dokumenty w MS Word?

[Grendel2012]

Rozumiem, w którym kierunku zmierzasz. Niemniej materia muzyczna jest subtelna, utrata jakiejś minimalnej części danych mogłaby spowodować dziurę w utworze, albo jakieś zniekształcenie, które słychać na lepszym systemie. Tak czy owak widzę, że uważasz iż nie ma takiej możliwości :)

[Different]

Dane cyfrowe ( o ile 'nośnik' na to pozwala ) pozostaną bez zmiany - dopóki działają. Nie ma żadnego - 'ale' .!

[hafis]

Nie, nie zaginam jedynie rzeczywistości? A ściągasz (kupujesz) pliki hd? Nie boisz się, że coś stracisz podczas przesyłu zza oceanu?

 

Materia muzyczna, jak to określiłeś, nie różni się niczym od reszty danych cyfrowych. Po prostu ciąg danych binarnych i dopóki nie padnie nośnik, nic im nie grozi.

 

Pytanie pod rozwagę: w jakim celu dokonuje się cyfryzacji filmów, nagrań? Wtedy dopiero stają się nieśmiertelne.

[Grendel2012]

Rozumiem, kupując plik podejmowałoby się ryzyko. Oczywiście należy mieć backup w postaci dwóch kopii. Naturalnie.

[hafis]

Rozumiem, kupując plik podejmowałoby się ryzyko. Oczywiście należy mieć backup w postaci dwóch kopii. Naturalnie.

 

O właśnie. Pliki kupione jedynie w formie elektronicznej trzymam w backupie w chmurze. Resztę mam na płytach, które leżakują sobie w dobrych warunkach atmosferycznych (względnie stała temperatura i wilgotność).

[ayran]

To jest jakaś ukryta kamera? We flac każda ramka ma sumę kontrolną CRC. Wystarczy wykonać (to np. w linuxie):

 

flac -t plik.flac

 

i można sprawdzić integralność pliku flac. Oprócz tego blok audio w pliku ma liczoną sumę md5.

 

To co ci grozi to błąd sprzętu (np. uszkodzenie dysku twardego), dlatego warto mieć więcej niż jedną kopię swojej biblioteki. Jest też również coś takiego jak "cichy błąd", którego nie widzi elektronika dysku ani system operacyjny. Ale ponieważ pliki flac są pełnie sum kontrolnych CRC to każdy normalny odtwarzacz musi się zorientować, że plik zawiera błąd.

 

Z cichym błędem można sobie radzić przy pomocy par2, są też NAS, oparte na freebsd, które wykorzystują system plików ZFS. W przypadku ZFS system operacyjny wykonuje co pewien czas "szalonego iwana" i robi audyt wszystkich plików i w przypadku systemów RAID system operacyjny wybiera poprawną wersję pliku i nadpisuje ją wersję uszkodzoną.

 

Podsumowując:

-- awaria sprzętu dotyczy wszystkich dysków, naelektryzuj się i dotnij obudowy działającego dysku twardego, daję ci góra 10 minut :)

-- współczesne dyski twarde mają smart i można się dowiedzieć czy dysk ma jakieś problemy ZANIM te problemy będą oznaczać błędy wyjścia/wejścia

-- trzeba trzymać więcej niż kopię biblioteki, dobrze mieć jedną poza miejscem zamieszkania

-- zaraz się tu zlecą człowieki typu ałdiofil i zaczną przeżywać, że słyszą ciche błędy: taki błąd występuje co 10^16 bitów i jeśli dobrze liczę to 1250TB

-- nawet jak wystąpi cichy błąd to pliki flac mają tyle zabezpieczeń, że odtwarzacz zorientuje się, że w pliku jest błąd. Cała ramka pójdzie się ... No i to słychać jako taki krótki strzał. Można łatwo zrobić eksperyment. Trzeba wziąć plik flac, otworzyć go w jakimś edytorze binarnym i zmienić gdzieś w połowie pliku wartość jakiegoś bitu z 0 na 1 (albo odwrotnie)

-- Zawsze warto pomyśleć o liczeniu danych naprawczych par2 -- jak się wie, że w pliku jest przekłamanie i ma się dane par2 to można plik naprawić

[zjj_wwa]

Czy ze słów przedmówcy prawidłowo wnioskuję, że .flac to nie jest maszyna dwustanowa, w sensie albo status "Poprawny" lub status "Niepoprawny" ?

Czy są możliwe przekłamania w .flac, które nie zostaną rozpoznane przez foobar jako "uszkodzony plik" ?

Czy pliki .flac nie są wyposażone w sumę kontrolną, która czuwa nad integralnością całego pliku ?

Wydawało mi się, że .flac jest formatem kompresji bezstratnej, bazującej na ścisłych matematycznych algorytmach.

Czy to nie jest tak, że zmiana choćby jednego bitu w ramach tej długiej sekwencji powoduje rozpierduchę na miarę Enigmy ?

[ayran]

No właśnie piszę, że są. Każda ramka ma swoje CRC i jest md5 bloku audio.

 

metaflac --list plik.flac

METADATA block #0

type: 0 (STREAMINFO)

is last: false

length: 34

minimum blocksize: 4096 samples

maximum blocksize: 4096 samples

minimum framesize: 14 bytes

maximum framesize: 12860 bytes

sample_rate: 44100 Hz

channels: 2

bits-per-sample: 16

total samples: 7074816

MD5 signature: 8e15dfbd0d156f9eb994893cd2e7c277

 

To jest blok opisujący strumień audio i tam jest suma md5. No i oprócz tego każda ramka ma swoją własną sumę CRC.

 

Ponieważ flac składa się z ramek, zmiana jednego bitu oznacza, że cała ramka jest przez odtwarzacz zinterpretowana jak uszkodzona. Czyli będzie strzał i odtwarzacz powinien pójść dalej.

[Grendel2012]

Czy często albo po latach nadzialiście się na takie strzały?

[krompac]

Podepnę się pod temat.

Jak wiadomo zdarzają się rzeczy o których się filozofom nie śniło.

 

Wielokrotnie porównywano w dyskusjach pliki flac do choćby plików rar. Więc może ktoś potrafi mi wytłumaczyć sytuację jaka miała miejsce u mnie bo nadal po kilku latach nie jestem w stanie tego pojąć.

 

Otóż ściągłem sobie na dysk dawno temu 16gb romów mame spakowanych rarem. Przykładowy pojedynczy plik miał np.ok 6mb. Po jakimś czasie te pliki nadal widoczne jako rar miały już po kilkaset kilobajtów. Oczywiście emulator już tego nie odczytuje. Jak to się do cholery mogło stać? Co ciekawe zaznaczając całość nadal wskazuje te 16gb. WTF???

[rambo54]

Mi dziś strzeliło aż wywaliło mi korki

[BoDeX]

Ponieważ flac składa się z ramek, zmiana jednego bitu oznacza, że cała ramka jest przez odtwarzacz

zinterpretowana jak uszkodzona. Czyli będzie strzał i odtwarzacz powinien pójść dalej.

 

 

Nie musi być "strzału". Jeśli struktura nośnika danych uległa "uszkodzeniu" lub utraciła swoje zdolności

przechowywania informacji, wówczas pojawia się problem z realizacją zadania odtworzenia lub skopiowania.

CRC wywala błąd, system tego nie trawi - odczyt i ew. zapis staje się wręcz niemożliwy.

Na pomoc przychodzą programy, które uszkodzone dane zastępują wartościami zbliżonymi, aby cały proses

stał się możliwym. Pojawią się fałszywe wartości, ale nie zostanie zatrzymane odtwarzanie/kopiowanie.

 

To taka proteza, ale w przypadku gdy godzimy się na lekkie zdeformowanie pliku pierwotnego (nawet nie

wpływającego na nasz odbiór), to może być ostatnią deską ratunku na drodze odzyskania pliku.

 

Przykładem może być program Roadkil's Unstoppable Copier - dane niemożliwe do odczytania

zostają zinterpolowane i zastąpione, ale dzięki temu cały plik staje się strawny, a nie odrzucony ....

[ayran]

Pliki generowane przez oryginalny libflac mają zmienny rozmiar ramki. W przypadku mojego przykładowego pliku to jest:

minimum framesize: 14 bytes

maximum framesize: 12860 bytes

 

 

 

Załóżmy, że mowa o ramce o rozmiarze 12860 bajtów. Odtwarzacz wie, że ramka jest trafiona bo mu się CRC nie zgadza. Jaką przybliżoną wartość ma zmienić? Ma sprawdzić 1280 x ilość możliwych wartości bajtu? A skąd ma wiedzieć, że tylko jeden bajt jest trafiony? Sory ale tutaj nikt się nie bawi we wstawianie żadnych wartości przybliżonych. Muzyka gra i nie ma czasu, zwłaszcza że ilość permutacji jest duża. No i nikt nie odrzuca pliku. To nie jest APE. Flac składa się z ramek i to ramka jest odrzucona, nie cały plik. Jeśli ramka ma "słuszne" rozmiary to będzie słychać strzał.

 

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

 

Otwórz sobie plik w jakim edytorze binarnym i coś w nim przestaw.

 

Czy często albo po latach nadzialiście się na takie strzały?

Tak, miałem uszkodzony procek czy coś i flaki były zapisywane na dysku z błędami. Oczywiście pliki ze "strzałami" nie przechodziły testu "flac -t" więc nie ma mowy o żadnej magii. W linuksie można sobie np. napisać skrypt, który przejdzie się po całej bibliotece i na każdym pliku wykonana "flac -t". Jak akurat miałem skrypt, który do każdego pliku w bibliotece miał dodać tagi replaygain. No a żeby to zrobić to program metaflac musi sobie przeczytać cały strumień audio z pliku audio no i wyszło mi kilka błędów. Jak je pliki odtwarzałem to faktycznie było takie pyknięcie.

 

W twoim pytaniu chodzi o to po jakim czasie dysk twardy (czy inny nośnik) przestanie być wiarygodny. Jeśli pliki były nagrane poprawnie (czyli po zapisie przechodziły testy), a szansa na cichy błąd jest mała to stary dysk twardy będzie po prostu zgłaszać błędy i/o. Elektronika dysku będzie informować system operacyjny, że danych informacji nie jest w stanie odczytać. Dyski twarde to nie jest kaseta magnetofonowa stopniowo tracąca informację.

 

Podepnę się pod temat.

Jak wiadomo zdarzają się rzeczy o których się filozofom nie śniło.

 

Wielokrotnie porównywano w dyskusjach pliki flac do choćby plików rar. Więc może ktoś potrafi mi wytłumaczyć sytuację jaka miała miejsce u mnie bo nadal po kilku latach nie jestem w stanie tego pojąć.

 

Otóż ściągłem sobie na dysk dawno temu 16gb romów mame spakowanych rarem. Przykładowy pojedynczy plik miał np.ok 6mb. Po jakimś czasie te pliki nadal widoczne jako rar miały już po kilkaset kilobajtów. Oczywiście emulator już tego nie odczytuje. Jak to się do cholery mogło stać? Co ciekawe zaznaczając całość nadal wskazuje te 16gb. WTF???

Coś ci te pliki uszkodziło. Rary same się nie kurczą. To nie jest jeszcze skynet.

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[BoDeX]

Przykładową dziurę w dysku nie każdy player potraktuje tak samo ... a dziurę można "naprawić".

Efekt naprawy nie zawsze musi być dostrzegalny zmysłem słuchu. STOP. :)

 

Elektronika dysku będzie informować system operacyjny, że danych informacji nie jest w stanie odczytać. Dyski twarde to nie jest kaseta magnetofonowa stopniowo tracąca informację.

 

Celne sformułowanie - to jądro problemu.

System nie potrafi odczytać i odrzuca, ale program wspomagający potrafi "naprawić ten błąd.

Przykładowo, podczas oglądania filmu, pojai się niebieski piksel gdzieś w rogu - to będzie efekt

działania programu do naprawy utraconych bloków danych - nie odrzuci, tylko lekko przekłamie. :)

[ayran]

Ale nie mówimy o jakiejś dziurze w dysku ale o konkretnym formacie danych z bardzo ściśle określoną specyfikacją. Dodam, że libflac jest na licencji bsd i jako taki może być wykorzystywana w zasadzie w każdym oprogramowaniu bez względu na jego licencję.

 

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

 

Tak np. jest w foobar2000:

 

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

 

 

Oznacza to, że większość odtwarzaczy korzysta z libflac albo z ffmpeg. Więc zachowanie się odtwarzaczy są podobne. I dziury nikt nie naprawia w locie. To nie jest CD. Jest masa narzędzi by zapewnić integralność danych i znane mi odtwarzacze korzystające z libflac, zgłaszają błąd i lecą dalej. Nikt normalny nie będzie pisząc odtwarzacz sam sobie implementował obsługę flac. To bez sensu. Np. mpd jest zlinkowany do libflac lub do ffmpeg i przyjmuje co mu te biblioteki dają. Podobnie jest pewnie z foobar2000. A libflac nie bawi się w żadną interpolację.

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[BoDeX]

Ale nie mówimy o jakiejś dziurze w dysku ale o konkretnym formacie danych z bardzo ściśle określoną specyfikacją.

 

Pomimo tego, że stoimy (tak mi się wydaje) po tej samej stronie (integralność plików), to chyba musimy

się trochę pokłocić.... :) Ludziiki trzymają "zbiory? na HDD, a tam może być różnie - stąd pomysł na pomoc.

Jeśli dostajesz komunikat, że dupa z kopiowania, bo jest błąd parzystości, to możesz zrezygnować, lub.. próbować.

To jest idea dyskusji w tym wątku. :) Nic poza tym .....

[ayran]

No ok ale to już problem dysku a nie flac, jak ci się

dysk zepsuje to nie odczytasz zdjęć jak i innych plików.

Nawet jeśli odzyskasz cały plik, tyle że uszkodzony

to nie znam softu, który potrafi to naprawić.

Tym bardziej nie znam odtwarzacza, który robi

takie rzeczy w trakcie odtwarza.

 

Zatem pamiętajcie plikowicze: kilka kopii biblioteki,

w tym jedna poza domem.

[zjj_wwa]

Czy często albo po latach nadzialiście się na takie strzały?

Zdarzyło mi się, że kilka plików mi się "sypnęło" - po prostu naturalne awarie sektorów na dysku twardym.

Dyski mam typu 1TB i włączyłem je do prądu jakieś 8 lat temu ...

Czasem się tam któremu coś przytrafi .. Ale bardzo rzadko.

Tyle tylko, że wtedy nie mam "strzału" - lecz raczej "plik jest uszkodzony" i po temacie.

 

A co sądzicie o dodatkowym "zipowaniu" katalogów bibliotek ?

WinRaR / WinZip to jest usługa, która w zasadzie jest prawie zintegrowana z systemem operacyjnym peceta - w tym sensie, że nawet eksplorer jest w stanie "przeglądać" zzipowane katalogi.

Tak samo, foobar jest w stanie "odtwarzać" zzipowane katalogi - tyle tylko że przerwa między utworami / plikami / albumami będzie np o tą 1 sekundę czy 2 dłuższa - czyli o okres rozzipowywania zbioru przed odtworzeniem.

 

Natomiast ta chora koncepcja ma tę zaletę, że na system integralności struktury samego .flac, i na jego .md5, jest niejako z automatu nałożona analiza integralności samego .zip'a. Całe archiwum .zip jest albo spójne, albo nie jest.

Jeśli coś się pochrzani z jakimś zbiorem, i przestanie być "bit-perfect" co to pojedynczego bitu, to mamy prosty i jasny i brutalny komunikat, że pora sięgnąć po kopię zapasową.

[ayran]

Zamiast zipować lepiej używać par2. Masz dane naprawcze i możliwość odsłuchu.

[zjj_wwa]

Zamiast zipować lepiej używać par2. Masz dane naprawcze i możliwość odsłuchu.

Dzięki za tą sugestię.

Znasz może dobry, godny zarekomendowania, program, którym istniejące zbiory w systemie windows mógłbym przeskanować,

w celu "uzupełnienia" o te dodatkowe dane naprawcze typu par2 ?

Mam pliki typów: .flac .ape .eac ( i jeszcze jakieś parę innych formatów ).

 

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Przykładowo - takie coś będzie OK ?

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[soundchaser]

Zatem pamiętajcie plikowicze: kilka kopii biblioteki,

w tym jedna poza domem.

 

Taaa, najlepiej z 10. ;-)

 

Jedną w domu, a 9 poza domem.

[ayran]

 

 

Taaa, najlepiej z 10. ;-)

 

Jedną w domu, a 9 poza domem.

Na co kogo stać.

 

 

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Przykładowo - takie coś będzie OK ?

Z tego wiem to jest par2.exe i są na niego nakładki jak w przypadku flac.exe. W linuksie napisałem sobie skrypt do tego i nie używałem nic klikanego. W każdym razie obok pliku flac będziesz mieć pliki par2. Odtwarzacze je powinny ignorować.

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[leon28]

Rozumiem, w którym kierunku zmierzasz. Niemniej materia muzyczna jest subtelna, utrata jakiejś minimalnej części danych mogłaby spowodować dziurę w utworze, albo jakieś zniekształcenie, które słychać na lepszym systemie. Tak czy owak widzę, że uważasz iż nie ma takiej możliwości :)

 

na audiofilskich dyskach przystosowanych do przechowywania muzyki nic nie utracisz.

inne, to nawet podczas odtwarzania beda ci kaszanic dzwiek, bas bedzie rozlazly, sybilanty beda kłuły uszy. wiadomo, trzeba za to odpowiednio zaplacic, ale cos za cos ;-)

 

Rozumiem, kupując plik podejmowałoby się ryzyko. Oczywiście należy mieć backup w postaci dwóch kopii. Naturalnie.

 

nie wiem jak jest u innych sprzedawcow, ale pewnie po zalogowaniu na swoje konto masz dostep do kupionych plikow tak czy siak. moze wiec backup jest niepotrzebny?

[ayran]

nie wiem jak jest u innych sprzedawcow, ale pewnie po zalogowaniu na swoje konto masz dostep do kupionych plikow tak czy siak. moze wiec backup jest niepotrzebny?

 

A sprzedawca nie może zbankrutować/zamknąć biznesu a nawet jeśli może to musi utrzymywać serwer :D

Ja wolę DIY.

[leon28]

A sprzedawca nie może zbankrutować/zamknąć biznesu a nawet jeśli może to musi utrzymywać serwer :D

Ja wolę DIY.

 

oczywiscie, ze moze. bazowalem na doswadczeniach z amazonem i apple. stad tez moja wiara w to, ze za bardzo na razie nie musze sie martwic o backup.

[Grendel2012]

nie wiem jak jest u innych sprzedawcow, ale pewnie po zalogowaniu na swoje konto masz dostep do kupionych plikow tak czy siak. moze wiec backup jest niepotrzebny?

 

No np. HDtracks nie umożliwia takiego dostępu. I w tym sęk.

[leon28]

No np. HDtracks nie umożliwia takiego dostępu. I w tym sęk.

ok, sorry jesli kogos wprowadzilem tym w blad. prawde mowiac, mimo tego niby backupu sprzedawcy tez i tak trzymam moje cyfrowe zakupy na 2 roznych nosnikach ;-)

[ayran]

BTW, jak tak sobie gadamy o integralności plików to dodam jeszcze jedną rzecz.

O ile pliki flac są super bo mają wbudowaną kontrolę integralności to pliki dsf są tego pozbawione.

Akurat w przypadku plików dsf generowanie plików par2 (kontrola integralności plus dane naprawcze) lub sumy sha512 (kontrola integralności) jest bardzo wskazane.