Parquet cov ntaub ntawv yog cov ntaub ntawv hdfs uas yuav tsum suav nrog cov metadata rau cov ntaub ntawv. Qhov no tso cai rau kev faib cov kab rau hauv ntau cov ntaub ntawv, nrog rau muaj ib cov ntaub ntawv metadata siv ntau cov ntaub ntawv parquet. Cov metadata suav nrog lub schema rau cov ntaub ntawv khaws cia hauv cov ntaub ntawv.
Kuv yuav ua li cas thiaj tsim tau ib lub tswv yim rau cov ntaub ntawv parquet?
Txhawm rau tsim cov schema ntawm cov ntaub ntawv parquet, ua cov hauv qab no:
- Log in to the Haddop/Hive box.
- Nws tsim cov schema hauv stdout raws li hauv qab no: -------------- [~parquet-tools schema abc.parquet. lus hive_schema { …
- Copy qhov schema rau ib cov ntaub ntawv nrog. parquet /. par extension.
Puas parquet txhawb schema evolution?
Schema Merging
Zoo li raws tu qauv tsis, Avro, thiab Thrift, Parquet kuj txhawb schema evolution Cov neeg siv tuaj yeem pib nrog lub tswv yim yooj yim, thiab maj mam ntxiv ntau kab rau schema raws li xav tau. Nyob rau hauv txoj kev no, cov neeg siv yuav xaus nrog ntau yam ntaub ntawv Parquet nrog sib txawv tab sis sib koom ua ke schemas.
Puas cov ntaub ntawv parquet muaj hom ntaub ntawv?
Parquet cov ntaub ntawv hom daim ntawv qhia rau kev hloov pauv cov ntaub ntawv hom uas Cov Kev Pabcuam Cov Ntaub Ntawv siv txav cov ntaub ntawv hla lub platform. Parquet schema uas koj qhia kom nyeem lossis sau cov ntaub ntawv Parquet yuav tsum yog me me.
Tus qauv ntawm cov ntaub ntawv parquet yog dab tsi?
Parquet cov ntaub ntawv yog ua los ntawm kab pawg, header thiab footerTxhua pawg muaj cov ntaub ntawv los ntawm tib kab. Cov kab ntawv tib yam tau muab khaws cia ua ke hauv txhua pab pawg: Cov qauv no yog qhov zoo rau ob qho tib si rau kev nug ceev ceev, nrog rau qhov qis I / O (txuag cov ntaub ntawv luam theej).
