Word n-gram language model
ಪದ ಎನ್-ಗ್ರಾಮ್ ಭಾಷೆಯ ಮಾದರಿಯು ಭಾಷೆಯ ಸಂಪೂರ್ಣ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಮಾದರಿಯಾಗಿದೆ. ಇದನ್ನು ಪುನರಾವರ್ತಿತ ನರ ಜಾಲ-ಆಧಾರಿತ ಮಾದರಿಗಳು ಆಕ್ರಮಿಸಿವೆ, ಇದನ್ನು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು ಆಕ್ರಮಿಸಿವೆ. ಒಂದು ಅನುಕ್ರಮದಲ್ಲಿ ಮುಂದಿನ ಪದದ ಸಂಭವನೀಯತೆಯು ಹಿಂದಿನ ಪದಗಳ ಸ್ಥಿರ ಗಾತ್ರದ ವಿಂಡೋವನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸಿರುತ್ತದೆ ಎಂಬ ಊಹೆಯನ್ನು ಇದು ಆಧರಿಸಿದೆ. ಹಿಂದಿನ ಒಂದು ಪದವನ್ನು ಮಾತ್ರ ಪರಿಗಣಿಸಿದರೆ, ಅದನ್ನು ಬಿಗ್ರಾಮ್ ಮಾದರಿ ಎಂದು ಕರೆಯಲಾಗುತ್ತಿತ್ತು; ಎರಡು ಪದಗಳಿದ್ದರೆ, ಟ್ರಿಗ್ರಾಮ್ ಮಾದರಿ; ಎನ್-1 ಪದಗಳಿದ್ದರೆ, ಎನ್-ಗ್ರಾಮ್ ಮಾದರಿ. ವಾಕ್ಯದ ಪ್ರಾರಂಭ ಮತ್ತು ಅಂತ್ಯವನ್ನು ಸೂಚಿಸಲು ವಿಶೇಷ ಟೋಕನ್ಗಳನ್ನು ಪರಿಚಯಿಸಲಾಯಿತು. ಕಾಣದ ಪದಗಳಿಗೆ ಶೂನ್ಯ ಸಂಭವನೀಯತೆಯನ್ನು ನಿಗದಿಪಡಿಸುವುದನ್ನು ತಡೆಯಲು, ಪ್ರತಿ ಪದದ ಸಂಭವನೀಯತೆಯು ಕಾರ್ಪಸ್ನಲ್ಲಿ ಅದರ ಆವರ್ತನ ಎಣಿಕೆಗಿಂತ ಸ್ವಲ್ಪ ಕಡಿಮೆಯಾಗಿದೆ. ಇದನ್ನು ಲೆಕ್ಕಹಾಕಲು, ಗುಡ್-ಟ್ಯೂರಿಂಗ್ ರಿಯಾಯಿತಿ ಅಥವಾ ಬ್ಯಾಕ್-ಆಫ್ ಮಾದರಿಗಳಂತಹ ಹೆಚ್ಚು ಅತ್ಯಾಧುನಿಕ ಮಾದರಿಗಳಿಗೆ ಸರಳವಾದ "ಆಡ್-ಒನ್" ಸುಗಮಗೊಳಿಸುವಿಕೆಯಿಂದ (ಕಾಣದ ಎನ್-ಗ್ರಾಂಗಳಿಗೆ 1 ರ ಎಣಿಕೆಯನ್ನು ನಿಯೋಜಿಸಿ, ಮಾಹಿತಿಯಿಲ್ಲದ ಮುಂಚಿತವಾಗಿ) ವಿವಿಧ ವಿಧಾನಗಳನ್ನು ಬಳಸಲಾಯಿತು. ಯುನಿಗ್ರಾಮ್ ಮಾದರಿ ಒಂದು ವಿಶೇಷ ಪ್ರಕರಣ, ಅಲ್ಲಿ n = 0 ಅನ್ನು ಯುನಿಗ್ರಾಮ್ ಮಾದರಿ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಅನುಕ್ರಮದಲ್ಲಿ ಪ್ರತಿ ಪದದ ಸಂಭವನೀಯತೆಯು ಅನುಕ್ರಮದಲ್ಲಿ ಇತರ ಪದದ ಸಂಭವನೀಯತೆಗಳಿಂದ ಸ್ವತಂತ್ರವಾಗಿರುತ್ತದೆ. ಅನುಕ್ರಮದಲ್ಲಿ ಪ್ರತಿ ಪದದ ಸಂಭವನೀಯತೆಯು ಇಡೀ ದಾಖಲೆಯಲ್ಲಿ ಪದದ ಸಂಭವನೀಯತೆಗೆ ಸಮಾನವಾಗಿರುತ್ತದೆ. ಈ ಮಾದರಿಯು ಘಟಕಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರತಿಯೊಂದನ್ನೂ ಒನ್-ಸ್ಟೇಟ್ ಫೈನೈಟ್ ಆಟೋಮ್ಯಾಟಾ ಎಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ. ದಾಖಲೆಯಲ್ಲಿನ ಅವುಗಳ ಸಂಭವನೀಯತೆಗಳೊಂದಿಗಿನ ಪದಗಳನ್ನು ಈ ಕೆಳಗಿನಂತೆ ವಿವರಿಸಬಹುದು. ಡಾಕ್ಯುಮೆಂಟ್ನ ಶಬ್ದಕೋಶದಲ್ಲಿ ವಿತರಿಸಲಾದ ಪದ ಸಂಭವನೀಯತೆಗಳ ಒಟ್ಟು ಸಮೂಹವು 1 ಆಗಿದೆ. ವಿವಿಧ ದಾಖಲೆಗಳ ಯುನಿಗ್ರಾಮ್ ಮಾದರಿಗಳು ಪದಗಳ ವಿಭಿನ್ನ ಸಂಭವನೀಯತೆಗಳನ್ನು ಹೊಂದಿರುವುದರಿಂದ ನಿರ್ದಿಷ್ಟ ಪ್ರಶ್ನೆಗೆ ಉತ್ಪತ್ತಿಯಾಗುವ ಸಂಭವನೀಯತೆಯನ್ನು ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ವಿವಿಧ ದಾಖಲೆಗಳ ಸಂಭವನೀಯತೆ ವಿತರಣೆಗಳನ್ನು ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಹಿಟ್ ಸಂಭವನೀಯತೆಗಳನ್ನು ಸೃಷ್ಟಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ. ಸಂಭವನೀಯತೆಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಪ್ರಶ್ನೆಗಳಿಗೆ ಡಾಕ್ಯುಮೆಂಟ್ಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸಬಹುದು. ಎರಡು ದಾಖಲೆಗಳ ಯುನಿಗ್ರಾಮ್ ಮಾದರಿಗಳ ಉದಾಹರಣೆಃ ಬಿಗ್ರಾಮ್ ಮಾದರಿ ಬಿಗ್ರಾಮ್ ಪದ (n = 2) ಭಾಷಾ ಮಾದರಿಯಲ್ಲಿ, ನಾನು ಕೆಂಪು ಮನೆಯನ್ನು ನೋಡಿದ ವಾಕ್ಯದ ಸಂಭವನೀಯತೆಯನ್ನು ತ್ರಿಗ್ರಾಮ್ ಮಾದರಿಯಾಗಿ ಅಂದಾಜು ಮಾಡಲಾಗಿದೆ ತ್ರಿಗ್ರಾಮ್ (n = 3) ಭಾಷಾ ಮಾದರಿಯಲ್ಲಿ, ಅಂದಾಜು ಎಂದರೆ ಮೊದಲ n-1 n-ಗ್ರಾಮ್ಗಳ ಸಂದರ್ಭವು ಸಾಮಾನ್ಯವಾಗಿ ಸೂಚಿಸಲಾದ <s> ನ ಆರಂಭದ ವಾಕ್ಯ ಗುರುತುಗಳಿಂದ ತುಂಬಿರುತ್ತದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ವಾಕ್ಯದ ಅಂತ್ಯದ ಗುರುತು ಇಲ್ಲದೆ, ನಾನು ನೋಡಿದ ವ್ಯಾಕರಣರಹಿತ ಅನುಕ್ರಮದ ಸಂಭವನೀಯತೆಯು ಯಾವಾಗಲೂ ನಾನು ಕೆಂಪು ಮನೆಯನ್ನು ನೋಡಿದ ದೀರ್ಘ ವಾಕ್ಯಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿರುತ್ತದೆ. ಅಂದಾಜು ವಿಧಾನವು ವಾಕ್ಯವನ್ನು ಗಮನಿಸುವುದರ ಸಂಭವನೀಯತೆಯನ್ನು ಅಂದಾಜು ಮಾಡುತ್ತದೆ. ಹಿಂದಿನ n−1 ಪದಗಳನ್ನು (nth-ಆರ್ಡರ್ ಮಾರ್ಕೋವ್ ಪ್ರಾಪರ್ಟಿ) ಒಳಗೊಂಡಿರುವ ಸಂಕ್ಷಿಪ್ತ ಸಂದರ್ಭ ವಿಂಡೋದಲ್ಲಿ ಅದನ್ನು ಗಮನಿಸುವುದರ ಸಂಭವನೀಯತೆಯಿಂದ (ಹಿಂದಿನ i−1 ಪದಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಸಂದರ್ಭ ವಿಂಡೋದಲ್ಲಿ) ith ಪದವನ್ನು ಗಮನಿಸುವುದರ ಸಂಭವನೀಯತೆಯನ್ನು ಅಂದಾಜು ಮಾಡಬಹುದು ಎಂದು ಊಹಿಸಲಾಗಿದೆ. ಸ್ಪಷ್ಟೀಕರಿಸಲು, n = 3 ಮತ್ತು i = 2 ಗೆ ನಾವು ಹೊಂದಿದ್ದೇವೆ. ಷರತ್ತುಬದ್ಧ ಸಂಭವನೀಯತೆಯನ್ನು ಎನ್-ಗ್ರಾಮ್ ಮಾದರಿ ಆವರ್ತನ ಎಣಿಕೆಗಳಿಂದ ಲೆಕ್ಕ ಹಾಕಬಹುದುಃ ಪದಕೋಶದ ಹೊರಗಿನ ಪದಗಳು ಎನ್-ಗ್ರಾಮ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಬಳಸುವಾಗ ಒಂದು ಸಮಸ್ಯೆಯು ಪದಕೋಶದ ಹೊರಗಿನ (ಒಒವಿ) ಪದಗಳಾಗಿವೆ. ಇನ್ಪುಟ್ ಅದರ ತಯಾರಿಕೆಯ ಸಮಯದಲ್ಲಿ ವ್ಯವಸ್ಥೆಯ ನಿಘಂಟು ಅಥವಾ ಡೇಟಾಬೇಸ್ನಲ್ಲಿ ಇಲ್ಲದ ಪದಗಳನ್ನು ಒಳಗೊಂಡಿರುವಾಗ ಅವು ಕಂಪ್ಯೂಟೇಶನಲ್ ಭಾಷಾಶಾಸ್ತ್ರ ಮತ್ತು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆಯಲ್ಲಿ ಎದುರಾಗುತ್ತವೆ. ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ, ಭಾಷೆಯ ಮಾದರಿಯನ್ನು ಅಂದಾಜು ಮಾಡಿದಾಗ, ವೀಕ್ಷಿಸಿದ ಸಂಪೂರ್ಣ ಶಬ್ದಕೋಶವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಕೆಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ, ನಿರ್ದಿಷ್ಟ ಸ್ಥಿರ ಶಬ್ದಕೋಶದೊಂದಿಗೆ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಅಂದಾಜು ಮಾಡುವುದು ಅಗತ್ಯವಾಗಬಹುದು. ಅಂತಹ ಸನ್ನಿವೇಶದಲ್ಲಿ, ಶಬ್ದಕೋಶವಿಲ್ಲದ ಪದವನ್ನು ಹೊಂದಿರುವ ಕಾರ್ಪಸ್ನಲ್ಲಿರುವ ಎನ್-ಗ್ರಾಮ್ಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಲಾಗುತ್ತದೆ. ಎನ್-ಗ್ರಾಮ್ ಸಂಭವನೀಯತೆಗಳನ್ನು ಗಮನಿಸಲಾಗದಿದ್ದರೂ ಸಹ ಶಬ್ದಕೋಶದಲ್ಲಿರುವ ಎಲ್ಲಾ ಪದಗಳ ಮೇಲೆ ಸುಗಮಗೊಳಿಸಲಾಗುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಕೆಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ ವಿಶೇಷ ಟೋಕನ್ ಅನ್ನು ಪರಿಚಯಿಸುವ ಮೂಲಕ ಪದಕೋಶದ ಹೊರಗಿನ ಪದಗಳ ಸಂಭವನೀಯತೆಯನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ರೂಪಿಸುವುದು ಅತ್ಯಗತ್ಯವಾಗಿದೆ (ಉದಾಹರಣೆಗೆ. <unk>) ಪದಕೋಶಕ್ಕೆ. ಎನ್-ಗ್ರಾಮ್ ಎಣಿಕೆಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುವ ಮೊದಲು ಕಾರ್ಪಸ್ನಲ್ಲಿನ ಪದಕೋಶದ ಪದಗಳನ್ನು ಈ ವಿಶೇಷ <unk> ಟೋಕನ್ನಿಂದ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬದಲಾಯಿಸಲಾಗುತ್ತದೆ. ಈ ಆಯ್ಕೆಯೊಂದಿಗೆ, ಪದಕೋಶದ ಪದಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಎನ್-ಗ್ರಾಮ್ಗಳ ಪರಿವರ್ತನೆಯ ಸಂಭವನೀಯತೆಗಳನ್ನು ಅಂದಾಜು ಮಾಡಲು ಸಾಧ್ಯವಿದೆ. ಅಂದಾಜು ಹೊಂದಾಣಿಕೆಯ ಎನ್-ಗ್ರಾಮ್ಗಳಿಗಾಗಿ ಎನ್-ಗ್ರಾಮ್ಗಳನ್ನು ಸಹ ಅಂದಾಜು ಹೊಂದಾಣಿಕೆಗೆ ಬಳಸಲಾಯಿತು. ನಾವು ತಂತಿಗಳನ್ನು (ಇಂಗ್ಲಿಷ್ ವರ್ಣಮಾಲೆಯಲ್ಲಿನ ಅಕ್ಷರಗಳೊಂದಿಗೆ ಮಾತ್ರ) 3-ಗ್ರಾಮ್ ಅಕ್ಷರಗಳಾಗಿ ಪರಿವರ್ತಿಸಿದರೆ, ನಾವು ಒಂದು-ಆಯಾಮದ ಜಾಗವನ್ನು ಪಡೆಯುತ್ತೇವೆ (ಮೊದಲ ಆಯಾಮವು "ಆ", ಎರಡನೇ "ಅಬ್", ಮತ್ತು ಹೀಗೆ ಮೂರು ಅಕ್ಷರಗಳ ಎಲ್ಲಾ ಸಂಭಾವ್ಯ ಸಂಯೋಜನೆಗಳಿಗೆ ಸಂಭವಿಸುವ ಸಂಖ್ಯೆಯನ್ನು ಅಳೆಯುತ್ತದೆ). ಈ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ಬಳಸಿಕೊಂಡು, ನಾವು ಸ್ಟ್ರಿಂಗ್ ಬಗ್ಗೆ ಮಾಹಿತಿಯನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತೇವೆ. ಆದಾಗ್ಯೂ, ನೈಜ ಪಠ್ಯದ ಎರಡು ತಂತಿಗಳು ಒಂದೇ ರೀತಿಯ ವಾಹಕ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ಹೊಂದಿದ್ದರೆ (ಕೊಸೈನ್ ದೂರದಿಂದ ಅಳೆಯಲಾದಂತೆ) ಅವು ಹೋಲುವ ಸಾಧ್ಯತೆಯಿದೆ ಎಂದು ನಮಗೆ ಪ್ರಾಯೋಗಿಕವಾಗಿ ತಿಳಿದಿದೆ. ಇತರ ಮಾಪನಗಳನ್ನು ಎನ್-ಗ್ರಾಮ್ಗಳ ವಾಹಕಗಳಿಗೆ ವಿವಿಧ, ಕೆಲವೊಮ್ಮೆ ಉತ್ತಮ, ಫಲಿತಾಂಶಗಳೊಂದಿಗೆ ಅನ್ವಯಿಸಲಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಪ್ರತಿ ಎನ್-ಗ್ರಾಮ್ ದಾಖಲೆಗಳ ದೊಡ್ಡ ಸಂಗ್ರಹ ಅಥವಾ ಪಠ್ಯ ಸಂಗ್ರಹದಲ್ಲಿ (ಇದು "ಹಿನ್ನೆಲೆ" ವಾಹಕವನ್ನು ರೂಪಿಸುತ್ತದೆ) ಅದರ ಸರಾಸರಿ ಘಟನೆಯಿಂದ ಎಷ್ಟು ಪ್ರಮಾಣಿತ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಭಿನ್ನವಾಗಿದೆ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸುವ ಮೂಲಕ ದಾಖಲೆಗಳನ್ನು ಹೋಲಿಸಲು ಝಡ್-ಸ್ಕೋರ್ಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಸಣ್ಣ ಎಣಿಕೆಗಳ ಸಂದರ್ಭದಲ್ಲಿ, ಜಿ-ಸ್ಕೋರ್ (ಜಿ-ಟೆಸ್ಟ್ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ) ಉತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡಿತು. ಎನ್-ಗ್ರಾಮ್ಗಳ ಅಂಕಿಅಂಶಗಳಿಗೆ ಹೆಚ್ಚು ತಾತ್ವಿಕವಾದ ವಿಧಾನವನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಿದೆ, ಬಯೇಸಿಯನ್ ತೀರ್ಮಾನದಲ್ಲಿನ ಸಮಸ್ಯೆಯ ದೃಷ್ಟಿಯಿಂದ ಎರಡು ತಂತಿಗಳು ಒಂದೇ ಮೂಲದಿಂದ ನೇರವಾಗಿ ಬಂದ ಸಾಧ್ಯತೆ ಎಂದು ಹೋಲಿಕೆಯನ್ನು ರೂಪಿಸುತ್ತದೆ. ಕೃತಿಚೌರ್ಯವನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಎನ್-ಗ್ರಾಮ್ ಆಧಾರಿತ ಹುಡುಕಾಟವನ್ನು ಸಹ ಬಳಸಲಾಯಿತು. ಬಯಾಸ್-ವರ್ಸಸ್-ವೇರಿಯೆನ್ಸ್ ಟ್ರೇಡ್-ಆಫ್ ಎನ್-ಗ್ರಾಮ್ ಮಾದರಿಯಲ್ಲಿ ಎನ್ಗೆ ಮೌಲ್ಯವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು, ಅಂದಾಜಿನ ಸ್ಥಿರತೆಯ ನಡುವೆ ಅದರ ಸೂಕ್ತತೆಯ ವಿರುದ್ಧ ಸರಿಯಾದ ವಿನಿಮಯವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಅವಶ್ಯಕವಾಗಿದೆ. ಇದರರ್ಥ ಟ್ರಿಗ್ರಾಮ್ (ಅಂದರೆ. ಮೂರು ಪದಗಳು) ದೊಡ್ಡ ತರಬೇತಿ ಕಾರ್ಪೋರಾದೊಂದಿಗೆ (ಲಕ್ಷಾಂತರ ಪದಗಳು) ಸಾಮಾನ್ಯ ಆಯ್ಕೆಯಾಗಿದೆ, ಆದರೆ ಬಿಗ್ರಾಮ್ ಅನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಚಿಕ್ಕ ಪದಗಳೊಂದಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ. ಸುಗಮಗೊಳಿಸುವ ತಂತ್ರಗಳು ವಿರಳವಾದ ಗ್ರಾಂಗಳ (ಉದಾಹರಣೆಗೆ, ತರಬೇತಿ ದತ್ತಾಂಶದಲ್ಲಿ ಸರಿಯಾದ ಹೆಸರು ಕಾಣಿಸಿಕೊಂಡರೆ) ಮತ್ತು ಆಗಾಗ್ಗೆ ಗ್ರಾಂಗಳ ನಡುವೆ ಸಮತೋಲನ ತೂಕದ ಸಮಸ್ಯೆಗಳಿವೆ. ಅಲ್ಲದೆ, ತರಬೇತಿ ದತ್ತಾಂಶದಲ್ಲಿ ಕಾಣಿಸದ ವಸ್ತುಗಳಿಗೆ ಸ್ಮೂಥಿಂಗ್ ಇಲ್ಲದೆ 0.0 ಸಂಭವನೀಯತೆಯನ್ನು ನೀಡಲಾಗುತ್ತದೆ. ಒಂದು ಮಾದರಿಯಲ್ಲಿ ಕಾಣದ ಆದರೆ ಸಮರ್ಥನೀಯವಾದ ದತ್ತಾಂಶಕ್ಕಾಗಿ, ಸ್ಯೂಡೋಕೌಂಟ್ಗಳನ್ನು ಪರಿಚಯಿಸಬಹುದು. ಸೂಡೋಕೌಂಟ್ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಬೇಯೇಶಿಯನ್ ಆಧಾರದ ಮೇಲೆ ಪ್ರೇರೇಪಿಸಲ್ಪಡುತ್ತವೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ ಕಾಣದ ಪದಗಳು ಅಥವಾ ಎನ್-ಗ್ರಾಮ್ಗಳಿಗೆ ಶೂನ್ಯವಲ್ಲದ ಸಂಭವನೀಯತೆಗಳನ್ನು ನಿಯೋಜಿಸುವ ಮೂಲಕ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಯನ್ನು ಸುಗಮಗೊಳಿಸುವುದು ಅಗತ್ಯವಾಗಿತ್ತು. ಕಾರಣವೆಂದರೆ, ಎನ್-ಗ್ರಾಮ್ ಆವರ್ತನ ಎಣಿಕೆಗಳಿಂದ ನೇರವಾಗಿ ಪಡೆದ ಮಾದರಿಗಳು ಈ ಮೊದಲು ಸ್ಪಷ್ಟವಾಗಿ ಕಾಣದ ಯಾವುದೇ ಎನ್-ಗ್ರಾಮ್ಗಳನ್ನು ಎದುರಿಸುವಾಗ ತೀವ್ರವಾದ ಸಮಸ್ಯೆಗಳನ್ನು ಹೊಂದಿರುತ್ತವೆ-ಶೂನ್ಯ-ಆವರ್ತನ ಸಮಸ್ಯೆ. ಸರಳವಾದ "ಆಡ್-ಒನ್" (ಲ್ಯಾಪ್ಲೇಸ್) ಸ್ಮೂಥಿಂಗ್ನಿಂದ (ಕಾಣದ ಎನ್-ಗ್ರಾಮ್ಗಳಿಗೆ 1 ಎಣಿಕೆ ನಿಯೋಜಿಸಿ; ಉತ್ತರಾಧಿಕಾರದ ನಿಯಮವನ್ನು ನೋಡಿ) ಗುಡ್-ಟ್ಯೂರಿಂಗ್ ರಿಯಾಯಿತಿ ಅಥವಾ ಬ್ಯಾಕ್-ಆಫ್ ಮಾದರಿಗಳಂತಹ ಹೆಚ್ಚು ಅತ್ಯಾಧುನಿಕ ಮಾದರಿಗಳಿಗೆ ವಿವಿಧ ಸ್ಮೂಥಿಂಗ್ ವಿಧಾನಗಳನ್ನು ಬಳಸಲಾಯಿತು. ಈ ಕೆಲವು ವಿಧಾನಗಳು ಎನ್-ಗ್ರಾಮ್ಗಳ ಸಂಭವನೀಯತೆಗಳಿಗೆ ಪೂರ್ವ ವಿತರಣೆಯನ್ನು ನಿಯೋಜಿಸುವುದಕ್ಕೆ ಸಮಾನವಾಗಿವೆ ಮತ್ತು ಪರಿಣಾಮವಾಗಿ ಬರುವ ಹಿಂಭಾಗದ ಎನ್-ಗ್ರಾಮ್ ಸಂಭವನೀಯತೆಗಳನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಬೇಯೇಶಿಯನ್ ತೀರ್ಮಾನವನ್ನು ಬಳಸುತ್ತವೆ. ಆದಾಗ್ಯೂ, ಹೆಚ್ಚು ಅತ್ಯಾಧುನಿಕವಾದ ನಯಗೊಳಿಸುವ ಮಾದರಿಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಈ ಶೈಲಿಯಲ್ಲಿ ಪಡೆಯಲಾಗಿಲ್ಲ, ಬದಲಿಗೆ ಸ್ವತಂತ್ರ ಪರಿಗಣನೆಗಳ ಮೂಲಕ ಪಡೆಯಲಾಗುತ್ತಿತ್ತು. ಲೀನಿಯರ್ ಇಂಟರ್ಪೋಲೇಷನ್ (ಉದಾಹರಣೆಗೆ, ಯುನಿಗ್ರಾಮ್, ಬಿಗ್ರಾಮ್ ಮತ್ತು ಟ್ರಿಗ್ರಾಮ್ನ ತೂಕದ ಸರಾಸರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದು) ಗುಡ್-ಟ್ಯೂರಿಂಗ್ ರಿಯಾಯಿತಿ ವಿಟ್ಟೆನ್-ಬೆಲ್ ರಿಯಾಯಿತಿ ಲಿಡ್ಸ್ಟೋನ್ನ ಸ್ಮೂಥಿಂಗ್ ಕಾಟ್ಜ್ನ ಬ್ಯಾಕ್-ಆಫ್ ಮಾದರಿ (ಟ್ರಿಗ್ರಾಮ್) ನೆಸರ್-ನೀ ಸ್ಮೂಥಿಂಗ್ ಸ್ಕಿಪ್-ಗ್ರಾಮ್ ಭಾಷಾ ಮಾದರಿ ಸ್ಕಿಪ್-ಗ್ರಾಮ್ ಭಾಷಾ ಮಾದರಿಯು ಹಿಂದಿನ (ಅಂದರೆ. ಪದ ಎನ್-ಗ್ರಾಮ್ ಭಾಷಾ ಮಾದರಿ) ಎದುರಾಗಿದೆ. ಎಂಬೆಡಿಂಗ್ ವೆಕ್ಟರ್ನಲ್ಲಿ ಪ್ರತಿನಿಧಿಸಲಾದ ಪದಗಳು ಇನ್ನು ಮುಂದೆ ಅನುಕ್ರಮವಾಗಿರಬೇಕಾಗಿಲ್ಲ, ಆದರೆ ಬಿಟ್ಟುಹೋಗಿರುವ ಅಂತರವನ್ನು ಬಿಡಬಹುದು. ಔಪಚಾರಿಕವಾಗಿ, ಎ-ಸ್ಕಿಪ್-ಗ್ರಾಮ್ ಎಂಬುದು ಉದ್ದದ ಅನುಕ್ರಮವಾಗಿದ್ದು, ಅಲ್ಲಿ ಘಟಕಗಳು ಒಂದಕ್ಕೊಂದು ಗರಿಷ್ಠ ದೂರದಲ್ಲಿ ಸಂಭವಿಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, ಇನ್ಪುಟ್ ಪಠ್ಯದಲ್ಲಿಃ ಸ್ಪೇನ್ನಲ್ಲಿನ ಮಳೆಯು ಮುಖ್ಯವಾಗಿ ಬಯಲು ಪ್ರದೇಶದ ಮೇಲೆ ಬೀಳುತ್ತದೆ, 1-ಸ್ಕಿಪ್-2-ಗ್ರಾಂಗಳ ಗುಂಪಿನಲ್ಲಿ ಎಲ್ಲಾ ಬಿಗ್ರಾಮ್ಗಳು (2-ಗ್ರಾಂಗಳು) ಸೇರಿವೆ, ಮತ್ತು ಇದರ ಜೊತೆಗೆ, ಸ್ಪೇನ್ನಲ್ಲಿನ ಮಳೆ, ಜಲಪಾತದಲ್ಲಿ, ಸ್ಪೇನ್ ಮುಖ್ಯವಾಗಿ, ಬಯಲು ಪ್ರದೇಶದ ಮೇಲೆ ಬೀಳುತ್ತದೆ. ಸ್ಕಿಪ್-ಗ್ರಾಮ್ ಮಾದರಿಯಲ್ಲಿ, ಪದಗಳ ನಡುವಿನ ಶಬ್ದಾರ್ಥದ ಸಂಬಂಧಗಳನ್ನು ರೇಖೀಯ ಸಂಯೋಜನೆಯಿಂದ ಪ್ರತಿನಿಧಿಸಲಾಗುತ್ತದೆ, ಇದು ಸಂಯೋಜನೆಯ ಒಂದು ರೂಪವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಅಂತಹ ಕೆಲವು ಮಾದರಿಗಳಲ್ಲಿ, ಒಂದು ಪದವನ್ನು ಅದರ-d ವೆಕ್ಟರ್ ಪ್ರಾತಿನಿಧ್ಯಕ್ಕೆ ನಕ್ಷೆ ಮಾಡುವ ಕಾರ್ಯವಾಗಿದ್ದರೆ, ಅಲ್ಲಿ ≈ ಅನ್ನು ಅದರ ಬಲಗೈ ಬದಿಯು ಎಡಗೈ ಬದಿಯ ಮೌಲ್ಯದ ಹತ್ತಿರದ ನೆರೆಯವರಾಗಿರಬೇಕು ಎಂದು ಷರತ್ತು ವಿಧಿಸುವ ಮೂಲಕ ನಿಖರವಾಗಿಸಲಾಗುತ್ತದೆ. ವಾಕ್ಯರಚನೆಯ ಎನ್-ಗ್ರಾಮ್ಗಳು ವಾಕ್ಯರಚನೆಯ ಎನ್-ಗ್ರಾಮ್ಗಳಾಗಿದ್ದು, ಅವುಗಳನ್ನು ಪಠ್ಯದ ರೇಖೀಯ ರಚನೆಯ ಬದಲು ವಾಕ್ಯರಚನೆಯ ಅವಲಂಬನೆ ಅಥವಾ ಘಟಕ ಮರಗಳಲ್ಲಿನ ಮಾರ್ಗಗಳಿಂದ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, "ಆರ್ಥಿಕ ಸುದ್ದಿಗಳು ಹಣಕಾಸು ಮಾರುಕಟ್ಟೆಗಳ ಮೇಲೆ ಕಡಿಮೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ" ಎಂಬ ವಾಕ್ಯವನ್ನು ಅದರ ಅವಲಂಬನೆ ಸಂಬಂಧಗಳ ವೃಕ್ಷ ರಚನೆಯನ್ನು ಅನುಸರಿಸಿ ವಾಕ್ಯರಚನೆಯ ಎನ್-ಗ್ರಾಮ್ಗಳಾಗಿ ಪರಿವರ್ತಿಸಬಹುದುಃ ಸುದ್ದಿ-ಆರ್ಥಿಕ, ಪರಿಣಾಮ-ಸಣ್ಣ, ಮಾರುಕಟ್ಟೆಗಳ ಮೇಲೆ ಪರಿಣಾಮ-ಹಣಕಾಸು. ವಾಕ್ಯರಚನೆಯ ಎನ್-ಗ್ರಾಮ್ಗಳು ರೇಖೀಯ ಎನ್-ಗ್ರಾಮ್ಗಳಿಗಿಂತ ವಾಕ್ಯರಚನೆಯ ರಚನೆಯನ್ನು ಹೆಚ್ಚು ನಿಷ್ಠೆಯಿಂದ ಪ್ರತಿಬಿಂಬಿಸುವ ಉದ್ದೇಶವನ್ನು ಹೊಂದಿವೆ ಮತ್ತು ಅನೇಕ ಅನ್ವಯಿಕೆಗಳನ್ನು ಹೊಂದಿವೆ, ವಿಶೇಷವಾಗಿ ವೆಕ್ಟರ್ ಬಾಹ್ಯಾಕಾಶ ಮಾದರಿಯಲ್ಲಿನ ವೈಶಿಷ್ಟ್ಯಗಳು. ಕೆಲವು ಕಾರ್ಯಗಳಿಗೆ ಸಿಂಟ್ಯಾಕ್ಟಿಕ್ ಎನ್-ಗ್ರಾಮ್ಗಳು ಪ್ರಮಾಣಿತ ಎನ್-ಗ್ರಾಮ್ಗಳ ಬಳಕೆಗಿಂತ ಉತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತವೆ, ಉದಾಹರಣೆಗೆ, ಲೇಖಕರ ಗುಣಲಕ್ಷಣಕ್ಕಾಗಿ. ಮತ್ತೊಂದು ವಿಧದ ವಾಕ್ಯರಚನೆಯ ಎನ್-ಗ್ರಾಮ್ಗಳು ಪಾರ್ಟ್-ಆಫ್-ಸ್ಪೀಚ್ ಎನ್-ಗ್ರಾಮ್ಗಳಾಗಿವೆ, ಇದನ್ನು ಪಠ್ಯದ ಪಾರ್ಟ್-ಆಫ್-ಸ್ಪೀಚ್ ಅನುಕ್ರಮಗಳಿಂದ ಹೊರತೆಗೆಯಲಾದ ಸ್ಥಿರ-ಉದ್ದದ ನಿಕಟವಾದ ಅತಿಕ್ರಮಿಸುವ ಅನುಕ್ರಮಗಳು ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಪಾರ್ಟ್-ಆಫ್-ಸ್ಪೀಚ್ ಎನ್-ಗ್ರಾಮ್ಗಳು ಹಲವಾರು ಅನ್ವಯಿಕೆಗಳನ್ನು ಹೊಂದಿವೆ, ಸಾಮಾನ್ಯವಾಗಿ ಮಾಹಿತಿ ಮರುಪಡೆಯುವಿಕೆಯಲ್ಲಿ. ಇತರ ಅನ್ವಯಿಕೆಗಳಾದ ಎನ್-ಗ್ರಾಮ್ಗಳು ಗಣಕಯಂತ್ರ ವಿಜ್ಞಾನ, ಗಣಕೀಯ ಭಾಷಾಶಾಸ್ತ್ರ ಮತ್ತು ಅನ್ವಯಿಕ ಗಣಿತಶಾಸ್ತ್ರದ ಹಲವಾರು ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಬಳಕೆಯಾಗುತ್ತವೆ. ಅವುಗಳನ್ನು ಈ ಕೆಳಗಿನವುಗಳಿಗೆ ಬಳಸಲಾಗಿದೆಃ ಯಂತ್ರ ಕಲಿಕಾ ಕ್ರಮಾವಳಿಗಳಿಗೆ ಅನುವು ಮಾಡಿಕೊಡುವ ವಿನ್ಯಾಸ ಕರ್ನಲ್ಗಳು, ಉದಾಹರಣೆಗೆ ಬೆಂಬಲ ವೆಕ್ಟರ್ ಯಂತ್ರಗಳು ಸ್ಟ್ರಿಂಗ್ ಡೇಟಾದಿಂದ ಕಲಿಯಲು, ತಪ್ಪಾದ ಕಾಗುಣಿತದ ಪದದ ಸರಿಯಾದ ಕಾಗುಣಿತಕ್ಕೆ ಸಂಭಾವ್ಯ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತವೆ, ಸಂಕೋಚನ ಕ್ರಮಾವಳಿಗಳಲ್ಲಿ ಸಂಕೋಚನವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ, ಅಲ್ಲಿ ದತ್ತಾಂಶದ ಒಂದು ಸಣ್ಣ ಪ್ರದೇಶಕ್ಕೆ ಹೆಚ್ಚಿನ ಉದ್ದದ ಎನ್-ಗ್ರಾಮ್ಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ, ಮಾದರಿ ಗುರುತಿಸುವಿಕೆ ವ್ಯವಸ್ಥೆಗಳು, ಭಾಷಣ ಗುರುತಿಸುವಿಕೆ, ಒಸಿಆರ್ (ಆಪ್ಟಿಕಲ್ ಅಕ್ಷರ ಗುರುತಿಸುವಿಕೆ), ಇಂಟೆಲಿಜೆಂಟ್ ಅಕ್ಷರ ಗುರುತಿಸುವಿಕೆ (ಐಸಿಆರ್), ಯಂತ್ರ ಅನುವಾದ ಮತ್ತು ಅಂತಹುದೇ ಅನ್ವಯಿಕೆಗಳಲ್ಲಿ ಆಸಕ್ತಿಯ ಭಾಷೆಯ ಪಠ್ಯದಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವ ನಿರ್ದಿಷ್ಟ ಪದದ ಅನುಕ್ರಮದ ಸಂಭವನೀಯತೆಯನ್ನು ನಿರ್ಣಯಿಸುವುದು, ಇದೇ ರೀತಿಯ "ಡಾಕ್ಯುಮೆಂಟ್ಗಳನ್ನು" ಕಂಡುಕೊಳ್ಳುವ ಭರವಸೆ ಇದ್ದಾಗ ಮಾಹಿತಿ ಮರುಪಡೆಯುವಿಕೆ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ (ಡೇಟಾ ಸೆಟ್ ಅನ್ನು ಅವಲಂಬಿಸಿ ಸಾಂಪ್ರದಾಯಿಕ ಅರ್ಥವನ್ನು ಕೆಲವೊಮ್ಮೆ ವಿಸ್ತರಿಸಲಾಗಿರುವ ಪದ) ಒಂದೇ ಪ್ರಶ್ನೆ ಡಾಕ್ಯುಮೆಂಟ್ ಮತ್ತು ಉಲ್ಲೇಖ ದಾಖಲೆಗಳ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ಕ್ರಿಪ್ಟ್ಯಾನಾಲಿಸಿಸ್ ಕೂಡ ನೋಡಿ ಕೊಲೊಕೇಷನ್ ಫೀಚರ್ ಎಂಜಿನಿಯರಿಂಗ್ ಹಿಡನ್ ಮಾರ್ಕೋವ್ ಮಾದರಿ ಅತಿ ಉದ್ದದ ಸಾಮಾನ್ಯ ಸಬ್ಸ್ಟ್ರಿಂಗ್ ಮಿನ್ಹ್ಯಾಶ್ ಎನ್-ಟುಪಲ್ ಸ್ಟ್ರಿಂಗ್ ಕರ್ನಲ್ ಉಲ್ಲೇಖಗಳು ಭಾಷಾ ಮಾಡೆಲಿಂಗ್ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣಾ ಮಾರ್ಕೋವ್ ಮಾದರಿಗಳು