इतनी सारी समस्याएँ रैखिक क्यों हैं और कोई अरैखिक समस्याओं को कैसे हल करेगा?

मैं इस सेमेस्टर में पायथन कक्षा में गहन शिक्षा ले रहा हूं और हम मूल रूप से रैखिक बीजगणित कर रहे हैं।

पिछले व्याख्यान में हमने ग्रेडिएंट डिसेंट के साथ रैखिक प्रतिगमन का "आविष्कार" किया था (पहले व्याख्यान को कम से कम वर्गित किया था) जहां हमने बात की थी परिकल्पनाओं, हानि फलन, लागत फलन आदि को परिभाषित करना।

मुझे 2 प्रश्न मिले: ऐसा कैसे होता है कि कई समस्याओं को एक रैखिक समस्या के रूप में देखा जा सकता है और मूल रूप से "केवल समीकरण Ax = b के लिए समाधान खोजने की कोशिश के बारे में है"? ऐसा करना कम से कम वर्ग या किसी तटस्थ नेटवर्क को प्रशिक्षित करके किसी एक को खोजने के लिए किया जा सकता है।

मुझे ऐसा लगता है, "वास्तविक दुनिया में", अधिकांश समस्याएं बिल्कुल भी रैखिक नहीं हैं। कोई उन समस्याओं से कैसे निपटेगा क्योंकि रैखिक बीजगणित केवल रैखिक कार्यों पर लागू होता है?

@EdM, निश्चित रूप से, सही है। और वे परिवर्तन बहुत, बहुत लचीले हैं।

लेकिन चलिए एक बहुत ही सरल मामला लेते हैं। एक स्वतंत्र चर, एक आश्रित। और फिट के लिए एक सीधी रेखा (कोई परिवर्तन नहीं)।

सबसे पहले, यह उन मामलों के बीच एक द्वंद्व नहीं है जहां यह फिट बैठता है और जहां यह फिट नहीं होता है। कभी-कभी, यह सरल सीधी रेखा डेटा के लिए बहुत उपयुक्त होती है; भौतिक विज्ञान की बहुत सी समस्याएँ ऐसी ही हैं। कभी-कभी यह सीधी रेखा बहुत बुरी तरह फिट बैठती है: कोई भी ऐसी चीज़ लें जो साइनसॉइडल हो, बस एक मामले के रूप में। यदि $y = \sin x$ तो एक सीधी रेखा बिल्कुल भी काम नहीं करेगी।

अधिकतर, हालांकि, यह एक तरह से ठीक ही है। याद रखें, जैसा कि जॉर्ज बॉक्स ने कहा था, "सभी मॉडल गलत हैं, लेकिन कुछ उपयोगी हैं।" यहां तक ​​कि उन भौतिकी समस्याओं में भी सीधी रेखा कुछ मुद्दों (जैसे घर्षण, वायु प्रतिरोध, जो भी हो) को नजरअंदाज कर देगी। अन्य मामलों में, मॉडल में बहुत सारी त्रुटियां होंगी, और अधिक जटिल मॉडल के साथ बेहतर फिट प्राप्त किया जाएगा।

डेटा विश्लेषण की बहुत सारी कला और विज्ञान यह पता लगा रहे हैं कि कितनी जटिलता है लायक है"। क्या हमें परिवर्तन का मॉडल तैयार करना चाहिए? यदि हां, तो बस एक द्विघात? या एक तख़्ता? शायद एक भिन्नात्मक बहुपद. शायद हमें नियंत्रण चर की आवश्यकता है। मॉडरेटर. मध्यस्थ। आदि।

या शायद सीधी रेखा ही काफी है।

मेरे विचार में, यह पूरी तरह से सांख्यिकीय प्रश्न नहीं है। हमें संदर्भ पर विचार करना होगा. फिर से, मेरे लिए, यही वह चीज़ है जिसने एक सांख्यिकीय सलाहकार बनना मज़ेदार बना दिया है।

जहां तक ​​बात है कि कोई ऐसी समस्याओं से कैसे निपटता है, तो मैं जो करता हूं वह यह पता लगाने की कोशिश करता हूं कि क्या समझ में आता है। कंप्यूटर इस खेल को आसान बनाते हैं। लेकिन मैं सावधान रहने की कोशिश करता हूं कि डेटा को बहुत अधिक परेशान न करें - और इससे बचने के तरीके भी हैं।

आप सही हैं: यह काफी एक धारणा है यह दुनिया इतनी सरल है कि इसे रेखाओं, समतलों और हाइपरप्लेन से प्रतिरूपित किया जा सकता है। लेकिन, स्टोन-वीयरस्ट्रास प्रमेय का कहना है कि, तकनीकी बातों को छोड़कर, सभ्य कार्य कर सकते हैं। बहुपदों द्वारा मनमाने ढंग से अच्छी तरह से अनुमान लगाया जा सकता है। यदि आप रैखिक बीजगणित में काफी आगे बढ़ गए हैं, तो आप जानते हैं कि जटिल बहुपद जैसे $wxz-x^7y^9-wz^2+9w^5x^3yz^8$ को आधार के रैखिक संयोजन के रूप में देखा जा सकता है एक सदिश समष्टि के तत्व. यह उस बहुपद को आधार तत्वों के वेक्टर और भार के वेक्टर के बिंदु उत्पाद के रूप में व्यक्त करने का एक तरीका देता है। कई डेटा बिंदुओं पर, यह रैखिक प्रतिगमन से परिचित $X\beta$ बन जाता है।

यह बहुपद तक सीमित नहीं है। मूल डेटा के कार्यों के किसी भी रैखिक संयोजन (भारित योग/अंतर) को एक डॉट उत्पाद के रूप में दर्शाया जा सकता है। प्रतिगमन फिट में आवधिकता प्राप्त करने के लिए फूरियर श्रृंखला को इस तरह दर्शाया जा सकता है। स्प्लिंस वक्रता का मॉडल बना सकते हैं और ऐसा करने में बहुपदों की तुलना में उन्हें लाभ हो सकता है। आप $\sin(x_1)\cos(x_2)$ जैसी किसी चीज़ के साथ एकल चर के कार्यों को इंटरैक्ट कर सकते हैं।

कुल मिलाकर, $X\beta$ के रूप में रैखिक प्रतिगमन का प्रतीत होने वाला सरल सूत्रीकरण भारी मात्रा में मॉडल बना सकता है जटिल व्यवहार।

इसके बावजूद कि वे आपको क्या बता सकते हैं, ऐसा नहीं है कि "इतनी सारी समस्याएं रैखिक हैं", बात यह है कि जब गैर-रेखीय संस्करण बहुत कठिन होते हैं तो हम रैखिक सन्निकटन के लिए समझौता करते हैं। जरूरी नहीं कि वे उसी सटीक प्रश्न का उत्तर दें जो हम पूछना चाहते हैं, लेकिन हम उनके लिए तैयार हैं